再帰的自己改善の全体像:機構・証拠・信頼できるループの設計
自己学習、記憶、コード進化、メタ改善、最新研究、独立評価の構成、再現可能なローカル実習を体系的に解説。
出典とバージョン
変更対象、フィードバックの持続化、監査可能な構成、選択効果と改善の違いを理解し、範囲を限定した研究を設計する。必要な基礎は機構の前に説明する。
この記事の目次
1. AIの自己改善では何が変わるのか
リポジトリを調べずに編集するコーディング支援を考える。一度の回答を見直せば一つのパッチが直るかもしれない。調査手順を記憶すれば次のセッションに役立つ。成功例で学習すれば重みが変わり、探索方策を書き換えれば次の改善の探し方が変わる。持続性、費用、必要な証拠はそれぞれ異なる。
再帰的自己改善(RSI)とは、AIが自分の変更に関与し、改善された版が後続の改善に参加する過程である。より強い操作的定義では、改善する仕組み自体も改善対象となる。ある課題をうまく解くだけでなく、有用な変更をより効率的に発見する必要がある。自己書換えプログラムを一般的RSIに変える、合意済みの境界はない。
重みθ、コードc、プロンプトp、記憶m、ツールTと、改善手続きI、評価器Eを分けよう。変更対象、変更主体、保持されるもの、判定主体を明示する。コード編集は重み更新とは限らず、重み更新は学習アルゴリズムの改善とは限らない。知能爆発は、持続的な加速を仮定する別の主張である。
一つの変更を二世代にわたって追う
Aがファイル名で探索し、Bがシンボル検索を追加するとする。Bが今のバグだけを直せば解答の改善、保存され次のバグにも使われれば再利用可能なエージェントの改善である。Bがその検索で自分の改善コードの欠陥を見つけCを提案すれば、記録された過程は再帰的だ。ただし改善器の進歩には、同じ資源でAとBが作る子孫の比較がまだ必要になる。自己編集命令の存在だけではこれらは証明できない。
世代を数える前にシステム境界を定める。基盤モデルが固定でもツールが変わればシステムは変わる。一方、人がモデルを交換すれば外部介入である。人の編集、モデル交換、評価器変更を別々に記録し、自律改善の成果と混同しない。
2. 基礎:学習・フィードバック・継承
最適化は目的に沿って変更を選び、汎化は選択に使わなかった事例でも改善が続くかを問う。誤った目的を非常にうまく最適化することもある。勾配は微分可能な損失の局所感度だが、Python編集は通常、離散的なプログラム探索である。どちらも目的とデータの外での改善を保証しない。
フィードバックは行動の結果について情報を与える。コンパイルエラーは具体的な失敗を示し、テスト成功はそのアサーションの範囲に限られ、選好判定は判定者の好みを測る。「よく反省した」という文は独立した証拠ではない。継承には重み、記憶、コード、アルゴリズムが次世代に実際に渡ることが必要で、なければ単なる反復推論だ。
親のハッシュ、差分、データのスナップショット、評価器の版は変更の所在を明確にする。本稿の一貫した事例は、ファイルやツールの調査順を決める探索方策を変更するリポジトリ修復エージェントである。モデル、権限、外部の採用規則は固定し、改善の原因を限定する。
正しい信号が誤った教訓になる場合
リストが整列しているかだけを調べるテストは、元の要素を失った空リストを受け入れうる。報酬は実際に出たが、仕様が不完全なのである。出力が入力の置換か確認すれば情報が増えるが、同じ不完全なテストについて反省を増やしても情報は増えない。理解、仕様、フィードバック品質は最適化より先に必要だ。
継承には範囲がある。あるリポジトリの記憶を全体規則にせず、ライブラリ版などの適用条件を保存する。検索時に条件を確認し、矛盾する観測が出れば古い記憶を更新・無効化する。矛盾する規則を追加し続けない。
3. 歴史:変更可能範囲の拡大
フィードバック制御は誤差に応じて行動を変えるが、新しい制御器を学ぶとは限らない。進化探索は候補を保持するが、変異と選択規則は人が固定できる。AutoMLは構成を探索し、メタ学習は複数課題から手続きを学ぶ。どれもRSIの部品になりうるが、改善機構の自己改善の証明ではない。
SchmidhuberのGödel Machineは、符号化された仮定の下で有用性を証明してから自己書換えを行う理論構成である。LLMのパッチに実用上の保証を与えるものではない [1]。証明を経験的証拠に置き換えると実装可能になる一方、結論は用いた課題、測定器、予算に依存する。
推論修正、合成データ、記憶、コード進化、アルゴリズム発見は別々の対象を変えるため、後発研究が前者を全面的に置換するわけではない。コード探索がデータフィルタを提案し、学習によって新モデルを作るように組み合わせられるが、各段階の費用と失敗も引き継ぐ。
流行の年表より三つの軸で見る
編集可能な探索空間、フィードバック源、外側ループの位置で分類する。数百万のハイパーパラメータを試しても探索規則は固定かもしれない。学習された最適化器でもメタ学習手順は人が設計でき、自編集エージェントでも採用制御は固定できる。単一の知能尺度ではなく別の軸の進歩である。
証明は公理と形式化目標に、実証は範囲と測定の完全性に依存する。誤った目標の証明は現実課題を解かず、高得点は証明にならない。狭い不変条件の形式確認と、広い行動の実証を組み合わせる。
4. 五つの機構と保持されるもの
第一は出力修正で、生成と批評を交互に行う。Self-Refineでは重みは固定される [3]。残るのが最終回答だけの場合もある。批評は欠落を見つけられる一方、正解を説得力のある誤答に変えることもある。
第二は記憶による適応で、経験を保存して後から検索する。Reflexionは言語的フィードバックを使う [4]。有用な記憶は失敗条件、行動、適用範囲を示す。「必ず再試行」は二重請求につながりうる。期限、出典、矛盾解消が必要だ。
第三は重みの改善で、学習資料を生成・選別してパラメータを最適化する。STaRは生成した推論を正解の監督につなぎ [2]、Self-Rewardingは選好信号も生成する [6]。変化は持続するが、最終正解は全推論手順の正しさを保証せず、選別は希少な能力を失わせる可能性がある。
第四はツール、探索、編成のコード変更で、DGMが実例である [7]。第五のメタ改善は候補生成・選択や学習法を変える。区別するには下流課題と予算を固定し、新しい改善器がよりよい子孫を作れるかを見る。improveという名の関数の変更だけでは足りない。
故障を直せる最小の層を選ぶ
事実不足なら検索、手順忘れなら範囲付き記憶、多くの文脈での行動不良なら重み更新を検討する。ツール順序や文脈切捨てなら実行基盤、情報価値の低い変更提案なら改善器を調べる。単純な編成不良を高価な再学習で隠さない。
層は相互作用する。強いモデルでは長い旧プロンプトが不要かもしれず、記憶は別課題の文脈を圧迫する。単独変更と組合せを比較する。基盤変更後の記憶削除は原システムでの削除と同じでない。基準状態と相互作用を記録し、改善を単純加算しない。
5. 自己生成データはどう重みを変えるか
修復案を複数生成し、利用可能な仕様を満たすものを検証器が選ぶ。教師あり微調整は、そのトークン列の確率を高める。xは問題と文脈、yは採用案、y<jは既出トークンである。長さによる正規化は長い解答の重みを変える。学ぶのは選別後の分布であり、抽象的な真実ではない。
簡単な短い課題を好む選別では、それらが次のデータを支配する。損失が下がっても難例は消えうる。実データと確認済み合成例を混ぜ、既存能力を保護し、分割前に問題群単位で重複を除く。変数名の変更だけでは独立例にならない。生成モデル、プロンプト、検証器、親版を記録する。
DPOは参照方策に対する採用・不採用回答の対数確率差を広げる。βは尺度であって安全保証ではない。同じモデルが回答と判定をすると好みや盲点が強化されうるため、外部確認や独立した審査が重要である。同じ最適化器で反復微調整しても、その最適化器が改善した証拠にはならない。 [17]
選別の偏りを小さな計算で見る
100問から400解を作り80解が通っても、400回の独立成功ではない。80解が簡単な20問から来たなら残り80問の証拠はない。解を等重みにすると採用変種が多い問題を優遇する。問題別上限や標本重みを決めて記録する。
採用解と参照の確率比が2、不採用解が0.5なら対数比の差はlog(4)。
6. 独立した判定器を持つ全体構成
図はToken Labの参考設計で、企業内部の構成ではない。制御器が版の保存庫から親を選び、予算制限付きの開発課題を改善器へ渡す。改善器はパッチと変更意図を返す。ワーカーが使い捨てコピーで適用し、実行記録と成果物を出すが、自分では昇格できない。
別の評価器が独自の確認を実行する。報告は成果物のハッシュに結び付け、候補が出力したPASSを信用しない。公開制御器が証拠、制約、権限を確認してレジストリの有効版ポインタを原子的に変える。学習、ストレージ、配備全体が一つの分散トランザクションになるわけではなく、完全な不変成果物を先に保存する。
不採用版も理由と費用を残す。採用版を次の親にできても、カナリア配備は別判断である。失敗時は旧ポインタを復元し実行中処理を排出する。同じ作業IDは記帳を冪等にするが、モデル再呼出しの二重課金を防ぐとは限らない。タイムアウトは取消しと未完了記録を生み、成功扱いにはしない。
矢印だけでなく成果物の同一性を追う
課題J、親P、データD、候補C、評価器Eを報告に結び付ける。配備物のハッシュが違えば報告はその物を承認しない。得点と同時に同一性を確認し、古い候補の報告で新パッチを許可しない。
Cを保存した直後に停止しても、照合処理が評価を再開できる。存在だけで採用を推定しない。課題・候補の一意キーで二重昇格を防ぐ。取消し後の成果物も、新しい承認判断までは未採用である。
7. 単一の勝者系列だけでは足りない理由
貪欲な改善器は即座に親を上回らない子を捨てる。新しい検索ツールが当初はトークンを増やしても、後の修復を可能にする場合がある。保存庫は多様な枝を残し再探索できる。親の選択は活用と探索の取捨選択だが、多様性には評価費用と適切な行動記述が必要になる。
DGMは基盤モデルを使ってコードを変更し、変種を保存する。v3ではClaude 3.5 Sonnet (New)を用い、80反復後、独自のSWE-bench 200課題設定で20.0%→50.0%と報告する。公開全体の順位ではない。全Polyglotではo3-mini評価で14.2%→30.7%。費用見積りはSWE-bench一回約22,000ドル、各アブレーション約10,000ドル [7]。著者の結果であり、同額比較でも本站の測定でもない。
最良終点だけでなく探索木を残そう。毎世代多数の子を試せば、計算増加と選別だけでも進歩して見える。固定の親選択規則と編集可能なエージェントを分けることが、再帰性の主張範囲を決める。
踏み石を保存しても配備する必要はない
良いパーサと遅い計画器を持つ版は研究には有益でも運用には不適かもしれない。保存庫への追加と配備承認を分ける。シンボル探索、テストによる位置特定、依存グラフ探索などの行動差を使い、文字列の違いだけを多様性としない。
保存庫には費用がかかる。系列と要約を残し、同等候補を除き、再評価予算を限る。新ツールと非互換になる可能性があるため親にする前に仮定を確認する。保存物は有用性の仮説で、永続認証された勝者ではない。
8. 改善の数学:利益・費用・限界
目的は能力、保持、遅延、費用、リスクのベクトルとして考える。スカラー効用は実行可能な候補の順位付けには使えるが、必須の安全・権限制約は外に置く。そうしないと高得点で禁止行為を相殺できてしまう。百分点、ドル、GPU秒、トークンを混同しない。
同じ課題の二値結果について、候補の成功から親の成功を引いたdᵢは−1、0、1となる。平均はその課題分布での差を推定し、標準誤差は対応差のばらつきを使う。独立な二つの二項分布ではない。繰返し、課題群の相関、適応的選択があると、単純な式だけでは足りない。
加速を論じるなら、失敗候補と検証を含む全資源当たりの改善を測る。次の増分gは能力、資源、環境に依存し、再帰だから増えるわけではない。容易な改善の枯渇、検証費用、データ劣化、有限な計算資源がある。三つの勝者点をつないでも指数法則は証明できず、固定費用での停滞も重要な結果だ。
分母も明示する
10候補が各々生成2時間、検証1時間なら、勝者一つでも総計30時間である。3ポイント改善なら毎時0.1ポイントで、勝者の3時間だけを数えた毎時1ポイントではない。比較には機器、モデル、課題分布も合わせる。
60%から65%は5ポイント増、相対正答率8.33%増、40%から35%への誤り減少率12.5%を意味する。同じ結果であり、大きく聞こえる数を選んでも証拠は変わらない。件数と分母を示す。
9. 最前線:四つの異なるボトルネック
アルゴリズム発見は一般的な自己アップグレードとは異なる。AlphaEvolveは評価器で実行可能な算法を探索し、DeepMindは数学やインフラへの応用を報告する [8]。正しさを確認しながらカーネルを最適化することと、社会的な目的を決めることは別だ。発見より検証が安ければ探索の価値は高くなる。
PAST-Benchは26シナリオ、204エピソードでセッション間の経験保持を扱う [10]。AI4AI-Benchは10リポジトリで学習算法の変更を扱い、各課題B300一枚で4時間、その後最長12時間再実行する [11]。正規化スコアは正答率ではない。AIDE²は8日間で7件の採用改善と転移を報告し [12]、Flex-RSIは固定予算で回答変更と実行器・改善器の変更を分ける [13]。いずれも版を固定したプレプリントの報告で、本サイトの再現ではない。
経験保持、算法変更、研究効率、枠組み編集の寄与は別の問いだ。一つの成功は他の成功を意味しない。異質な指標をRSIランキングに合成せず、表を読み方の地図として使おう。
最前線の結果を主張の連鎖として読む
編集物と固定基盤、受け取った情報、選択での利用、最終課題の独立性を順に確認する。その後、後継版が実際に次の改善をしたかを見る。終点の改善と、良い子孫を作る速度の改善は異なる。
記憶研究は持続性、算法研究は学習規則、基盤研究はツールと制御に使う。別の対象へ移すには新しい根拠が必要だ。コード検証器はそのまま科学的提案の信頼できる判定器にはならず、仮想報酬は実世界の安全仕様にはならない。
研究ごとの証拠地図
改善の解釈前に継承、公平な予算、独立した証拠を確認する。
| 研究 | 変更対象 / 境界 |
|---|---|
| STaR [2] | 重み / 選別推論 |
| Self-Refine [3] | 回答 / 重み固定 |
| Reflexion [4] | 記憶 / 言語フィードバック |
| DGM [7] | コード / 変種保存 |
| AlphaEvolve [8] | 算法 / 実行可能な検証 |
| PAST-Bench [10] | 経験 / セッション間保持 |
| AI4AI-Bench [11] | 学習算法 / 再実行 |
| AIDE² [12] | 研究エージェント / 変更継承 |
| Flex-RSI [13] | 実行器・改善器 / 固定予算 |
| RSI-Env [14] | モデル・実行基盤の持続環境 |
| SelfImprove-Bench [15] | 汎化段階 G0–G4 |
| RSI-Dojo [16] | 事後学習の実施能力を学習 |
10. 改善ループはどう自分を欺くか
非公開の評価器も独立とは限らない。得点、採否、エラー詳細は情報を漏らし、ラベルを読まなくても反復適応できる。公開解答、近重複、記憶、生成説明も漏洩源だ。ファイル保護だけでは統計的汚染を除けない。
勝者の呪いもある。同じ実力の多数候補から測定最大値を選ぶと正のノイズを選びやすい。独立ガウスノイズの最大値は概ねσ√(2 log K)に従って増えるが、これは漸近的説明であり万能補正式ではない。勝者系列だけの公開はKと失敗費用を隠す。小さな差には新課題と独立反復が必要だ。
誤る批評器は誤りを強化し、内在的自己修正には観察された限界がある [5]。合成データでの置換は分布の裾を失いうる [9]。すべての合成データが無効なのではなく、信頼できる新情報と希少能力の保持が重要になる。
報酬ハッキングは課題ではなく測定を改善する。テスト省略、評価ファイル閲覧、偽のツール記録、パーサの欠陥利用などだ。候補の出力を信頼せず、意味的正しさ、評価完全性、権限遵守を分離する。
偶然の近道と改ざんを区別する
既知課題のキャッシュ回答は欺く意図がなくても得点を上げ、未知入力で失敗する。一方、ログ改ざんや保護データ閲覧もある。どちらも結果を無効にするが、前者には課題範囲、後者には隔離と来歴の修復が必要だ。得点から意図を推定しない。
判定器が自信ある表現を好めば、選別と再学習がその文体だけを強める。独立した事実確認では改善がないかもしれない。課題成果、文体の好み、制約違反を別に記録する。
11. 実験から本番へ:権限を限定する
改善器は承認済み開発資料を読み、候補作業領域だけに書く。運用認証、評価秘密、配備権限は別の制御面に置く。コンテナだけで敵対的コードを隔離できるとは限らず、ホスト共有、通信、資源制限を確認する。購買や物理動作権限を自動拡大させない。
親・パッチのハッシュ、データ、評価器、乱数、ツール履歴、資源、判定、公開IDを追記専用台帳に記録する。生結果は候補が書けない場所に置き、機密情報を除き保持期間を制限する。モデルの実行説明は実行記録ではない。
提案、実行、不採用、採用、カナリア、有効、ロールバックを区別し、証拠不明なら昇格しない。完全な不変成果物から復旧する。ロボットでは実機移行確認と独立安全制御器が必要で、シミュレーション改善は動作許可ではない。
商業的な要は信頼できる評価・公開サービスである。研究部門は再現性、基盤部門は安全な統合と費用制約を求める。モデル、編成、観測の提供者は部品を供給するが、それだけでRSIを証明しない。非公開の市場占有率や買収後の自動統合は主張しない。
研究と公開の周期を分ける
探索を頻繁に行っても本番は安定版を維持できる。モデル、コード、プロンプト、ツール仕様、記憶方針、依存版を束ねて再現可能にする。記憶や接口が変わればコードだけの復元では足りず、互換性と移行・無効化規則が必要だ。
制限は候補の外で強制する。自身の予算計数やタイムアウトは削除・無視されうる。外部スケジューラが上限と停止を担う。提案、実行、完了確認、取消し、部分失敗を分け、未確認の外部成功を次世代に継承しない。
12. 未解決問題とRSIを使うべきでない条件
難しいのは生成より検証であることが多い。コンパイラは構文を確認できるが、科学的主張には数か月かかり、社会的結果には合意した単一の正解がないかもしれない。提案増加は監督負担も増やす。強い改善器が弱い判定器の攻略に強くなる可能性もあり、能力と信頼性は別問題だ。
メタ改善には同じ総資源で、更新した探索法が固定法より良い子孫を生むという因果的証拠が必要だ。転移には新しい課題群、長期安定には保持、記憶修正、失敗更新からの復旧が要る。拡張可能な監督、合成データの来歴、多様性、安全な評価は未解決である。
可逆な変更、意味のある検証器、許容できる失敗費用、明確な対象分布がある場合に限定ループを使う。検証が弱い、資産が不可逆な場合は人による審査を優先する。普通の検索改善、教師あり学習、固定手順の方が安い場合もある。
信頼できる情報を得て、有用な状態を保存し、根拠ある変更だけを継承する制約付き過程として理解しよう。反復は無限知能を意味しない。最後の小さなローカル実装でこの違いを確かめる。
未解決問題を限定された研究課題にする
観測できない失敗と独立信号、文言・慣習・モデルへの依存、単純な固定探索での代替、反復変更後の権限と復旧を問う。それぞれ具体的な不確実性であり、再帰を増やせば解決するという約束ではない。
現行版を保つ判断も正しい。予算不足で差とノイズを区別できない、検証器が新変更を覆えない、保持が下限を割るなら止める。停止条件のないループは能力より不確実性を速く蓄積しうる。
13. 実践と検証:成功物語ではなく証拠を作る
算例:改善・忘却・不確実性
親は目標60/100、保持80/100に成功する。Aは72と72で+12、−8点、Bは65と79で+5、−1点。最低増分3、最大損失2、費用上限100ならBだけ採用される。Cは完全性違反、Dは費用180。完全性は入力であって汚染検出器ではない。Bでは新成功15、退行10、共通成功50、共通失敗25となり、差の平均0.05、標本分散0.25、標準誤差0.05。正規近似95%区間は−4.8〜+14.8ポイント。規則上の採用は統計的な能力改善の証明ではない。
ローカル昇格実験
| 候補 | 目標差(点) | 保持差(点) | 費用単位 | 判定 |
|---|
変更前に予測:許容値8でAは採用、CとDは不採用のまま。ブラウザ内だけで動き、送信・モデル呼出し・学習はない。
Pythonで再現
Python 3.11以上でpython3 rsi-audit.pyを実行する。標準ライブラリだけで依存、モデル、APIキーは不要。決定論的で乱数種は不要、出力は実行確認済み。記録済み得点の監査であり、パッチ生成、敵対コード隔離、自律モデルの実装ではない。
Python · 実装をダウンロード
"""Deterministic RSI teaching audit; Python 3.11+, standard library only.
No model, network, generated-code execution, or real capability measurements.
"""
from dataclasses import dataclass
from math import isfinite, sqrt
from statistics import mean, stdev
@dataclass(frozen=True)
class Candidate:
name: str
target: int
retention: int
cost: float
integrity: bool
PARENT_TARGET, PARENT_RETENTION, N = 60, 80, 100
CANDIDATES = (
Candidate('A', 72, 72, 100, True),
Candidate('B', 65, 79, 100, True),
Candidate('C', 78, 80, 100, False),
Candidate('D', 68, 80, 180, True),
)
def gate(c, min_gain=3, max_drop=2, max_cost=100):
values = (c.target, c.retention, c.cost, min_gain, max_drop, max_cost)
if not all(isfinite(x) for x in values):
raise ValueError('Non-finite audit value')
if not (0 <= c.target <= N and 0 <= c.retention <= N):
raise ValueError('Invalid success count')
if c.cost < 0 or max_drop < 0 or max_cost < 0 or type(c.integrity) is not bool:
raise ValueError('Invalid constraint or integrity flag')
failures = []
if c.target - PARENT_TARGET < min_gain: failures.append('gain')
if c.retention - PARENT_RETENTION < -max_drop: failures.append('retention')
if c.cost > max_cost: failures.append('budget')
if not c.integrity: failures.append('integrity')
return not failures, failures
def paired_summary(parent, child):
if len(parent) != len(child) or len(parent) < 2:
raise ValueError('Use at least two paired outcomes')
if any(x not in (0, 1) for x in parent + child):
raise ValueError('Outcomes must be binary')
differences = [b-a for a,b in zip(parent,child)]
delta = mean(differences)
se = stdev(differences) / sqrt(len(differences))
return delta, se, (delta-1.96*se, delta+1.96*se)
if __name__ == '__main__':
for c in CANDIDATES:
accepted, reasons = gate(c)
print(c.name, 'ACCEPT' if accepted else 'REJECT', ','.join(reasons) or '-')
# 15 newly solved, 10 regressions, 50 shared successes, 25 shared failures.
parent = [0]*15 + [1]*10 + [1]*50 + [0]*25
child = [1]*15 + [0]*10 + [1]*50 + [0]*25
delta,se,interval=paired_summary(parent,child)
print(f'paired gain={100*delta:.1f} pp; SE={100*se:.2f} pp')
print(f'approximate 95% interval=[{100*interval[0]:.2f}, {100*interval[1]:.2f}] pp')
assert [gate(c)[0] for c in CANDIDATES] == [False,True,False,False]
assert gate(CANDIDATES[0],max_drop=8)[0]
assert not gate(CANDIDATES[2],max_drop=100,max_cost=1000)[0]
assert gate(Candidate('boundary',63,78,100,True))[0]
assert not gate(Candidate('below',62,78,100,True))[0]
assert interval[0] < 0 < interval[1]
try: gate(Candidate('bad',65,79,float('nan'),True))
except ValueError: pass
else: raise AssertionError('NaN accepted')
print('7 audit checks passed; this is not evidence of model improvement.')
期待出力
A REJECT retention
B ACCEPT -
C REJECT integrity
D REJECT budget
paired gain=5.0 pp; SE=5.00 pp
approximate 95% interval=[-4.80, 14.80] pp
7 audit checks passed; this is not evidence of model improvement.公平な研究手順
課題群、保持下限、停止規則を事前登録する。同じ推論予算の固定エージェント、固定改善器、再帰改善器、記憶・重み・コード変更を個別に除いた条件を比較する。不採用も費用に数える。開発で生成、アクセス制限付き検証で選択、新しい最終監査で報告する。監査を設計判断に使えば独立でなくなる。独立反復、対応差の不確実性、課題群ごとの退行、全系列を公開する。証拠欠落、タイムアウト、破損、権限拡張を注入し、旧版を壊さず昇格を止める。教材の境界確認と本番の隔離・完全性を混同しない。
実行前に各候補を拒む制約を予測する。Aの保持低下を境界へ、Bの改善を3未満へ、Bの完全性を偽へ、Dの予算上限を増やすなど、一つずつ変える。予算緩和で完全性を修復できない理由を説明する。発展では総成功数を固定し成功・失敗が入れ替わる課題数を変える。同じ改善幅でも対応差の不確実性は変わる。台帳、正確なコード版、出力と結論の限界を提出する。
オリジナル面接演習
実際の企業出題ではない。1点:名称、2点:正確な定義、3点:事例適用、4点:対照設計、5点:不確実性・反例・安全な失敗処理。
1. 毎回プロンプトを変えればRSIか。
ヒント1
保持される状態を探す。
ヒント2
次の候補を作る主体を確認する。
回答と分析
採用版が次の改善に関与することを示し、同じ総資源の固定改善器と子孫を比較する。プロンプト変更だけでは一般能力や加速は証明できない。
2. Bが採用されても改善が確実でない理由は。
ヒント1
方針と不確実性は別。
ヒント2
100課題の改善15、退行10を使う。
回答と分析
差も標準誤差も5点で区間はゼロを含む。規則は制約確認で有意性ではない。新課題、事前の不確実性規則、独立反復を使い、結果を見て閾値を変えない。
3. 非公開問題を読まなくても汚染するか。
ヒント1
応答も情報である。
ヒント2
数千回の採否照会を考える。
回答と分析
応答への適応で評価器を学べる。照会を制限し全試行を保存、新しい最終監査を使う。監査を次の変更に使えば独立性を失う。権限制御と統計的独立性は別問題だ。
4. 候補が評価器を編集し20点向上を報告したら。
ヒント1
信頼境界を確認。
ヒント2
得点は出所証明ではない。
回答と分析
昇格を止め、承認済み評価器で不変候補を再実行する。不採用成果物を残しアクセス制御を調べる。完全性や権限違反は高効用で相殺しない。
5. 改善器の進歩と計算追加をどう分けるか。
ヒント1
親と課題分布を固定する。
ヒント2
子孫を比較する。
回答と分析
同じ初期状態、生成・学習・検証予算で旧新改善器を動かす。新課題群で子孫の能力、保持、不確実性を比較し、失敗と複数種も含める。一回の得点増加や長い探索では改善算法の進歩は示せない。
出典と版
日付はarXiv初回提出→参照版。論文名は原題。2026年の新規項目はプレプリントとして扱い、会議採択を推定しない。コードリンクは再現を意味しない。
- Gödel Machines · 2003-09-25 → 2006-12-17 · cs/0309048v5
https://arxiv.org/abs/cs/0309048v5 · PDFhttps://arxiv.org/pdf/cs/0309048v5 - STaR: Bootstrapping Reasoning With Reasoning · 2022-03-28 → 2022-05-20 · 2203.14465v2
https://arxiv.org/abs/2203.14465v2 · PDFhttps://arxiv.org/pdf/2203.14465v2 - Self-Refine · 2023-03-30 → 2023-05-25 · 2303.17651v2
https://arxiv.org/abs/2303.17651v2 · PDFhttps://arxiv.org/pdf/2303.17651v2 - Reflexion · 2023-03-20 → 2023-10-10 · 2303.11366v4
https://arxiv.org/abs/2303.11366v4 · PDFhttps://arxiv.org/pdf/2303.11366v4 - Large Language Models Cannot Self-Correct Reasoning Yet · 2023-10-03 → 2024-03-14 · 2310.01798v2
https://arxiv.org/abs/2310.01798v2 · PDFhttps://arxiv.org/pdf/2310.01798v2 - Self-Rewarding Language Models · 2024-01-18 → 2025-03-28 · 2401.10020v3
https://arxiv.org/abs/2401.10020v3 · PDFhttps://arxiv.org/pdf/2401.10020v3 - Darwin Gödel Machine · 2025-05-29 → 2026-03-12 · 2505.22954v3
https://arxiv.org/abs/2505.22954v3 · PDFhttps://arxiv.org/pdf/2505.22954v3 - AlphaEvolve · 2025-06-16 → 2025-06-16 · 2506.13131v1
https://arxiv.org/abs/2506.13131v1 · PDFhttps://arxiv.org/pdf/2506.13131v1 - The Curse of Recursion: Training on Generated Data Makes Models Forget · 2023-05-27 → 2024-04-14 · 2305.17493v3
https://arxiv.org/abs/2305.17493v3 · PDFhttps://arxiv.org/pdf/2305.17493v3 - PAST-Bench · 2026-08-04 → 2026-08-04 · 2608.04003v1
https://arxiv.org/abs/2608.04003v1 · PDFhttps://arxiv.org/pdf/2608.04003v1 - AI4AI-Bench · 2026-08-20 → 2026-08-20 · 2608.20318v1
https://arxiv.org/abs/2608.20318v1 · PDFhttps://arxiv.org/pdf/2608.20318v1 - Recursive self-improvement of AI research agents / AIDE² · 2026-09-22 → 2026-09-22 · 2609.26457v1
https://arxiv.org/abs/2609.26457v1 · PDFhttps://arxiv.org/pdf/2609.26457v1 - Flex-RSI · 2026-11-06 → 2026-11-06 · 2611.08946v1
https://arxiv.org/abs/2611.08946v1 · PDFhttps://arxiv.org/pdf/2611.08946v1 - RSI-Env · 2026-11-01 → 2026-11-01 · 2611.01736v1
https://arxiv.org/abs/2611.01736v1 · PDFhttps://arxiv.org/pdf/2611.01736v1 - SelfImprove-Bench · 2026-11-02 → 2026-11-02 · 2611.02797v1
https://arxiv.org/abs/2611.02797v1 · PDFhttps://arxiv.org/pdf/2611.02797v1 - RSI-Dojo · 2026-10-29 → 2026-10-29 · 2611.03698v1
https://arxiv.org/abs/2611.03698v1 · PDFhttps://arxiv.org/pdf/2611.03698v1 - Direct Preference Optimization · 2023-05-29 → 2024-07-29 · 2305.18290v3
https://arxiv.org/abs/2305.18290v3 · PDFhttps://arxiv.org/pdf/2305.18290v3
DGM · GitHubhttps://github.com/jennyzzt/dgm · PAST-Bench · GitHubhttps://github.com/Gen-Verse/PAST-Bench · Flex-RSI · projecthttps://flex-rsi.github.io/ · AlphaEvolve · Google DeepMind · 2025-05-14https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/
関連学習
RL · 改善の解釈前に継承、公平な予算、独立した証拠を確認する。 · OpenAI Academyhttps://academy.openai.com/ · Anthropic Learnhttps://www.anthropic.com/learn · Microsoft Learnhttps://learn.microsoft.com/en-us/training/