재귀적 자기개선 전체 이해: 메커니즘, 증거, 신뢰할 수 있는 루프 설계
자체 학습, 기억, 코드 진화, 메타개선, 최신 연구, 독립 평가 구조와 재현 가능한 로컬 실습을 체계적으로 설명합니다.
출처 및 버전 정보
편집 대상, 피드백의 지속적 변화, 감사 가능한 구조, 선택 효과와 실제 개선의 차이를 이해하고 제한된 연구를 설계합니다. 필요한 기초부터 설명합니다.
이 글의 목차
1. AI가 스스로 개선될 때 무엇이 바뀌는가
저장소를 살피지 않고 코드를 고치는 도우미를 생각하자. 답변을 재검토하면 패치 하나가 개선될 수 있다. 점검 절차를 기억하면 다음 세션에 도움이 되고, 성공한 수정으로 학습하면 가중치가 바뀐다. 탐색 정책을 바꾸면 이후 개선을 찾는 방식 자체가 바뀐다. 지속성, 비용, 증거 요구가 서로 다르다.
재귀적 자기개선(RSI)은 AI가 자신의 변경에 참여하고 개선된 버전이 다음 개선 과정에도 참여하는 과정이다. 더 강한 조작적 정의에서는 개선 메커니즘 자체도 개선 대상이다. 한 문제를 잘 푸는 것뿐 아니라 유용한 다음 변경을 더 효율적으로 찾아야 한다. 모든 자기수정 프로그램을 일반적 RSI로 분류하는 합의된 경계는 없다.
가중치 θ, 코드 c, 프롬프트 p, 메모리 m, 도구 T를 개선 절차 I 및 평가기 E와 구분하자. 무엇이 바뀌고, 누가 바꾸며, 무엇이 유지되고, 누가 성공을 판단하는지 밝혀야 한다. 코드 수정은 가중치 학습과 다르며 가중치 학습도 학습 알고리즘 개선과 다르다. 지능 폭발은 지속적 가속을 요구하는 별도의 가설이다.
두 세대에 걸쳐 변경을 추적하기
A가 파일명으로 검색하고 B가 심볼 검색을 추가한다고 하자. B가 현재 버그만 고치면 해법 개선이고, 저장되어 이후 버그에도 쓰이면 재사용 가능한 에이전트 개선이다. B가 심볼 검색으로 자신의 개선 코드 결함을 찾아 C를 제안하면 기록된 과정은 재귀적이다. 그래도 개선기 향상을 입증하려면 같은 자원에서 A와 B의 후손을 비교해야 한다. 자기편집 명령 하나로 모든 주장이 성립하지 않는다.
세대를 세기 전에 시스템 경계를 정한다. 기반 모델이 고정되어도 도구가 바뀌면 시스템은 바뀔 수 있다. 사람이 모델을 교체하면 외부 개입이다. 사람 수정, 모델 교체, 평가기 변경을 별도로 기록하여 자율 개선으로 잘못 귀속하지 않는다.
2. 기초: 학습, 피드백, 계승
최적화는 목표에 맞는 변경을 선택하고, 일반화는 선택에 쓰지 않은 사례에서도 개선이 유지되는지 묻는다. 잘못된 목표를 아주 잘 최적화할 수도 있다. 기울기는 미분 가능한 손실의 국소 민감도지만 Python 수정은 보통 이산 프로그램 탐색이다. 어느 쪽도 목표와 데이터 밖에서 개선을 보장하지 않는다.
피드백은 행동 결과에 대한 정보다. 컴파일 오류는 구체적 실패를 지적하고, 테스트 통과는 해당 단언만 다루며, 선호 평가는 평가자의 취향을 반영한다. “신중하게 반성했다”는 문장은 독립된 증거가 아니다. 계승은 가중치, 메모리, 코드, 알고리즘이 다음 세대에 실제 전달되는 것이다. 없으면 반복 추론일 뿐이다.
부모 해시, 코드 차이, 데이터 스냅샷, 평가기 버전은 무엇이 바뀌었는지 추적하게 한다. 이 글의 일관된 사례는 파일과 도구를 살피는 탐색 정책을 바꾸는 저장소 수리 에이전트다. 모델, 권한, 외부 승인 규칙은 고정하여 특정 메커니즘의 효과를 분리한다.
맞는 신호가 잘못된 교훈을 주는 경우
리스트가 정렬되었는지만 검사하면 원래 원소를 잃어버린 빈 리스트도 통과할 수 있다. 보상은 실제지만 명세가 불완전하다. 출력이 입력의 순열인지 확인해야 정보가 보완된다. 같은 불완전한 테스트에 대해 더 반성한다고 정보가 생기지는 않는다. 이해·명세·피드백 품질이 최적화보다 먼저다.
계승에는 범위가 있다. 한 저장소의 기억을 전역 규칙으로 만들지 말고 라이브러리 버전 같은 적용 조건을 함께 저장한다. 검색 시 조건을 확인하고 모순된 관측이 나오면 기존 기억을 수정하거나 무효화한다. 충돌하는 규칙을 계속 쌓지 않는다.
3. 역사: 변경 가능한 루프의 확장
피드백 제어는 오류에 따라 행동을 바꾸지만 새 제어기를 학습하는 것은 아니다. 진화 탐색은 후보를 보존하지만 변이와 선택 규칙은 사람이 고정할 수 있다. AutoML은 구성을 찾고 메타학습은 여러 과제에서 절차를 배운다. 모두 RSI의 부품이 될 수 있지만 개선 과정의 자기개선을 입증하지는 않는다.
Schmidhuber의 Gödel Machine은 명시된 공리 아래 유용성을 증명한 뒤 자신을 수정하는 이론적 구성이다. LLM 패치에 대한 실용적 보증이 아니다 [1]. 증명을 실증으로 바꾸면 구현은 쉬워지지만 결론은 사용한 과제, 측정 도구, 예산에 의존한다.
추론 수정, 합성 데이터, 기억, 코드 진화, 알고리즘 발견은 서로 다른 대상을 바꾼다. 후속 논문이 이전 것을 모두 대체하는 계단이 아니다. 코드 탐색기가 데이터 필터를 만들고 학습이 새 모델을 생산하는 식으로 결합할 수 있지만 각 단계의 비용과 실패도 계승한다.
유행 연표보다 세 축으로 보기
편집 가능한 탐색 공간, 피드백 출처, 외부 루프 위치로 분류한다. 수백만 하이퍼파라미터를 탐색해도 탐색 규칙은 고정일 수 있다. 학습한 최적화기도 메타학습 절차는 사람이 만들 수 있고 자기편집 에이전트도 승인 제어기는 고정일 수 있다. 보편적 지능 눈금이 아니라 다른 축의 진보다.
증명은 공리와 형식 목표에, 실증은 범위와 측정 무결성에 의존한다. 잘못된 목표의 증명이 현실 과제를 해결하지 않으며 높은 점수가 증명은 아니다. 좁은 불변조건의 형식 검사와 넓은 행동의 실증을 결합할 수 있다.
4. 다섯 메커니즘과 유지되는 것
첫째는 출력 수정이다. 생성과 비평을 반복하며 Self-Refine은 가중치를 고정한다 [3]. 최종 답만 남을 수 있다. 비평은 누락을 찾기도 하지만 정답을 설득력 있는 오답으로 바꾸기도 한다.
둘째는 기억 적응이다. 경험을 저장하고 나중에 검색하며 Reflexion은 언어 피드백을 사용한다 [4]. 좋은 기억은 실패 조건, 행동, 적용 범위를 담는다. “항상 재시도”는 중복 결제를 만들 수 있으므로 만료, 출처, 충돌 해결이 필요하다.
셋째는 가중치 개선이다. 데이터를 생성·선별하고 매개변수를 최적화한다. STaR은 생성한 추론을 정답 감독과 연결하고 [2], Self-Rewarding은 선호 신호도 만든다 [6]. 변화는 세션을 넘어 지속되지만 정답이 모든 추론 단계를 보증하지는 않는다. 필터링은 희귀 능력을 없앨 수 있다.
넷째는 도구·탐색·오케스트레이션 코드를 수정하며 DGM이 사례다 [7]. 다섯째인 메타개선은 후보 제안·선택 또는 학습 방법 자체를 바꾼다. 과제와 예산을 고정하고 새 개선기가 더 좋은 후손을 만드는지 확인해야 한다. improve라는 함수가 바뀌었다는 사실만으로는 부족하다.
실패를 고칠 최소 계층 선택
사실 부족은 검색, 절차 망각은 범위가 있는 기억, 많은 문맥에서 행동이 나쁘면 가중치 업데이트를 고려한다. 도구 순서나 문맥 잘림이면 프레임을, 정보 가치 없는 제안이면 개선기를 살핀다. 단순 편성 결함을 비싼 재학습으로 덮지 않는다.
계층은 상호작용한다. 강한 모델에는 긴 옛 프롬프트가 불필요할 수 있고 기억이 다른 과제의 문맥을 차지한다. 단독 변경과 조합을 비교한다. 프레임 변경 후 기억 제거는 원래 시스템에서 제거하는 것과 다르다. 기준 상태와 상호작용을 기록하고 개선을 단순 합산하지 않는다.
5. 자체 생성 데이터가 가중치를 바꾸는 방법
여러 수정안을 생성하고 검증기가 주어진 명세를 만족하는 것을 선택한다. 지도 미세조정은 그 토큰열의 확률을 높인다. x는 문제와 문맥, y는 선택된 해법, y<j는 앞선 토큰이다. 길이 정규화는 긴 답의 가중치를 바꾼다. 학습하는 것은 추상적 진실이 아니라 선택된 분포다.
쉬운 짧은 과제를 선호하면 다음 데이터는 쉬운 문제로 채워진다. 손실이 줄어도 어려운 사례는 사라질 수 있다. 실제 데이터와 검증된 합성 데이터를 섞고 기존 능력을 보호하며, 분할 전에 문제 가족 단위로 중복을 제거한다. 변수명 변경은 독립된 사례를 만들지 않는다. 생성 모델, 프롬프트, 검증기, 부모 버전을 기록한다.
DPO는 참조 정책 대비 선택·거절 답변의 로그 확률 차이를 키운다. β는 비교 척도이지 안전 보증이 아니다. 같은 모델이 생성과 판정을 맡으면 취향과 사각지대가 강화될 수 있어 외부 확인과 독립 검토가 중요하다. 같은 최적화기로 미세조정을 반복해도 최적화기 자체가 좋아졌다는 증거는 아니다. [17]
작은 계산으로 선택 편향 보기
100문제에서 400해법을 만들고 80개가 통과해도 400번 독립 성공은 아니다. 80개가 쉬운 20문제에서만 왔다면 나머지 80문제의 증거는 없다. 해법마다 같은 가중치를 주면 통과 변형이 많은 문제가 유리하다. 문제별 상한이나 표본 가중치를 정하고 기록한다.
선택/참조 확률비가 2, 거절/참조가 0.5이면 로그비 차이는 log(4)다.
6. 보호된 심판을 둔 전체 아키텍처
그림은 Token Lab의 참고 설계이며 업체 내부 구조가 아니다. 제어기가 버전 보관소에서 부모를 골라 제한된 개발 과제를 개선기에 준다. 개선기는 패치와 변경 명세를 반환한다. 작업자는 일회성 복사본에 적용하고 실행 추적과 산출물을 내지만 스스로 승격할 수 없다.
별도 평가기가 자체 검사를 실행한다. 보고서는 산출물 해시에 묶이며 후보가 출력한 PASS를 믿지 않는다. 배포 제어기는 증거, 제약, 권한을 확인하고 자신의 레지스트리에서 활성 버전 포인터를 원자적으로 바꾼다. 학습·저장·배포 전체가 분산 원자 트랜잭션이 되는 것은 아니다. 완전하고 불변인 산출물을 먼저 기록해야 한다.
거절한 후보도 이유와 비용을 남긴다. 승인된 후보가 다음 부모가 될 수 있지만 카나리 배포는 별도 판단이다. 실패하면 이전 포인터를 복원하고 진행 중 작업을 정리한다. 안정된 작업 ID는 기록을 멱등화하지만 모델 호출 재시도 비용을 없애지는 않는다. 타임아웃은 작업 취소와 미완료 기록을 남기며 성공으로 간주하지 않는다.
화살표뿐 아니라 산출물 동일성 추적
과제 J, 부모 P, 데이터 D, 후보 C, 평가기 E를 보고서에 연결한다. 배포물 해시가 다르면 보고서는 그 물건을 승인하지 않는다. 점수와 동일성을 함께 확인하고 옛 후보 보고서로 새 패치를 허가하지 않는다.
C 업로드 직후 작업자가 죽어도 조정 작업은 평가를 재개할 수 있지만 존재만으로 승인을 추정하면 안 된다. 과제·후보 고유 키로 중복 승격을 막는다. 취소 뒤 남은 산출물도 새 승인 결정 전까지 미승인이다.
7. 단일 승자 계보보다 보관소가 중요한 이유
탐욕적 개선기는 즉시 부모보다 좋아지지 않는 자식을 버린다. 새 검색 도구가 처음에는 토큰을 더 써도 이후 수정의 발판이 될 수 있다. 보관소는 다양한 가지를 남겨 다시 탐색하게 한다. 부모 선택은 활용과 탐색의 절충이며 다양성에도 평가 비용과 의미 있는 행동 설명이 필요하다.
DGM은 기반 모델로 코드를 바꾸고 변형을 보관한다. v3은 Claude 3.5 Sonnet (New)으로 80회 반복한 뒤 자체 SWE-bench 200개 과제에서 20.0%→50.0%를 보고한다. 전체 공개 순위 점수가 아니다. 전체 Polyglot은 o3-mini 평가에서 14.2%→30.7%다. SWE-bench 실행 비용은 약 22,000달러, 각 절제 기준선은 약 10,000달러로 추정한다 [7]. 저자 결과이며 동일 비용 비교나Token Lab 측정이 아니다.
최고 종점 대신 전체 탐색 트리를 기록해야 한다. 세대마다 여러 자식을 시도하면 계산량 증가와 선택만으로도 진보해 보일 수 있다. 부모 선택 규칙과 편집 가능한 에이전트를 구분해야 재귀성 주장의 범위를 알 수 있다.
발판을 저장해도 배포할 필요는 없다
파서는 좋지만 계획기가 느린 버전은 연구에는 유용해도 운영에는 부적절할 수 있다. 보관소 등록과 배포 승인을 분리한다. 심볼 검색, 테스트 기반 위치 탐색, 의존 그래프 탐색처럼 행동 차이를 쓰고 문자열 차이만 다양성으로 보지 않는다.
보관소도 비용이 든다. 계보와 요약을 저장하고 동등 후보를 제거하며 재평가 예산을 제한한다. 새 도구와 호환되지 않을 수 있으므로 부모 선택 전에 가정을 확인한다. 보관소는 유용성 가설이지 영구 인증 승자 목록이 아니다.
8. 개선의 수학: 이득, 비용, 한계
목표는 목표 능력, 유지 능력, 지연, 비용, 위험의 벡터다. 스칼라 효용은 실행 가능한 후보 순위에 쓸 수 있지만 필수 안전·권한 제약은 밖에 둬야 한다. 그렇지 않으면 높은 점수가 금지 행동을 상쇄한다. 퍼센트포인트, 달러, GPU초, 토큰은 서로 다른 단위다.
같은 과제의 이진 결과에서 dᵢ는 후보 성공에서 부모 성공을 뺀 −1, 0, 1이다. 평균은 해당 과제 분포의 차이를 추정하고 표준오차는 쌍별 차이의 변동을 사용한다. 독립된 두 이항분포로 취급하면 안 된다. 반복, 과제군 상관, 적응적 선택은 이 교육용 근사를 복잡하게 한다.
가속을 주장하려면 실패한 후보와 검증까지 포함한 총자원당 개선을 측정한다. 다음 증가량 g는 능력, 자원, 환경의 함수이며 재귀라는 이유로 커지지 않는다. 쉬운 개선의 소진, 검증 비용, 데이터 열화, 유한한 계산 자원이 있다. 승자 체크포인트 세 개로 지수 법칙을 확정할 수 없으며 고정 비용에서의 정체도 중요한 결과다.
분모도 명확하게
후보 10개가 각각 생성 2시간, 검증 1시간이면 승자가 하나여도 총 30시간이다. 3pp 개선은 시간당 0.1pp이지 승자의 3시간만 센 시간당 1pp가 아니다. 시스템 비교에는 하드웨어·모델·과제 분포도 맞춰야 한다.
60%에서 65%는 5pp 증가, 상대 정확도 8.33% 증가이며 오류율 40%에서 35%는 상대 오류 12.5% 감소다. 모두 같은 결과다. 크게 들리는 수치를 골라도 증거는 변하지 않으므로 건수와 분모를 공개한다.
9. 최전선: 서로 다른 네 병목
알고리즘 발견은 일반적 자기 업그레이드와 다르다. AlphaEvolve는 평가기로 실행 가능한 알고리즘을 찾고 DeepMind는 수학·인프라 응용을 보고한다 [8]. 정확성 명세 아래 커널을 최적화하는 일은 사회적 목표를 결정하는 일보다 좁다. 검증이 발견보다 저렴하면 탐색 가치가 높아진다.
PAST-Bench는 26개 시나리오와 204개 에피소드로 세션 간 경험 유지를 다룬다 [10]. AI4AI-Bench는 저장소 10개, 과제당 B300 한 장에서 4시간, 이후 최대 12시간 새 실행으로 학습 알고리즘 변경을 본다 [11]. 정규화 점수는 정확도 비율이 아니다. AIDE²는 8일 동안 7번의 승인된 개선과 전이를 보고한다 [12]. Flex-RSI는 고정 예산에서 해법 변경과 실행기·개선기 프레임 변경을 나눈다 [13]. 버전을 고정한 프리프린트 보고이며Token Lab 재현이 아니다.
경험 유지, 알고리즘 변경, 후속 연구 효율, 프레임 수정 기여는 다른 질문이다. 하나의 성공이 다른 성공을 뜻하지 않는다. 이질적 점수를 RSI 순위로 합치지 말고 표를 문헌 이해 지도로 사용하자.
최전선 결과를 주장 사슬로 읽기
편집물과 고정 인프라, 받은 피드백, 선택에 쓴 방식, 최종 과제 독립성을 차례로 확인한다. 이어 후속 버전이 실제 다음 개선을 수행했는지 본다. 좋은 종점과 좋은 후손 생성 속도의 향상은 다른 주장이다.
기억 연구는 지속성, 알고리즘 연구는 학습 규칙, 프레임 연구는 도구와 제어에 활용한다. 다른 대상에 옮기려면 새 근거가 필요하다. 코드 검증기가 곧 과학 제안의 신뢰할 심판은 아니며 가상 보상이 현실 안전 명세는 아니다.
연구별 증거 지도
개선 해석 전에 계승, 공정 예산, 독립 증거를 확인한다.
| 연구 | 편집 대상 / 경계 |
|---|---|
| STaR [2] | 가중치 / 선별 추론 |
| Self-Refine [3] | 답 / 고정 가중치 |
| Reflexion [4] | 기억 / 언어 피드백 |
| DGM [7] | 코드 / 변형 보관 |
| AlphaEvolve [8] | 알고리즘 / 실행 검증기 |
| PAST-Bench [10] | 경험 / 세션 간 유지 |
| AI4AI-Bench [11] | 학습 알고리즘 / 새 실행 |
| AIDE² [12] | 연구 에이전트 / 변경 계승 |
| Flex-RSI [13] | 실행기·개선기 / 고정 예산 |
| RSI-Env [14] | 모델·프레임 지속 환경 |
| SelfImprove-Bench [15] | 일반화 단계 G0–G4 |
| RSI-Dojo [16] | 후학습 수행 능력 학습 |
10. 개선 루프가 자신을 속이는 방식
비공개 평가기가 독립적인 것은 아니다. 점수, 승인 여부, 오류 상세가 정보를 주며 라벨을 읽지 않고도 적응할 수 있다. 공개 정답, 유사 과제, 기억, 생성 설명도 누출원이다. 파일 보호만으로 통계적 오염을 막지 못한다.
승자의 저주도 있다. 같은 능력의 여러 후보 중 측정 최대값을 고르면 양의 잡음을 고르기 쉽다. 독립 가우시안 잡음의 최대값은 대략 σ√(2 log K)처럼 커지지만 이는 점근적 설명이지 보편적 교정식이 아니다. 승자 계보만 공개하면 K와 실패 비용이 숨는다. 작은 이득은 새 과제와 독립 반복이 필요하다.
잘못된 비평기는 오류를 강화한다. 내재적 자기수정의 한계가 관찰되었고 [5], 합성 데이터로의 교체는 분포 꼬리를 잃을 수 있다 [9]. 모든 합성 데이터가 무효라는 뜻은 아니다. 믿을 수 있는 새 정보 유입과 희귀 능력 유지가 중요하다.
보상 해킹은 과제가 아닌 측정을 개선한다. 테스트 생략, 평가 파일 열람, 도구 기록 조작, 파서 결함 이용이 그 예다. 후보 출력을 신뢰하지 말고 의미적 정확성, 평가 무결성, 권한 준수를 분리해야 한다.
우연한 지름길과 조작 구분
익숙한 과제에 캐시 답을 쓰면 속일 의도 없이도 점수가 오르고 새 입력에서는 실패할 수 있다. 로그 조작이나 보호 데이터 열람은 다른 실패다. 모두 결과를 무효화하지만 각각 과제 범위 또는 격리·출처를 고쳐야 한다. 점수로 의도를 추정하지 않는다.
평가기의 자신감 있는 표현 선호는 선택과 재학습으로 증폭될 수 있지만 사실성은 그대로일 수 있다. 과제 결과, 문체 선호, 제약 위반을 별도로 기록하여 선호 향상을 사실 정확성으로 대체하지 않는다.
11. 실험에서 운영으로: 제한된 권한
개선기는 승인된 개발 자료만 읽고 후보 작업 공간에만 쓴다. 운영 자격증명, 평가 비밀, 배포 권한은 별도 제어면에 둔다. 컨테이너만으로 적대적 코드 격리가 완성되지 않는다. 호스트 마운트, 네트워크, 자원 한도를 확인하고 구매·물리 동작 권한을 자동 확대하지 않는다.
부모·패치 해시, 데이터·평가기 버전, 시드, 도구 기록, 자원, 판정, 배포 ID를 추가 전용 장부에 남긴다. 원시 결과는 후보가 쓸 수 없는 곳에 저장하고 민감 정보를 가리며 보존 기간을 제한한다. 모델의 실행 설명은 실제 실행 영수증이 아니다.
제안, 실행, 거절, 승인, 카나리, 활성, 롤백 상태를 구분한다. 증거가 없으면 승격하지 않고 완전한 불변 산출물에서 복구한다. 로봇은 실환경 전이 검증과 독립 안전 제어기가 필요하다. 시뮬레이션 개선이 동작 허가는 아니다.
상업적 핵심은 신뢰할 수 있는 평가·배포 서비스다. 연구팀은 재현성, 플랫폼팀은 안전한 통합과 비용 한도를 산다. 모델·편성·관측 공급자는 구성요소를 제공하지만 그 자체로 RSI를 증명하지 않는다. 비공개 점유율이나 인수 후 자동 제품 통합을 주장하지 않는다.
연구와 릴리스 주기 분리
탐색은 자주 해도 운영은 안정 버전을 유지할 수 있다. 모델, 코드, 프롬프트, 도구 스키마, 기억 정책, 의존 버전을 묶어 재현 가능하게 한다. 기억이나 인터페이스도 바뀌면 코드 롤백만으로 부족하므로 호환성·이전·무효화 규칙이 필요하다.
제약은 후보 밖에서 강제한다. 자신의 예산 계수기나 타임아웃은 삭제·무시될 수 있다. 외부 스케줄러가 상한과 종료를 맡는다. 제안·실행·완료 확인, 취소, 부분 실패를 구분하고 미확인 외부 성공을 다음 세대에 계승하지 않는다.
12. 미해결 문제와 RSI를 쓰지 말아야 할 때
어려운 병목은 생성보다 검증인 경우가 많다. 컴파일러는 문법을 확인하지만 과학 주장은 수개월이 걸리고 사회적 결과에는 합의된 단일 정답이 없을 수 있다. 제안 증가에는 감독 부담이 따른다. 강한 개선기가 약한 심판을 더 잘 악용할 수도 있어 능력과 신뢰성은 별개다.
메타개선은 동일 총자원에서 새 탐색 전략이 고정 전략보다 좋은 후손을 만든다는 인과 증거가 필요하다. 전이는 새 과제군을, 장기 안정성은 능력 유지·기억 수정·실패 복구를 요구한다. 확장 가능한 감독, 합성 데이터 출처, 다양성, 안전한 평가는 열린 문제다.
변경이 가역적이고 의미 있는 검증기가 있으며 실패 비용을 감당하고 목표 분포가 명확할 때 제한 루프를 쓴다. 검증이 약하거나 비가역 자산이면 사람의 검토를 우선한다. 일반 검색 개선, 지도학습, 고정 워크플로가 더 저렴할 수도 있다.
신뢰할 정보를 얻고 유용한 상태를 보존하며 정당화된 변경만 계승하는 제약된 과정으로 이해하자. 반복이 무한 지능을 뜻하지 않는다. 마지막 작은 로컬 구현에서 이 차이를 실행 규칙으로 확인한다.
열린 문제를 제한된 연구 의제로 바꾸기
관측 못 하는 실패와 독립 신호, 표현·관행·모델 의존성, 단순 고정 탐색으로의 대체 가능성, 반복 변경 뒤 권한과 복구를 묻는다. 구체적 불확실성이지 재귀를 늘리면 해결된다는 약속이 아니다.
현 버전 유지도 옳은 결정이다. 예산이 부족해 이득과 잡음을 구분 못 하거나 검증기가 새 변경을 다루지 못하거나 유지 능력이 하한을 넘으면 멈춘다. 정지 조건 없는 루프는 능력보다 불확실성을 빨리 쌓을 수 있다.
13. 실습과 검증: 성공담이 아닌 증거 만들기
계산 예: 개선, 망각, 불확실성
부모는 목표 60/100, 유지 과제 80/100을 푼다. A는 72와 72로 +12, −8점이고 B는 65와 79로 +5, −1점이다. 최소 증가 3, 최대 손실 2, 비용 한도 100이면 B만 통과한다. C는 무결성 실패 입력, D는 비용 180이다. 무결성 입력은 오염 탐지기가 아니다. B는 새 성공 15, 회귀 10, 공통 성공 50, 공통 실패 25로 평균 차이 0.05, 표본분산 0.25, 표준오차 0.05다. 정규근사 95% 구간은 −4.8~+14.8 퍼센트포인트다. 규칙상 승인은 통계적 능력 향상의 증명이 아니다.
로컬 승격 실험
| 후보 | 목표 차이(pp) | 유지 차이(pp) | 비용 단위 | 판정 |
|---|
변경 전 예측: 허용치 8에서 A는 통과하지만 C와 D는 거절된다. 브라우저 로컬 실행이며 업로드·모델 호출·학습은 없다.
Python으로 재현
Python 3.11 이상에서 python3 rsi-audit.py를 실행한다. 표준 라이브러리만 필요하고 모델·키가 없다. 결정적이므로 시드가 필요 없으며 출력을 확인했다. 기록 점수 감사이며 패치 생성·적대 코드 격리·자율 모델 구현은 아니다.
Python · 참고 구현 다운로드
"""Deterministic RSI teaching audit; Python 3.11+, standard library only.
No model, network, generated-code execution, or real capability measurements.
"""
from dataclasses import dataclass
from math import isfinite, sqrt
from statistics import mean, stdev
@dataclass(frozen=True)
class Candidate:
name: str
target: int
retention: int
cost: float
integrity: bool
PARENT_TARGET, PARENT_RETENTION, N = 60, 80, 100
CANDIDATES = (
Candidate('A', 72, 72, 100, True),
Candidate('B', 65, 79, 100, True),
Candidate('C', 78, 80, 100, False),
Candidate('D', 68, 80, 180, True),
)
def gate(c, min_gain=3, max_drop=2, max_cost=100):
values = (c.target, c.retention, c.cost, min_gain, max_drop, max_cost)
if not all(isfinite(x) for x in values):
raise ValueError('Non-finite audit value')
if not (0 <= c.target <= N and 0 <= c.retention <= N):
raise ValueError('Invalid success count')
if c.cost < 0 or max_drop < 0 or max_cost < 0 or type(c.integrity) is not bool:
raise ValueError('Invalid constraint or integrity flag')
failures = []
if c.target - PARENT_TARGET < min_gain: failures.append('gain')
if c.retention - PARENT_RETENTION < -max_drop: failures.append('retention')
if c.cost > max_cost: failures.append('budget')
if not c.integrity: failures.append('integrity')
return not failures, failures
def paired_summary(parent, child):
if len(parent) != len(child) or len(parent) < 2:
raise ValueError('Use at least two paired outcomes')
if any(x not in (0, 1) for x in parent + child):
raise ValueError('Outcomes must be binary')
differences = [b-a for a,b in zip(parent,child)]
delta = mean(differences)
se = stdev(differences) / sqrt(len(differences))
return delta, se, (delta-1.96*se, delta+1.96*se)
if __name__ == '__main__':
for c in CANDIDATES:
accepted, reasons = gate(c)
print(c.name, 'ACCEPT' if accepted else 'REJECT', ','.join(reasons) or '-')
# 15 newly solved, 10 regressions, 50 shared successes, 25 shared failures.
parent = [0]*15 + [1]*10 + [1]*50 + [0]*25
child = [1]*15 + [0]*10 + [1]*50 + [0]*25
delta,se,interval=paired_summary(parent,child)
print(f'paired gain={100*delta:.1f} pp; SE={100*se:.2f} pp')
print(f'approximate 95% interval=[{100*interval[0]:.2f}, {100*interval[1]:.2f}] pp')
assert [gate(c)[0] for c in CANDIDATES] == [False,True,False,False]
assert gate(CANDIDATES[0],max_drop=8)[0]
assert not gate(CANDIDATES[2],max_drop=100,max_cost=1000)[0]
assert gate(Candidate('boundary',63,78,100,True))[0]
assert not gate(Candidate('below',62,78,100,True))[0]
assert interval[0] < 0 < interval[1]
try: gate(Candidate('bad',65,79,float('nan'),True))
except ValueError: pass
else: raise AssertionError('NaN accepted')
print('7 audit checks passed; this is not evidence of model improvement.')
예상 출력
A REJECT retention
B ACCEPT -
C REJECT integrity
D REJECT budget
paired gain=5.0 pp; SE=5.00 pp
approximate 95% interval=[-4.80, 14.80] pp
7 audit checks passed; this is not evidence of model improvement.공정한 연구 절차
과제군, 유지 하한, 중지 규칙을 사전 등록한다. 동일 추론 예산의 고정 에이전트, 고정 개선기, 재귀 개선기와 기억·가중치·코드 변경을 하나씩 제거한 조건을 비교한다. 거절 후보 비용도 센다. 개발은 생성, 제한된 검증은 선택, 새 최종 감사는 보고에 쓴다. 감사 피드백으로 설계를 바꾸면 독립성이 사라진다. 독립 반복, 쌍별 불확실성, 과제군 회귀, 모든 계보를 보고한다. 증거 누락·타임아웃·손상·권한 확장을 주입하면 이전 활성 버전을 보존하며 승격을 막아야 한다. 교육 예의 경계 확인과 운영의 무결성·격리를 혼동하지 않는다.
실행 전에 각 후보를 거절하는 제약을 예측한다. A의 유지 손실을 경계로, B의 이득을 3 미만으로, B의 무결성을 거짓으로, D의 예산 상한을 더 높게 한 번에 하나씩 바꾼다. 예산 완화가 무결성을 고치지 못하는 이유를 설명한다. 확장 과제는 총 성공 수를 유지하면서 성공·실패가 뒤바뀐 문제 수를 바꾼다. 같은 이득이어도 쌍별 불확실성은 달라진다. 장부, 정확한 코드 버전, 출력, 결론의 한계를 제출한다.
독창적인 모의 면접 문제
실제 회사 기출이 아니다. 1점 명명, 2점 정확한 정의, 3점 사례 적용, 4점 통제 비교, 5점 불확실성·반례·안전 실패 처리.
1. 매번 프롬프트를 바꾸면 RSI인가?
힌트 1
유지되는 상태를 찾자.
힌트 2
다음 후보를 만드는 주체를 보자.
답과 분석
승인 버전이 다음 개선에 참여함을 보이고 동일 총자원에서 고정 개선기와 후손을 비교한다. 프롬프트 변경만으로 일반 능력이나 가속을 증명하지 못한다.
2. B가 승인되어도 신뢰할 개선을 입증하지 못하는 이유는?
힌트 1
정책과 불확실성은 다르다.
힌트 2
100문제에서 개선 15, 회귀 10을 쓴다.
답과 분석
차이와 표준오차가 모두 5pp라 구간에 0이 있다. 규칙은 제약을 확인할 뿐 유의성을 검정하지 않는다. 새 과제와 사전 불확실성 규칙, 독립 반복을 쓰고 결과를 보고 문턱을 바꾸지 않는다.
3. 읽지 않은 비공개 벤치마크도 오염되는가?
힌트 1
피드백도 정보다.
힌트 2
수천 번 승인 여부를 묻는다고 생각하자.
답과 분석
응답에 적응하여 평가기를 학습할 수 있다. 질의를 제한하고 전체 시도를 저장하며 새 최종 감사를 쓴다. 감사가 다음 수정에 영향을 주면 독립성이 사라진다. 권한 통제와 통계적 독립성은 다르다.
4. 후보가 평가기를 수정하고 20점 향상을 보고하면?
힌트 1
신뢰 경계를 찾자.
힌트 2
점수는 출처 증명이 아니다.
답과 분석
승격을 막고 승인 평가기로 불변 후보를 재실행한다. 거절 산출물을 보존하고 접근 통제를 조사한다. 무결성·권한 위반은 높은 효용으로 상쇄하지 않는다.
5. 개선기 향상과 계산 추가를 어떻게 구분하는가?
힌트 1
부모와 과제 분포를 고정한다.
힌트 2
후손을 비교한다.
답과 분석
같은 시작 상태와 생성·학습·검증 예산으로 새·옛 개선기를 실행한다. 새 과제군에서 후손 능력, 유지, 불확실성을 비교하고 실패와 여러 시드를 포함한다. 한 번의 점수 상승이나 긴 탐색은 개선 알고리즘 향상의 증거가 아니다.
출처와 버전
날짜는 arXiv 최초 제출 → 인용 버전입니다. 논문 원제를 유지합니다. 2026년 신규 항목은 프리프린트로 다루며 학회 채택을 추정하지 않습니다. 코드 링크는 독립 재현을 뜻하지 않습니다.
- Gödel Machines · 2003-09-25 → 2006-12-17 · cs/0309048v5
https://arxiv.org/abs/cs/0309048v5 · PDFhttps://arxiv.org/pdf/cs/0309048v5 - STaR: Bootstrapping Reasoning With Reasoning · 2022-03-28 → 2022-05-20 · 2203.14465v2
https://arxiv.org/abs/2203.14465v2 · PDFhttps://arxiv.org/pdf/2203.14465v2 - Self-Refine · 2023-03-30 → 2023-05-25 · 2303.17651v2
https://arxiv.org/abs/2303.17651v2 · PDFhttps://arxiv.org/pdf/2303.17651v2 - Reflexion · 2023-03-20 → 2023-10-10 · 2303.11366v4
https://arxiv.org/abs/2303.11366v4 · PDFhttps://arxiv.org/pdf/2303.11366v4 - Large Language Models Cannot Self-Correct Reasoning Yet · 2023-10-03 → 2024-03-14 · 2310.01798v2
https://arxiv.org/abs/2310.01798v2 · PDFhttps://arxiv.org/pdf/2310.01798v2 - Self-Rewarding Language Models · 2024-01-18 → 2025-03-28 · 2401.10020v3
https://arxiv.org/abs/2401.10020v3 · PDFhttps://arxiv.org/pdf/2401.10020v3 - Darwin Gödel Machine · 2025-05-29 → 2026-03-12 · 2505.22954v3
https://arxiv.org/abs/2505.22954v3 · PDFhttps://arxiv.org/pdf/2505.22954v3 - AlphaEvolve · 2025-06-16 → 2025-06-16 · 2506.13131v1
https://arxiv.org/abs/2506.13131v1 · PDFhttps://arxiv.org/pdf/2506.13131v1 - The Curse of Recursion: Training on Generated Data Makes Models Forget · 2023-05-27 → 2024-04-14 · 2305.17493v3
https://arxiv.org/abs/2305.17493v3 · PDFhttps://arxiv.org/pdf/2305.17493v3 - PAST-Bench · 2026-08-04 → 2026-08-04 · 2608.04003v1
https://arxiv.org/abs/2608.04003v1 · PDFhttps://arxiv.org/pdf/2608.04003v1 - AI4AI-Bench · 2026-08-20 → 2026-08-20 · 2608.20318v1
https://arxiv.org/abs/2608.20318v1 · PDFhttps://arxiv.org/pdf/2608.20318v1 - Recursive self-improvement of AI research agents / AIDE² · 2026-09-22 → 2026-09-22 · 2609.26457v1
https://arxiv.org/abs/2609.26457v1 · PDFhttps://arxiv.org/pdf/2609.26457v1 - Flex-RSI · 2026-11-06 → 2026-11-06 · 2611.08946v1
https://arxiv.org/abs/2611.08946v1 · PDFhttps://arxiv.org/pdf/2611.08946v1 - RSI-Env · 2026-11-01 → 2026-11-01 · 2611.01736v1
https://arxiv.org/abs/2611.01736v1 · PDFhttps://arxiv.org/pdf/2611.01736v1 - SelfImprove-Bench · 2026-11-02 → 2026-11-02 · 2611.02797v1
https://arxiv.org/abs/2611.02797v1 · PDFhttps://arxiv.org/pdf/2611.02797v1 - RSI-Dojo · 2026-10-29 → 2026-10-29 · 2611.03698v1
https://arxiv.org/abs/2611.03698v1 · PDFhttps://arxiv.org/pdf/2611.03698v1 - Direct Preference Optimization · 2023-05-29 → 2024-07-29 · 2305.18290v3
https://arxiv.org/abs/2305.18290v3 · PDFhttps://arxiv.org/pdf/2305.18290v3
DGM · GitHubhttps://github.com/jennyzzt/dgm · PAST-Bench · GitHubhttps://github.com/Gen-Verse/PAST-Bench · Flex-RSI · projecthttps://flex-rsi.github.io/ · AlphaEvolve · Google DeepMind · 2025-05-14https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/
추가 학습
RL · 개선 해석 전에 계승, 공정 예산, 독립 증거를 확인한다. · OpenAI Academyhttps://academy.openai.com/ · Anthropic Learnhttps://www.anthropic.com/learn · Microsoft Learnhttps://learn.microsoft.com/en-us/training/