재귀적 자기 개선 연구를 읽는 두 가지 기준

배경과 문제

AI가 스스로를 개선하고 그 개선이 다음 개선을 더 쉽게 만든다는 생각은 I. J. Good의 '지능 폭발' 논증과 Jürgen Schmidhuber의 '괴델 머신'까지 거슬러 올라가는 오래된 아이디어다. 최근에는 대규모 언어 모델(LLM)이 자기 출력을 비판하고 고쳐 쓰거나, 자기가 만든 데이터로 학습하거나, 자기 에이전트 코드를 다시 작성하는 일이 실제 엔지니어링 관행이 되었다. FunSearch나 AlphaEvolve처럼 AI가 발견한 알고리즘이 다시 AI 개발 인프라로 들어가는 사례도 등장했다.

문제는 이 분야의 어휘에 있다. self-refine, self-correct, self-reward, self-play 같은 'self-X' 용어는 각각 하나의 메커니즘을 가리키지만, 그 메커니즘들이 추구하는 목표는 근본적으로 다르다. 모델이 자기 초안을 다시 읽고 오류 하나를 고치는 것과 에이전트가 자기 코드베이스 전체를 다시 쓰는 것은 둘 다 자기 개선으로 불리지만 위험의 크기와 검증 방법이 완전히 다르다. 같은 이름 아래에서 이 둘을 비교하면 어느 쪽에 대해서도 정확한 판단을 내리기 어렵다.

기존 접근의 한계

기존 서베이들은 이 지형의 한 단면만 다룬다. 온폴리시 증류 서베이나 트리 탐색과 보상을 결합한 추론 방법 서베이는 학습 시점 범주 안에 들어가고, 에이전트 서베이와 LLM 평가 서베이는 각각 배포 시점과 자기 평가의 구성 요소를 따로 다룬다. 저자들이 아는 한, 출력 다듬기부터 개방형 RSI까지 전체 범위를 자율성 정도에 따라 함께 정리한 서베이는 없었다.

저자들은 세 가지 관찰을 동기로 든다. 첫째, '자기 개선'은 하나가 아니다. 추론 시점 출력 수정, 자기 생성 데이터 학습, 자기 코드를 다시 쓰는 에이전트, AI 연구를 자율적으로 수행하는 시스템이 모두 같은 단어로 불린다. 둘째, 분야가 정리되는 속도보다 커지는 속도가 빠르다. 코퍼스의 74%가 2026년에 게시되었고, 분기별 논문 수는 2024년 초 한 자릿수에서 2026년 2분기 약 500편으로 늘었다. 셋째, 어디에서나 같은 병목이 반복된다. 바로 평가기다. 자기 학습은 정답을 확인할 수 있는 코드와 수학에서 잘 동작하고 그렇지 않은 곳에서는 성능이 떨어지며, 자동 연구자는 유창하지만 주장을 검증하기 어려운 논문을 만들고, 자기 보상 루프는 자기 심판을 해킹한다.

연구방법을 단계별로

서베이는 먼저 용어를 고정한다. 에이전트는 인지와 행동의 루프를 돌며 목표를 추구하는 LLM 기반 시스템이고, 하네스는 모델을 에이전트로 만드는 주변 요소 전부(시스템 프롬프트, 도구 정의, 메모리, 스킬 라이브러리 등)다. 평가기는 후보 산출물을 품질 신호로 바꾸는 모든 장치인데, 건전성이 보장되는 평가기는 검증기, 그런 보장이 없는 학습 기반 또는 프롬프트 기반 평가기는 심판으로 구분한다. 자기 개선은 시스템이 자기 자신이나 자기 출력의 더 나은 버전을 만드는 데 참여하는 것이며, 무엇이 더 나은지는 어떤 평가기가 정의한다.

분류체계는 두 축으로 구성된다. 첫 번째 축은 '무엇을 개선하는가'로, 배포 시점 자기 진화(출력 정제, 테스트 시점 학습, 하네스/스킬 진화), 학습 시점 자기 반복(자기 보상 강화학습, CoT 자기 학습, 자기 증류, 셀프 플레이, 체화 루프), 자기 평가(심판, 과정 보상 모델, 검증기, 루브릭, 메타 평가), 자동 연구(AI 과학자, 진화적 프로그램 발견)의 네 범주다. 두 번째 축은 '누가 검증하는가'로, 사람이 루프 안에 있는 경우, 사람이 루프 위에서 감독하는 경우, 닫힌 루프의 세 단계다. 두 축을 교차하면 4×3 격자가 되고, 논문 대부분은 사람이 결과를 감독하는 Human-on-the-loop 수준에 몰려 있다.

코퍼스는 두 단계로 모았다. 시드 수집 단계에서 2024~2026년 arXiv를 7개 갈래로 검색하고 OpenAlex 인용 및 학회 메타데이터를 붙인 뒤 주제와 무관한 논문을 걸러 871편을 얻었다. 분류체계 정렬 단계에서 시드 논문 전체를 위 범주로 다시 분류하고, 시드 검색이 덜 다룬 자기 평가 방법, 테스트 시점 학습, 제로 데이터 셀프 플레이의 세 방향으로 379편을 추가 수집했다. 재현성을 위해 검색어, 질의별 상한, 중복 제거 로직, 분류 규칙을 실행 가능한 스크립트로 공개했고, 분류와 수정은 한 명이 수행했기 때문에 논문별 배정 결과 전체를 공개해 감사할 수 있게 했다.

결과와 숫자의 의미

코퍼스 1,250편의 범주별 구성은 배포 시점 자기 진화 393편(74%가 2026년 게시), 학습 시점 자기 반복 340편(69%), 자기 평가 318편(82%), 자동 연구 139편(76%), 기초 이론·한계·안전성 60편(57%)이다. 논문의 74%가 2026년에 게시되어 인용 수는 거의 0에 가까우므로 영향력의 지표로 읽으면 안 된다. 저자들은 STaR, SPIN, FunSearch, The AI Scientist처럼 수집 기간 이전의 대표 연구를 기준점으로 직접 인용하고, 2026년 논문 더미는 활동이 어디에 몰려 있는지를 보여 주는 지도로만 썼다.

배포 시점 자기 진화에서 가장 큰 단일 갈래는 출력 정제다. 9개 LLM과 7개 언어쌍으로 문서 단위 문학 번역을 분석한 연구는 정제로 얻는 이득이 주로 유창성, 문체, 용어에서 나오고 내용의 적절성은 덜 일관되게 개선된다는 것을 확인했다. 또한 정제는 초안이 실제로 틀린 부분을 고치기보다 출력을 정제 모델 자신의 분포 쪽으로 끌어당기는 것으로 나타났다. 이는 외부 피드백이 없으면 LLM은 추론을 대체로 스스로 교정하지 못하고, 단순한 자기 교정은 오히려 답을 나쁘게 만들 수 있다는 Huang 등의 부정적 결과와 같은 방향이다.

학습 시점 자기 반복에서는 Lin의 연구가 코드에 대한 REINFORCE 사후 학습에서 '상승 후 붕괴'라는 실패 모드를 보고한다. 연속된 학습 캠페인 동안 pass@1이 오르다가 같은 실행 안에서 무너지며, 때로는 거의 0까지 떨어진다. 진짜로 검증 가능한 이진 보상을 썼는데도 그랬고, KL 발산 제약이나 EWC 방식 제약으로도 막지 못했다. 곧 자기 학습이 퇴보하는 데 보상 모델의 오정렬이 꼭 필요한 것은 아니며, 최적화 동역학만으로도 충분하다.

구체적인 예시

배포 시점의 코드 자기 수정은 외부 신호를 가장 싸고 분명하게 얻을 수 있는 영역이다. 실행 피드백 수정 루프는 Blender에서 3D 에셋을 만드는 멀티 에이전트 시스템부터, 런타임 피드백으로 병목을 진단하는 데이터베이스 튜닝 에이전트, 프로파일링 결과에 근거한 컴파일러 패스 튜닝까지 폭넓게 쓰인다. 형식 수학에서는 Lean 정리 증명을 위한 LEAP, Rust 검증을 위한 KVerus 같은 증명 보조기 기반 에이전트 프레임워크가 가장 강한 검증기인 증명 검사기를 활용해, 명시된 형식 명제를 검사기에 통과시키며 여러 차례 수정을 반복한다. 다만 명제나 프로그램 명세가 실제로 원하는 목표를 담았는지까지 검사기가 보장하는 것은 아니다.

학습 시점의 온폴리시 자기 증류(OPSD)는 이 서베이가 모은 코퍼스에서 2026년 이전 사례가 없는 최근 갈래이며, 수집된 논문은 56편이다. 모든 선행 연구의 부재를 입증한 결과는 아니다. 하나의 모델이 학생과 특권 교사 역할을 함께 맡는다. 교사는 같은 가중치이지만 참고 풀이, 검증된 피드백, 더 풍부한 문맥 같은 추가 정보를 조건으로 받고, 학생은 자기 롤아웃에서 교사의 토큰 단위 분포를 따라가도록 학습한다. 토큰 단위의 밀도 높은 감독을 받으면서도 외부 교사나 보상 모델이 필요 없다. 그러나 대조 분석 연구(RLCSD)는 특권 분포와 비특권 분포의 차이에서 나오는 학습 신호가 과제와 관련된 토큰이 아니라 문체 토큰에 몰린다는 것을 보였다. 힌트를 받은 교사가 더 짧고 직접적인 글을 쓰기 때문이다. 그 결과 생기는 특권으로 인한 문체 표류가 학습을 불안정하게 만들거나 응답 길이를 무너뜨린다.

한계와 오해하기 쉬운 점

이 서베이의 코퍼스는 전수 조사가 아니라 표본이다. 질의별 깊이 상한이 있어 최근의 대량 갈래가 유리하고, 추가 수집은 구조상 최근 논문에 치우쳐 있어 성장 통계는 시드 코퍼스만으로 계산했다. 자동 분류는 근사적이라 모든 범주에 경계에 걸친 논문이 있고, 추가 수집분 379편 중 약 54편(대략 7편 중 1편)은 검색어에 딸려 온 주변부 논문이라 집계에는 남아 있지만 근거로는 인용하지 않았다. 프런티어 랩 내부의 RSI 관행은 랩이 공개한 것으로만 관찰할 수 있어, 가장 앞선 연구일수록 공개되지 않아 표본에서 빠질 가능성이 크다.

분류체계 자체도 의도적으로 두 가지를 담지 않는다. 첫째, 두 분류 기준 모두 목표를 주어진 것으로 가정한다. 개선이 어디에 반영되는지와 누가 검증하는지는 보지만, 그 목표가 여전히 옳은지는 다루지 않는다. 둘째, 분류체계는 개선이 반영되는 기반을 기준으로 나뉘고, 시간에 따른 궤적은 기록하지 않는다. 한 시스템이 출력을 개선하고, 이어서 평가기를, 그다음에는 연구 방법을 개선한다면 격자의 세 칸에 나뉘어 들어가고, 이것이 하나의 시스템이 연속적으로 발전한 결과라는 사실은 어디에도 남지 않는다. 반복된 DPO 사후 학습 파이프라인 연구는 캠페인을 거듭하며 학습한 행동은 유지되지만 방법론적 지식은 쌓이지 않는 현상을 '과학적 기억상실'이라고 불렀다.

실제로 어떻게 활용할까

실무에서 이 서베이의 분류체계는 자기 개선 시스템을 설계할 때 '무엇을 개선하는가'와 '누가 검증하는가'를 먼저 물어보게 한다. 예를 들어 출력 정제 루프를 만들 때 외부 신호(실행, 검색, 탐지기, 솔버)에 비판을 근거하지 않으면 출력이 모델 자신의 분포 쪽으로 끌려가 신뢰할 수 없는 개선이 될 수 있다. 코드와 증명처럼 검증기가 강한 곳에서 개선이 가장 확실하므로, 가능하면 검증기를 먼저 확보하고 그 검증기를 중심으로 루프를 설계하는 것이 안전하다.

학습 시점 루프에서는 인용된 연구들에서 '상승 후 붕괴'가 관찰되었다는 점을 염두에 두어야 한다. 이것이 모든 모델·학습 방법에서 반드시 일어나는 보편 법칙이라는 뜻은 아니다. 검증 가능한 보상을 쓰더라도 성능이 오르다 무너질 수 있으므로, 데이터 게이팅(무엇을 학습 데이터에 넣는가)과 보상 근거화(무엇이 신호를 현실에 묶어 두는가)를 별도의 조절 요인으로 관리해야 한다. 체계적인 셀프 플레이 연구는 엄격한 데이터 게이트만 있으면 정답 없는 자기 일관성 보상을 포함한 모든 보상 변형에서 안정적이었지만, 게이트를 없애면 어떤 보상 설계로도 붕괴를 막지 못했다고 결론 내린다. 또한 자기 생성 신호가 특권적일수록 루프는 능력과 편향을 똑같이 효율적으로 전달하므로, 특권 교사에게 무엇을 보여 줄지 신중하게 설계해야 한다.