RSI-Anything: 예측 모델로 시도할 행동과 남길 개선을 고르는 방법

배경과 문제

재귀적 자기 개선(RSI)은 상호작용에서 얻은 경험을 다음 라운드의 행동과 학습에 남기는 과정이다. 기존 접근의 상당수는 후보를 실제로 실행하거나 평가해야 결과를 알 수 있어, 상호작용 예산이 정해져 있으면 시도할 수 있는 후보 수가 줄어든다. 예를 들어 코드라면 테스트를 실행해야 하고, 화학이라면 실험을 해야 한다.

월드 모델은 어떤 행동을 했을 때 결과가 어떻게 될지를 미리 예측하는 모델이다. 예측이 정확하면 실행 전에 후보를 걸러 피드백 예산을 아낄 수 있다. 그러나 자기 개선 루프 안에 월드 모델을 넣으면 결합 갱신(coupled-update) 문제가 생긴다. 정책이 바뀌면 월드 모델이 다루는 후보와 경험의 분포가 바뀌어 예측의 신뢰도가 떨어질 수 있고, 반대로 월드 모델이 바뀌면 후보의 순위와 학습 신호가 바뀐다. 그래서 정책이나 월드 모델 하나만 따로 좋아져도 둘을 합친 시스템이 좋아진다는 보장이 없다.

기존 접근의 한계

CURE는 코더와 단위 테스트 생성기를 함께 강화학습하고, Darwin Gödel Machine은 에이전트 구현 자체를 고쳐 가며 검증된 개선만 남긴다. RLAnything은 정책과 보상 모델과 환경을 함께 최적화하고, OpenClaw-RL은 사용자 대화와 도구 피드백으로 온라인 학습한다. 이 방식들은 모두 외부 피드백에 의존해 개선하므로, 피드백이 비싸면 탐색이 제한된다.

World Models, MuZero, Dreamer 같은 월드 모델 연구는 행동의 결과를 미리 예측해 계획과 제어에 쓴다. 하지만 이들을 자기 개선 루프에 넣으면 정책과 월드 모델이 서로 영향을 주는 결합 갱신 문제를 해결해야 한다. RSI-Anything은 이 문제를 개선의 단위를 정책 하나가 아니라 정책과 월드 모델의 쌍으로 잡아 해결하려 한다.

연구방법을 단계별로

공통 설계에서 정책은 후보를 여러 개 내고 월드 모델은 각 후보의 결과를 예측한다. 유효성과 비용 조건을 만족하는 후보 중 예측 효용이 높은 것을 실행해 피드백을 받는다. 이 경험을 정책 개선이나 월드 모델 적응에 활용하고, 갱신한 구성요소와 새 정책·모델 쌍이 검사를 통과해야 다음 라운드에 남긴다. 실제 실험에서는 코더를 고정하거나 모델을 평가 전에 학습하는 등 도메인마다 이 설계의 일부를 구현했다.

월드 모델은 JEPA-Anything을 기반으로 한다. JEPA-Anything은 관측을 픽셀 단위로 복원하지 않고, 관측된 문맥에서 목표의 잠재 표현을 예측하도록 학습하는 결합 임베딩 예측 아키텍처(JEPA)를 확장한 것이다. 핵심인 직교 예측 분해(OPF)는 잠재 목표를 서로 보완하는 여러 인자로 나누고, 인자마다 전용 예측기를 학습한 뒤, 그 출력을 다시 합쳐 완전한 잠재 상태를 만든다.

후보 선택은 검증기가 후보의 유효성, 효용 구성요소, 근거의 출처, 불확실성을 기록한 뒤, 유효하지 않은 후보를 제외하고 효용 점수로 순위를 매긴다. 점수는 효용 구성요소의 가중합이며, 불확실성 벌점을 켠 설정에서만 그 벌점을 뺀다. 선택은 남은 피드백 예산 안에서 평가 비용을 감당할 수 있는 후보를 돌려준다. 예를 들어 코드 복구에서는 수정안 네 개의 실행 결과 클래스 확률을 모아 순위를 매긴 뒤, 그중 하나만 실제로 실행한다.

월드 모델 갱신에는 조건이 붙는다. 현재 모델 버전이 낸 예측만으로 신뢰도를 평가하고, 신뢰할 수 없다고 판정되고 적응에 쓸 데이터가 충분하며 남은 예산이 적응 비용을 감당할 수 있을 때만 적응을 시도한다. 피드백은 선택된 후보에서만 나오므로, 관측이 덮지 못한 후보 범위에 대해서는 판단 불충분으로 처리하고 적응을 시작하지 않는다. 이는 관측이 부족한 것을 예측이 믿을 만하다는 증거로 착각하지 않으려는 장치이다.

갱신 후보가 만들어지면 두 단계로 검사한다. 먼저 구성요소 검사에서 새 정책은 과제 효용과 제약을, 새 월드 모델은 관련 목표에 대한 예측 품질을 현재 버전과 비교한다. 다음으로 쌍 호환성 검사에서 조립한 새 쌍과 현재 쌍을 같은 평가 조건에서 비교하고, 새 쌍이 미리 정한 기준을 넘을 때만 교체한다. 쌍 검사에 실패하면 현재 쌍 전체를 유지한다.

결과와 숫자의 의미

코드 복구에서는 ReasonFlux-Coder-7B 코더를 고정하고, CodeContests 200문제를 시드 3개로 돌린 600회 평가에서 라운드당 수정 후보 네 개와 최대 세 번의 수정이라는 같은 예산에서 숨김 테스트 성공률을 비교했다. 무작위 선택 26.0%, 정적 검증기 26.3%, 고정 월드 모델 29.2%, 월드 모델 적응 31.2%로 올랐다. 고정 월드 모델과 정적 검증기의 차이 2.83%p에 대한 95% 구간은 [0.17, 5.50]으로, 하한이 0에 가깝다. 월드 모델 적응의 추가 2.0%p 차이에 대한 구간은 논문에 없다. 온라인 테스트 호출은 과제당 3.71~3.72회로 비슷했다.

GUI 조작의 MiniWoB++ 체크박스의 같은 테스트 과제 100개에서 선택된 컨트롤러의 성공률은 51%에서 79%, 99%로 올랐고, 평균 행동 수는 5.30에서 3.21로 39.4% 줄었다. 그러나 이 컨트롤러는 개발 세트에서 alpha=0을 골라 정책 순위를 따르며, 월드 모델로 행동 순위를 매긴 결과는 49%, 96%, 98%였다. 따라서 99%는 월드 모델 단독 효과가 아니다. OSWorld에서는 초기 에이전트 대비 상대 성공률이 RSI-Anything 18.4%, RLAnything 12.3% 올랐고, RLAnything 대비 5.5% 높았다. 절대 성공률과 과제 수는 공개되지 않았다.

실험실 계획의 LabHorizon F200 200과제에서 4B 정책의 다섯 버전 점수는 21.80%, 38.03%, 41.99%, 44.56%, 46.01%로 올랐다. 이 점수는 행동 순서 유사도와 파라미터 정확도의 복합 점수이며, 물리 실험 성공률이 아니다. 기준 Actor–Simulator–Selector 45.32% 대비 차이는 0.69%p다.

반응 최적화의 Flow LC-MS 스크린에서 관측 예산 40개에서 평균 최고 관측 수율은 RSI-Anything 96.15%, 베이지안 최적화 82.16%였다. 그러나 이 평가는 이미 측정된 321개 조건의 수율을 오프라인 순차 재생한 것으로, 새 습식실험을 직접 40회 수행한 증거가 아니다. 초기 관측 8개 포함 총 40개 예산, 100개 시드에서 모든 실행이 10번째 관측 안에 최고 수율 96.15%를 찾았고, 월드 모델은 고정되어 온라인 예측 갱신이 없었다.

구체적인 예시

논문 그림 3a의 설명용 코드 복구 예시로, 수렴하지 않는 루프를 고치는 문제에서 후보 패치 A, B, C 중 월드 모델이 높은 효용을 예측한 A를 실행하고 테스트 피드백을 받는 흐름이 있다. 실제 벤치마크에서는 코더가 라운드당 네 개의 수정안을 제안하고, 월드 모델이 각 수정안의 실행 결과 다섯 클래스 확률을 예측해 순위를 매긴 뒤 하나만 실행한다.

GUI 체크박스 과제는 120초 안에 제출을 포함해 최대 여덟 번 행동하여 모든 체크박스를 지시대로 맞춰야 성공이다. 별도의 world-test 100개 과제에서 규칙 기반 기준선은 100% 성공, 평균 2.87 행동, 반복 클릭 0회를 기록했다. 앞서 51→79→99%를 비교한 RSI-test 100개와는 다른 시드 집합이므로 두 수치를 동일 과제의 직접 대결로 읽을 수 없다. 명시적 규칙으로 풀 수 있는 좁은 과제에서 학습형 에이전트의 개선 과정을 관찰했다는 점이 이 예시의 의미다.

반응 최적화의 예시로, 스즈키-미야우라 교차 커플링 반응에서 촉매, 리간드, 염기, 용매 조건을 고르는 문제가 있다. 월드 모델은 ReactionT5와 JEPA-Anything을 결합한 ReactionT5-JEPA-Anything이며, 후보 조건마다 수율의 분포를 예측한다. 평가는 측정된 스크리닝 표의 321개 후보 조건 중에서 고른 조건의 측정값을 순서대로 꺼내 보는 방식이다.

한계와 오해하기 쉬운 점

저자들이 논의 절에서 직접 밝힌 한계는 세 가지다. 첫째, 정책과 월드 모델이 한 과제 안에서 서로를 계속 개선한다는 것을 보이려면 여러 라운드에 걸친 공동 평가가 더 필요하다. 둘째, 실험실 계획 결과는 프로토콜에 맞는 계획을 평가한 것이고, 실제 장비에서의 실행은 별도의 검증이 필요하다. 셋째, 화학 결과는 두 스크린과 보고된 예산에 한정되고, 면역학 가설은 실험 검증을 기다리고 있다.

도메인별로 실제로 바뀐 구성요소가 다르다. 정책과 월드 모델을 함께 두 번 갱신하고 개발 세트에서 남길 버전을 고른 도메인은 GUI뿐이다. 그런데 그 헤드라인 수치는 정책 순위를 따르는 실행 규칙에서 나왔고, 보고된 갱신 과정도 한 번(정책 학습 시드 하나)이다. 코드 복구의 월드 모델 적응은 평가 전에 실행 피드백으로 미리 적응시킨 모델을 고정해 쓴 것이며, 평가 중 옵티마이저 갱신은 없다. 반응 최적화는 월드 모델이 고정되어 있고, 면역학은 추론 코드가 공개 예정이다.

공식 코드 복구 재현 문서는 배포한 기준 체크포인트가 OPF의 엄격한 직교성·인자 독립성 검사를 통과하지 못했다고 기록한다. 포장 단계에서 전체 에폭 재학습도 수행하지 않았다고 밝힌다. 따라서 논문의 구성 설명과 공개 자산의 검증 상태를 구별해야 한다. 자체 코드는 Apache-2.0이지만 기반 모델과 데이터에는 별도 조건이 있으므로, 공개 코드라는 이유만으로 모든 구성요소의 사용 조건이 같다고 볼 수 없다.

실제로 어떻게 활용할까

RSI-Anything 저장소는 Python 3.10 이상을 요구한다. 공용 rsi 명령줄 도구는 현재 코드 복구와 GUI 두 과제만 다루고, 실험실 계획과 반응 최적화는 각 과제 디렉터리의 infer.py로 실행한다. GPU 없이 바로 돌려 볼 수 있는 것은 반응 최적화 예제로, 필요한 패키지는 NumPy와 SciPy뿐이다.

코드 복구 평가를 재현하려면 Linux, runuser, unshare, nobody 계정이 필요하다. 실행 격리에 이 기능들을 쓰기 때문이다. 평가 자산은 약 64MB, 평가용 기반 모델은 약 6.2GB이며, 저자들이 기록한 실행 환경은 A800 80GB 8장이다.

이 연구가 던지는 설계 질문은 실용적이다. 자기 개선 에이전트에 월드 모델을 붙일 때 언제 월드 모델을 다시 학습할지, 새 정책과 새 월드 모델을 함께 써도 나아지는지를 명시적인 검사로 만들었다. 예측과 관측을 모델 버전과 함께 기록해 현재 버전의 신뢰도만 따로 재는 규칙도, 다른 에이전트 학습 시스템에 그대로 가져다 쓸 수 있는 아이디어다.