학습 실험을 돌리기 전에 결과를 예측하는 MLE-World

배경과 문제

AI 연구 에이전트는 기계학습 과제를 해결하기 위해 프로그램을 작성하고, 실행하고, 터미널 출력을 확인한 뒤 수정하는 과정을 반복한다. 그런데 각 후보 프로그램을 실행하려면 실제로 모델을 학습시키고 평가해야 하므로 시간과 계산 자원이 많이 든다. 이 실행 비용 때문에 에이전트가 한 단계에서 시도할 수 있는 아이디어의 수가 제한된다. 예를 들어 AIDE 같은 에이전트는 프로그램 트리를 탐색하면서 Draft, Debug, Improve 연산을 수행하는데, 모든 노드가 한 번의 실제 실행을 필요로 한다. 따라서 더 나은 해법을 찾으려면 더 많은 후보를 탐색해야 하지만, 실행 비용이 이를 가로막는 구조적 병목이 된다.

기존 연구는 유망하지 않은 가지를 잘라내거나, 모델 성능을 예측하거나, 실행 전에 후보의 순위를 매기는 방식으로 이 병목을 완화하려 했다. 그러나 이런 방법들은 실행당 비용 자체를 줄이지 못하고, 에이전트가 디버깅과 수정에 필요한 오류 추적이나 학습 로그 같은 터미널 출력을 제공하지 않는다. 결국 에이전트는 비싼 실행이 실패로 끝날 때까지 기다려야 정확한 피드백을 얻을 수 있다. 이 논문은 실행 없이도 터미널 출력을 예측하는 학습된 세계 모델을 도입해 이 문제를 해결하고자 한다.

기존 접근의 한계

가지치기나 순위 매기기 방식은 총 실행 비용을 줄일 수는 있지만, 각 실행의 비용은 그대로다. 예를 들어 ForeAgent는 쌍별 선호 비교와 확신도 게이트로 후보 하나를 선택해 실행하지만, 점수와 선호도만 제공할 뿐 오류 추적을 주지 않는다. 따라서 에이전트가 버그를 고치려면 결국 실제 실행이 실패할 때까지 기다려야 한다. 성능 예측 모델도 마찬가지로 최종 점수만 추정할 뿐, 왜 실패했는지에 대한 단서를 주지 못한다.

언어 모델 기반 세계 모델은 행동의 결과를 실행 없이 예측한다는 점에서 유망하지만, 기존 연구는 주로 웹 탐색이나 컴퓨터 사용 에이전트에 초점을 맞췄다. 기계학습 엔지니어링(MLE)은 학습 실행 비용이 특히 높아 세계 모델이 더 절실한 분야다. DSWorld는 데이터 과학 워크플로의 개별 단계를 시뮬레이션하지만, 완전한 프로그램의 터미널 출력 전체를 예측하지는 않는다. MLE-World는 이 공백을 메우기 위해 프로그램 전체의 실행 결과를 예측하고, 예측 신뢰도에 따라 실제 실행 여부를 결정한다.

연구방법을 단계별로

MLE-World의 입력은 프로그램 코드, 설치된 패키지와 버전, 데이터 개요(파일 트리, CSV 차원, 열 요약과 예시 값), 시간 제한으로 구성된다. 출력은 예외 종류(82개 클래스), 터미널 출력, 검증 점수, 제출 여부의 네 필드다. 예외 클래스는 첫 번째 토큰으로 디코딩되어 이후 탐색에서 Debug 또는 Improve 연산을 선택하는 데 쓰인다. 모델은 Qwen3.5-4B를 기반으로 497,056개의 과거 실행 기록에 대해 표준 지도 미세조정(SFT)으로 학습된다. 손실 함수는 출력 토큰의 음의 로그 우도를 최소화한다.

예측의 확신도는 첫 번째 출력 토큰의 확률 분포에서 계산된다. 예외 클래스 집합 C에 대해 재정규화된 확률 분포 p(c|x)에서 pmax는 가장 가능성 높은 결과의 확률, u=1−pmax는 불확실성 점수, pclean은 정상 실행 확률이다. 평가 표본에서는 pmax가 높은 구간일수록 각 예측 필드의 일치율이 높았다. 다만 이 값은 예외 종류에 대한 모델 확률로, 로그 전체가 정확할 확률이나 보장된 신뢰구간은 아니다. 이 확신도는 두 가지 용도로 쓰인다. UCB 정책은 pclean을 후보 점수에 활용하고, 게이트는 주로 pmax가 낮을 때 실제 실행을 요청하되, 새 최고 예측 점수의 후보는 확신도와 무관하게 실행한다.

학습 기록은 4B~122B 규모의 다섯 에이전트 모델이 같은 17개 과제에서 수행한 실행에서 모았다. 실패한 실행도 학습에 포함한다. 평가 코드를 떼어낼 때 정규화한 토큰·구조의 해시와 근사 유사도 검색으로 중복을 걸러냈다. 이 절차로 학습·평가 간 정확하거나 가까운 중복은 검출되지 않았지만, 확률적인 검색이 비슷한 코드를 놓칠 수 있어 의미적 유사성까지 배제한 것은 아니다. 과제 자체는 학습과 평가에 공통으로 등장한다.

결과와 숫자의 의미

MLE-World는 1,700개의 홀드아웃 프로그램에서 터미널 출력 일치율 77.9%를 기록했다. 이는 프롬프트 기반 DeepSeek-V4-Flash-0731의 41.1%, Qwen3-Coder-Next의 17.8%보다 훨씬 높다. 예외 클래스 정확도는 86.4%, 크래시 클래스 일치율은 76.4%, 검증 점수 상대 오차 5% 이내 비율은 78.1%다. 코퍼스 기반 비모수 기준선(과제 다수결, 최근접 프로그램, 부모 기록)은 모두 MLE-World보다 낮아, 단순히 과거 기록을 복사하는 것 이상의 학습이 일어났음을 보여준다. 예측 모델 자체의 GPU 추론 시간도 줄었다. 비교 모델 중 DeepSeek은 최대 강도의 추론을 사용했고 MLE-World는 추론 없이 실행했으므로, 모델 크기만 바꾼 비교는 아니다.

세계 모델 안내 탐색은 기준 AIDE(평균 백분위 45.4)보다 높은 관측 평균을 보였다. UCB가 52.1로 가장 높고, Sequential 51.3, BoN 50.2, Fusion 47.5, Pairwise 47.1 순이다. 초록의 '최대 22.1% 향상'은 45.4에서 55.4로의 상대적 상승을 의미하며, 절대 백분위 포인트가 22.1%p 증가했다는 뜻이 아니다. 확신도 게이트를 켜면 실제 실행 시간이 정책별로 30.0~39.8% 줄어든다. 예를 들어 Sequential은 8.29시간에서 5.68시간으로, Fusion은 7.93시간에서 4.77시간으로 감소했다. 게이트를 켠 Sequential의 평균 백분위는 55.4로 가장 높지만, UCB는 52.1에서 51.1로 소폭 낮아져 모든 정책이 향상된 것은 아니다.

예측 평가의 프로그램은 과제당 100개씩이며, 탐색 실험은 17개 과제에서 세 시드와 12시간 예산으로 진행했다. 코드 작성은 Qwen3.5-9B, 피드백은 Qwen3-Coder-Next가 맡았다. 원래 22개 과제 중 에이전트가 거의 진전하지 못한 다섯 개는 제외했다. 보고된 향상은 이 설정의 관측 평균으로, 모든 방식·과제에서 유의한 개선이 보장된 것은 아니다. 별도의 8시간 Best-of-N 비교에서는 확신도 게이트가 무작위 실행 생략보다 실제 실행 시간을 19% 덜 썼으며 최종 평균 백분위는 비슷했다. 이 보조 실험을 12시간 주 결과와 같은 표본으로 합쳐서는 안 된다.

구체적인 예시

MLE-World가 예측하는 터미널 출력은 단순히 점수만이 아니라 오류 추적과 학습 로그를 포함한다. 동작을 설명하기 위한 가상 예로, 어떤 프로그램이 ValueError를 일으킬 것으로 예측되면, 에이전트는 실제 실행 없이도 그 오류 메시지를 바탕으로 Debug 연산을 수행할 수 있다. 반대로 정상 실행이 예측되고 검증 점수가 높다면 Improve 연산으로 넘어갈 수 있다. 이렇게 예측된 피드백은 에이전트가 다음 단계에서 무엇을 고쳐야 할지 알려준다.

다섯 가지 탐색 정책은 각각 다른 방식으로 예측을 활용한다. Best-of-N은 예측 검증 점수가 가장 높은 후보를 선택한다. Sequential은 이전 후보의 예측 오류와 로그를 바탕으로 다음 후보를 수정한다. Pairwise는 두 후보씩 LLM 심판이 예측 출력을 비교해 하나를 남긴다. Fusion은 후보 풀과 예측 출력을 종합해 새로운 프로그램을 합성한다. UCB는 예측 점수에 불확실성 보너스를 더해 탐색을 장려한다. 예를 들어 UCB는 pmax가 낮아 불확실한 후보에 보너스를 주어, 세계 모델이 과소평가했을 가능성이 있는 프로그램을 실행 기회에서 배제하지 않도록 한다.

확신도 게이트는 선택된 후보의 pmax가 임계값 γ보다 낮거나 확신도가 누락된 경우 실제 실행을 요청한다. 예측된 성공과 실패는 실행 비용이 크게 다르므로 임계값을 달리 설정한다. 실패는 보통 수 초 안에 끝나 정확한 오류를 얻기 위해 많이 실행해도 부담이 적지만, 성공은 학습을 끝까지 돌려야 하므로 더 낮은 임계값으로 많은 실행을 건너뛴다. 논문의 설정은 시간 초과를 예측한 후보를 실행하지 않는 별도 규칙도 사용한다. 다만 새로운 최고 예측 점수를 가진 후보는 확신도와 무관하게 반드시 실행하여 최종 제출의 신뢰성을 확보한다.

한계와 오해하기 쉬운 점

이 설명은 2026년 10월 27일 최초 공개된 arXiv v1 전문을 기준으로 한다. 사전공개 연구이며 실험을 독립 재현하지 않았다. 주 평가의 프로그램은 새롭지만 17개 과제는 미세조정에서 본 과제와 같다. 기준 Base AIDE에는 같은 과거 실행 지식이 없었다. 단순 코퍼스 검색보다 나은 결과는 제시했지만, Base AIDE에 동일한 코퍼스를 제공한 통제는 하지 않았다. 따라서 전체 차이를 예측 방법만의 효과로 분리할 수는 없다.

터미널 출력 일치율 77.9%는 의미적 일치를 판정한 것이지 문자열의 정확한 일치나 모든 결과의 완전한 예측률이 아니다. Coder 판정자는 별도 사람 표본과 96.7% 일치하지만, 판정 기준은 디버깅에 필요한 핵심 정보가 같은지를 본다. 예외 클래스 86.4%, 크래시 76.4%, 검증 점수 78.1%는 서로 다른 지표이므로 혼동해서는 안 된다. 또한 Figure 3의 13~1,061배는 예측 모델의 GPU 추론 시간 비교이며, 학습 비용이나 총 실험 예산의 절감 배수가 아니다. 30~40% 절감도 같은 정책의 실제 실행 시간에 대한 값이며, 공통의 12시간 탐색 예산 자체가 그만큼 짧아졌다는 뜻은 아니다.

시간 초과는 가장 예측하기 어려운 결과다. 실행 시간은 모델 크기, 에포크 수, 데이터 크기로부터 추정해야 하는데, 이 정보만으로는 정확한 예측이 어렵다. 시간 초과를 놓치면 전체 시간 제한만큼 실행을 낭비하게 된다. 부록 R의 새로운 3개 과제 실험은 탐색적이며, 실패 실행이 많아 성공적인 학습 결과나 시간 초과 일반화의 증거로는 약하다. 12시간 주 실험과 8시간 보조 코호트의 수치를 혼합하지 말아야 한다. 오예측은 탐색을 잘못된 방향으로 이끌 수 있으며, 이는 세계 모델 기반 접근의 근본적인 위험이다.

실제로 어떻게 활용할까

실무에 적용하려면 먼저 비슷한 과제의 충분한 실행 기록이 있는지 확인해야 한다. 이 연구는 그 기록으로 작은 예측기를 학습한 뒤 여러 후보를 비교하고, 오류가 의심되는 실행과 새 최고 후보를 실제로 확인하는 구조를 보여준다. 모든 새 분야에 바로 쓸 수 있는 정확한 실험 대체기를 입증한 것은 아니다. 예측이 틀렸을 때도 최종 결과를 실제 실행으로 검증하는 경로가 핵심이다.

효과를 평가할 때는 최종 점수와 실제 실행 시간뿐 아니라, 기록 수집·예측기 학습·후보 생성·예측에 든 비용도 함께 계산해야 한다. 논문은 이 모든 비용을 합쳐 언제나 절약된다고 보장하지 않는다. 처음 보는 과제에서는 작은 표본의 실제 실행과 예측을 대조하고, 특히 시간 초과와 성공한 학습의 점수를 얼마나 맞히는지 나누어 살펴볼 필요가 있다. 이런 확인을 거쳐야 계산을 아낀 것인지, 유망한 후보를 잘못 버린 것인지 구별할 수 있다.