AI 연구자는 어떤 실험에 시간을 쓸지 잘 고를까: rTaste

배경과 문제

연구자는 실험 전에 어떤 질문에 예산을 쓸지 결정한다. 논문이 부르는 연구의 “취향(taste)”은 결과를 알기 전에 탐구할 가치가 있는 방향을 고르는 판단이다. 저자들은 에이전트의 문헌 검색·코드 실행 능력과 이 판단 능력을 별도로 평가해야 한다고 본다. 연구 의제와 예산 배분을 얼마나 맡길 수 있는지는 이번 평가의 동기이지, 모든 연구소의 위임 현황을 조사한 결과는 아니다.

작은 실험은 비용을 적게 들여 큰 연구의 방향을 시험하는 수단이다. 모든 코드를 제대로 실행해도 뻔한 질문만 고르거나 결과를 잘못 예상하면 예산을 효율적으로 쓰기 어렵다. 이 연구는 최근 논문에서 에이전트가 직접 실험을 제안하고, 예측과 순위를 확정한 뒤 모든 실험을 실행해 비교한다.

기존 접근의 한계

실행 벤치마크(RE-Bench, AIRS-Bench 등)는 에이전트에게 고정된 작업과 지표를 주고 결과를 채점한다. 그러나 문제 자체가 에이전트에게 주어지므로, 에이전트가 어떤 문제를 선택할지 판단하는 능력은 평가하지 않는다. 연구 아이디어 평가 연구는 실행 전에 제안을 판단하지만, 아이디어가 실제로 실행되면 판단이 달라질 수 있다는 것이 밝혀졌다. 예를 들어, 모델 생성 아이디어가 인간 아이디어보다 더 새롭다고 평가되었지만, 연구자들이 실행한 후에는 그 이점이 사라졌다.

실험 결과 예측 연구는 모델이 두 아이디어 중 어느 것이 더 나은지, 또는 특정 실험의 수치 결과를 예측할 수 있는지 테스트한다. 일부 연구는 예상 결과를 등록하고 가장 유망한 가설만 전체 규모로 실행하기 때문에, 다른 가설에 대한 기대는 검증되지 않는다. 또 다른 연구는 모든 후보를 실행하여 가설 점수를 매기는 모델을 훈련하거나, 대량의 실행된 아이디어로부터 학습한다. 그러나 에이전트가 자신이 제안한 실험의 결과를 얼마나 정확히 예측하고, 그중 어떤 것을 선택하는지에 대한 체계적 평가는 부족했다.

연구방법을 단계별로

이 연구는 2026년 8월 3일부터 9월 24일 사이에 처음 공개된 NLP 논문 7편(arXiv cs.CL)을 시드 논문으로 사용했다. 코드가 공개되어 있고, 대규모 GPU 훈련이나 8B를 넘는 모델이 필요하지 않은 논문만 선택했다. 에이전트는 논문의 전체 텍스트, 모든 페이지 이미지, 코드 저장소 읽기 권한을 받았다. 요약이나 연구 격차, 가설은 제공되지 않았다.

6개 모델(GPT-6 Astra, Claude Fable 5.1, Claude Opus 5.5, GPT-6.1 Sol, GPT-6 Luna, Muse Spark 1.3)을 최대 추론 노력으로 평가했다. 각 모델은 두 가지 하네스에서 작동한다. 단독 연구자(SR)는 시드 논문을 읽는 것부터 예측을 확정하는 것까지 하나의 연속 컨텍스트에서 작업한다. 연구팀(RT)은 같은 모델의 별도 인스턴스로 작업을 나눈다. 두 명의 제안자가 독립적으로 논문을 읽고 문헌을 검색하며 실험 초안을 작성하고, 비평가가 초안을 한 번 검토하며, 리더가 최종 5개 실험을 확정하고 예측을 한다. 비평가와 리더는 도구가 없어 문헌 검색이나 코드 확인을 직접 할 수 없다.

실행 전에 에이전트는 두 가지를 확정한다. 첫째, 각 MVE는 가설, 가장 가까운 선행 연구, 하나의 등록된 사건(특정 통계량이 사전 설정된 임계값을 통과하는지)을 포함한 짧은 등록으로 명시된다. 둘째, 에이전트는 각 MVE의 등록된 사건이 발생할 확률을 제시하고, 5개를 추구할 가치 순으로 순위를 매긴다. 에이전트는 모든 MVE가 실행될 것임을 알기 때문에, 순위는 무엇을 실행할지 결정하는 것이 아니라 우선순위를 나타낸다.

실행은 별도의 실행자(Claude Opus 5.5 또는 GPT-6.1 Sol)가 담당한다. 실행자는 시드 논문, 코드, 하나의 MVE 등록만 보고, 다른 MVE나 순위, 예측, 제안 모델 이름은 보지 못한다. MVE는 순위와 무관하게 같은 제한(원칙적으로 하나의 A100 GPU, 최대 45분, 8B 이하 오픈 모델만 사용 가능, 호스팅 모델 API 금지) 하에 실행된다. 실행자가 거부하거나 제한을 초과하면 다른 실행자가 한 번 독립적으로 시도한다. 실행 후에는 실행자가 제출한 결과를 삭제하고, 실행자가 사용한 적 없는 새 기계에서 평가 코드를 다시 실행하여 등록된 사건 발생 여부를 결정한다. 단, 일곱 번째 논문의 60개 실험 중 53개는 같은 제한·프롬프트로 H200에서 구현·재실행됐다. 재실행은 실행자가 쓴 코드를 반복하므로 코드의 올바름 자체는 별도 감사가 판단한다.

감사는 3개의 모델(Claude Opus 5.5, GPT-6.1 Sol, Grok 4.7)이 수행한다. 각 감사자는 등록, 실행자 노트, 재실행 출력, 남은 파일을 보고, MVE가 등록에 충실하고 증거가 유효한지 판단하고 연구 가치를 0~3점으로 평가한다. 충실성·유효성 다수결로 타당함(sound)을, 가치 점수 중앙값 2점 이상으로 가치 있음(valuable)을 정한다. 새로움(new)은 별도의 두 신규성 판정기가 검색에서 같은 연구나 가까운 변형을 찾지 못한 경우다. 또한 감사자는 각 조건의 5개 MVE를 연구 가치로 순위 매기고, 가장 좋은 평균 순위를 가진 MVE를 '감사자가 가장 가치 있다고 평가한 MVE'로 삼아 에이전트의 첫 번째 선택과 비교한다.

결과와 숫자의 의미

총 84개 조건 중 83개가 MVE를 생성했고, 415개 MVE가 등록되었다. 397개가 첫 시도에서 전달되었고, 최종적으로 412개가 전달되었다(3개 실패). 194개(47%)가 '타당하고 가치 있고 새로운' 것으로 판정되었다. 그러나 이 중 73개만이 '논문을 넘어서고 비자명한(beyond the paper and non obvious)' 것으로 평가되었다. 73개는 194개 안의 교집합이다. 나머지가 모두 자명했다거나 모두 원 논문에 머물렀다는 단일 분류로 단정할 수는 없다.

모델별로 큰 차이가 있었다. 4개의 큰 모델은 5개 중 평균 약 3개의 좋은 MVE를 제안한 반면, 2개의 작은 모델(GPT-6 Luna, Muse Spark 1.3)은 약 1개를 제안했다. GPT-6 Astra와 GPT-6.1 Sol은 '논문을 넘어서고 비자명한' MVE 전체의 3분의 2를 제안했다. 이 비율의 대상은 앞선 73개 교집합만이 아니라 해당 분류 전체다. 반면 Claude Fable 5.1과 Claude Opus 5.5는 원 논문에 더 가깝고 통과하기 쉬운 실험을 제안하는 경향이 있었다.

예측 정확도는 Brier 점수(낮을수록 좋음)로 측정했다. 에이전트의 평균 Brier 점수는 0.192였고, 기본 비율(다른 6개 시드 논문의 사건 발생률을 모든 MVE에 부여)은 0.240이었다. 즉, 에이전트의 예측은 기본 비율보다는 정확했다. 그러나 논문과 등록 정보만 받은 동일 모델 판사의 Brier 점수와의 차이는 -0.006(95% CI -0.021~0.009)으로, 에이전트의 자체 읽기와 검색이 예측을 유의미하게 개선했다는 증거는 없었다. 6개 판사 확률의 평균 Brier 점수는 0.179로 에이전트보다 더 정확했다.

실험 선택 판단은 비교 기준에 따라 결과가 달랐다. 에이전트의 첫 번째 선택이 감사자가 가장 가치 있다고 평가한 MVE와 일치한 비율은 38%였고, 무작위 선택은 20%였다. 그러나 에이전트가 처음 작성한 MVE를 선택하는 것과 비교하면 이점은 3%포인트(95% CI -8~15)에 불과해 통계적으로 유의미하지 않았다. 또한 첫 번째 선택은 무작위 선택보다 '타당하고 가치 있고 새로운' MVE일 가능성이 높지 않았다.

시험한 팀 구성의 평균 비용은 더 높았다. 팀은 단독 연구자보다 5개 중 평균 0.71개 더 많은 '타당하고 가치 있고 새로운' MVE를 제안했지만, 95% CI가 -0.10~1.52로 통계적으로 유의미하지 않았다. 조건당 비용은 단독 연구자 평균 $15.31, 팀 평균 $23.93이었다. $100당 좋은 MVE 수는 단독 연구자 13개, 팀 11개로 오히려 단독 연구자가 더 효율적이었다.

구체적인 예시

한 시드 논문(Nguyen-Tri et al., 2026)은 더 빠른 디코딩을 위한 방법으로, 부록에 정확성 논증을 포함하고 있었다. 4개의 큰 모델의 모든 8개 조건이 이 논증을 확인하는 동일한 실험을 첫 번째로 작성했다. 이는 에이전트들이 명백한 다음 단계에 수렴하는 경향을 보여준다.

또 다른 시드 논문(Liang et al., 2026)에서는 4개 조건이 '모델 자신의 예측 오류가 같은 크기의 무작위 오류보다 디코딩에 더 해로운지'를 테스트했다. 3개 조건은 임계값을 5%포인트 차이로 설정했고 사건이 발생했지만, 4번째 조건은 8%포인트로 설정해 사건이 발생하지 않았다. 그럼에도 불구하고 3명의 리뷰어 모두 4개 결과를 가설을 지지하는 것으로 읽었다. 이는 등록된 임계값 통과 여부와 과학적 가치가 별개일 수 있음을 보여준다.

등록된 사건이 발생하지 않았지만 증거가 유익한 경우도 많았다. 사건이 발생하지 않은 '타당한' MVE 중 50%는 리뷰어가 증거를 유익하다고 판단했으며, 대부분 가설에 반하는 증거였다. 반대로 사건이 발생한 '타당한' MVE 중 20%는 증거가 결정적이지 않다고 판단되었다.

한계와 오해하기 쉬운 점

이 연구의 모든 라벨(타당성, 가치, 새로움 등)은 모델 판정에서 나왔으며 인간 기준선이 없다. 감사자 3명 중 2명은 평가 대상 모델이자 실행자이기도 하다. 따라서 '194개가 타당하고 가치 있고 새로운'이라는 결과는 인간 연구자가 인정한 것이 아니라 모델이 그렇게 판단한 것이다.

각 조건은 한 번만 실행되었으므로, 두 번째 실행에서 결과가 얼마나 달라질지 알 수 없다. 95% 신뢰구간은 7개 시드 논문 간 반복에서 계산된 것이지 415개 독립적인 반복이 아니다. 따라서 모델 간 순위를 보편적인 능력 차이로 해석해서는 안 된다.

에이전트의 첫 번째 선택이 처음 작성한 실험보다 낫다는 증거가 없다는 결과는, 순서를 바꾸는 실험을 한 것이 아니라 관찰된 상관관계에 기반한다. 에이전트는 명백한 실험을 먼저 등록하는 경향이 있고(첫 번째 MVE가 명백한 후속 실험 목록에 있는 비율 61%, 다섯 번째는 35%), 순위도 작성 순서를 따르는 경향이 있다(첫 번째 선택이 처음 작성한 MVE인 비율 47%). 따라서 순서 효과와 실제 판단 능력을 분리할 수 없다.

팀의 이점이 통계적으로 유의미하지 않다는 결과는 모든 다중 에이전트 시스템이 나쁘다는 뜻이 아니다. 이 연구의 특정 구성(두 명의 제안자, 한 명의 비평가, 한 명의 리더, 도구 없는 비평가/리더)에서만 그렇다. 또한 비용 계산은 제안, 구현, 재실행 비용만 포함하며 모든 감사 및 평가 비용을 포함한다고 단정할 수 없다.

실제로 어떻게 활용할까

이 연구의 평가 하네스와 415개 MVE 데이터셋(예측 및 감사 결과 포함)은 GitHub에 공개되어 있다. 연구자들은 이 데이터를 사용하여 자신의 모델이나 에이전트 시스템의 '취향'을 벤치마킹할 수 있다. 특히, 에이전트가 제안한 실험의 종류(원 논문 확인, 확장, 새로운 방향)와 예측 정확도, 순위의 질을 분리하여 평가하는 것이 중요하다.

실무에서 참고할 점은 논문 검증, 실험 제안, 결과의 확률 예측, 우선순위 선택을 따로 측정하라는 것이다. 이번 모델·일곱 논문 조건에서는 쓸 만한 제안 수와 가장 가치 있는 실험을 고르는 능력이 같지 않았다. 사람의 검토와 결합할 방안을 시험할 수 있지만, 그 조합이 더 낫다는 사람 대조 실험은 이번 연구에 없다.

향후 연구로는 에이전트에게 고정된 연구 예산을 주고 자신의 MVE에 할당하게 한 후, 첫 결과를 보고 수정하도록 하는 실험이 제안된다. 같은 예산을 인간 연구자에게 주어 비교하면 인간 기준선을 제공할 수 있다. 이는 에이전트가 무엇을 제안하고 기대하는지에서 나아가, 제한된 예산을 어떻게 사용하는지, 즉 연구자가 실제로 취향을 발휘하는 결정을 평가하는 방향으로 확장될 것이다.