TasteVal: AI의 연구 실험 설계 능력을 전문가와 비교하기

배경과 문제

AI 연구개발을 자동화하려면 코드를 쓰고 디버깅하는 구현 능력뿐 아니라, 어떤 실험을 할지 고르고 결과를 해석하는 판단도 필요하다. 논문은 후자를 연구 취향(research taste)이라고 부른다. 여기서 취향은 개인적인 선호가 아니라, 한정된 자원으로 진전 가능성이 높은 실험을 선택하는 감각에 가깝다. 소프트웨어·기계학습 공학 벤치마크는 구현 능력을 많이 측정하지만, 실험 선택의 효과를 실제 결과에 비춰 코딩 능력과 분리해 측정하는 평가는 저자들이 아는 범위에서는 부족했다.

연구 취향에는 풀 가치가 있는 문제를 고르는 능력도 포함된다. 그러나 TasteVal은 연구 문제를 미리 정해 주고, 그 안에서 실험을 반복 설계하고 결론을 갱신하는 능력만 측정한다. 8개의 새로운 AI 연구개발 작업에서 평가 대상 모델은 연구자 역할을 맡고, 고정된 코더 에이전트가 제안된 실험을 구현한다. 따라서 결과를 읽을 때는 “좋은 연구 주제를 스스로 발견하는 능력”과 “정해진 문제를 효율적으로 개선하는 능력”을 구별해야 한다.

기존 접근의 한계

기존의 종단 간 벤치마크에서는 모델이 직접 코드까지 작성하므로 좋은 결과가 실험 아이디어 덕분인지 구현 능력 덕분인지 분리하기 어렵다. 반대로 완성된 논문의 순위를 매기거나 이미 알려진 연구 아이디어를 판단하는 회고적 평가는 결과를 모르는 상태에서 다음 실험을 선택하는 상황을 그대로 재현하지 못한다. 전문가가 좋아하는 실험을 고르는 평가도 그 실험이 실제로 더 좋은 결과를 냈는지는 확인하지 않는다.

TasteVal은 실험 제안, 실행, 보고, 다음 실험 설계의 반복으로 이 공백을 다룬다. 연구자는 실험을 높은 수준에서 설명하고 코더의 코드를 직접 보지 못한다. 코더는 실행 결과와 검증 점수를 보고한다. 인간 전문가도 같은 코더를 이용하므로 구현 담당의 차이를 줄인다. 다만 이렇게 역할을 나눈 통제 실험이 현실 연구소의 협업 전체를 대표하는 것은 아니다.

연구방법을 단계별로

TasteVal의 설정은 두 에이전트, 즉 연구자(Researcher)와 코더(Coder)로 나뉜다. 연구자는 평가 대상 모델이며, 실험 코드를 작성하거나 실행하지 않고 실험을 고수준으로만 설명한다. 코더는 Opus 4.8로 고정되어 있으며, 연구자가 인간인지 모델인지 알지 못한다. 코더는 실험을 구현하고 실행한 뒤 지표를 기록하고 결과 보고서를 작성한다. 연구자는 코더의 코드를 볼 수 없고, 작업 지침과 훈련·검증 데이터셋만 볼 수 있다. 코더는 테스트 셋과 채점 코드에도 접근할 수 있지만, 테스트 셋을 연구자에게 유출하지 않도록 지시받는다. 모든 제출물은 검증과 테스트 셋 모두에서 채점되지만, 연구자는 검증 점수만 볼 수 있고 테스트 점수는 보고서에서 제거된다.

각 실행(run)에는 두 가지 예산이 있다. 컴퓨팅 예산은 H100 GPU 40시간이고, 벽시계 예산은 120시간이다. 컴퓨팅 예산은 GPU가 실제로 사용 중인 시간으로 측정되며, 연구자가 실험을 하나씩 순차적으로 실행하므로 직렬(serial) 컴퓨팅이다. 실행은 두 예산 중 하나가 소진되면 종료된다. 여기서 실험 GPU 예산은 연구자 모델의 추론 토큰 연산량을 포함하지 않으므로, 컴퓨팅 승수를 전체 AI 사용 비용 절감률로 읽으면 안 된다. 연구자는 실험 설명을 코더에게 보내고, 코더가 구현·실행하는 동안 메트릭을 실시간으로 볼 수 있으며, 실험이 끝나면 보고서를 받는다. 그런 다음 연구자는 다음 실험을 설계하고, 이 루프가 예산이 소진될 때까지 반복된다. 연구자-코더 계약을 강제하기 위해 두 개의 LLM 기반 모니터가 추가된다. 실험 모니터는 연구자의 실험 설명이 코더에게 전달되기 전에 검토하고, 보고서 모니터는 코더의 보고서가 연구자에게 전달되기 전에 테스트 점수나 코더의 연구 판단이 포함되지 않았는지 확인한다.

8개 작업은 텍스트와 비전을 다루며, 사전 훈련 데이터 선택·언어 모델 훈련·미세 조정·인간 선호도 모델링·적대적 프롬프트에 대한 정렬 등을 포함한다. 저자들은 해결책의 사전 노출을 줄이고, 연속적인 점수로 진전을 측정하며, 전문가에게도 충분히 어려운 작업을 설계했다. 세부 과제는 평가 오염을 막기 위해 공개하지 않았다. 이는 향후 모델을 평가하는 데 도움이 되지만, 독립적인 재현과 과제 대표성 검토를 제한한다.

전문가 기준선을 얻기 위해 24명의 인간 전문가를 모집했다. 이들은 OpenAI, Google DeepMind, NVIDIA, Microsoft Research, 옥스퍼드 대학교 등에서 최근에 근무한 경험이 있으며, 각 작업에 최소 2명이 배정되었다. 전문가들은 모델과 동일한 조건에서 동일한 코더를 사용하여 실험을 제안한다. 각 작업에서 최고의 인간 시도를 전문가 기준선으로 삼는다. 전문가들은 실험 설계나 결과 해석에 AI 지원을 사용할 수 없었다. 또한 각 작업에는 순진한 기준선(naive baseline)이 있는데, 이는 취향이 전혀 없는 약한 제출물로 모든 비자명한 제출물이 이를 능가할 것으로 기대된다.

결과와 숫자의 의미

컴퓨팅 승수(compute multiplier)는 동일한 점수에 도달하는 데 전문가 기준선이 쓴 실험 GPU 시간과 모델이 쓴 시간의 비율이다. 설명용 예로 전문가가 40 GPU 시간에 얻은 점수를 모델이 20시간 만에 얻으면 승수는 2배다. 이는 같은 하드웨어에서 실험을 효율적으로 골랐다는 뜻이며, 지능·전체 연구 생산성·총비용이 모두 2배라는 뜻은 아니다. 값은 과제 분포, 계산 예산, 고정 코더와 전문가 기준선에 상대적이다.

서로 다른 실행이 같은 점수에서 끝나지 않으므로 더 약한 실행의 종료 점수를 공통 기준으로 삼고, 강한 실행이 그 수준에 처음 도달한 시간을 비교한다. 실행별 비율을 과제 내 시드와 과제 사이에서 기하 평균한다. 매우 약한 모델은 인간의 첫 제출 점수에도 못 미쳐 직접 비교가 어려우므로 GPT-4, Opus 5.0(max), 인간 전문가라는 여러 참조를 연결해 인간 기준 단위로 환산한다. 반면 성능 승수는 최종 테스트 결과를 단순 기준선 0, 전문가 기준선 1로 정규화한 지표다.

Opus 5.5의 컴퓨팅 승수는 2.30이고 95% 신뢰구간은 1.15–4.37이었다. 중요한 조건은 Opus 5.5와 Fable 5.1이 한 과제에서 거절해 8개 중 7개만 평가되었으며, 거절을 실패가 아닌 결측으로 처리했다는 점이다. 모든 모델과 전문가를 동일한 7개 과제로 제한한 분석에서 Opus 5.5는 2.25(1.16–4.29)였다. 인간 기준선은 평균 연구자가 아니라 24명 중 각 과제에서 가장 좋은 시도이며, 과제마다 최소 2명의 전문가가 참여했다.

출시일에 따른 추세 분석에서 컴퓨팅 승수는 2025년 12월 이전 약 14.0개월, 이후 약 3.0개월마다 두 배로 증가했다. 후자의 95% 신뢰구간은 1.7–5.0개월이다. 최종 결과를 나타내는 성능 승수는 14.6개월의 두 배 주기를 보였고, 유의한 추세 변화는 없었다(p=0.12). 즉 이 데이터에서는 같은 성과에 도달하는 실험 효율의 증가가 최종 점수의 증가보다 더 가팔라졌다. 특정 벤치마크의 과거 추세를 미래 전체 연구 능력의 성장 법칙으로 읽으면 안 된다. 논문은 과제를 먼저 다시 뽑고 각 과제 안의 실행을 다시 뽑는 계층적 부트스트랩으로 불확실성을 추정했다. 과제별 결과 차이가 커 과제를 바꾸면 추정값이 상당히 달라질 수 있으므로, 2.30이라는 점추정치와 1.15–4.37이라는 넓은 구간을 함께 읽어야 한다.

구체적인 예시

논문의 부록에는 실제 평가에 사용하지 않은 “다국어 사전 훈련 데이터 선택” 예시가 있다. 약 50억 토큰의 원시 웹 텍스트에서 5억 토큰을 골라 훈련하고, 9개 언어의 별도 테스트 데이터에서 평균 손실을 측정하는 작업이다. 연구자는 언어별로 고르게 뽑을지, 품질 필터를 적용할지 같은 실험을 제안한다. 코더가 이를 실행하고 검증 결과를 보고하면 연구자는 다음 선택을 바꾼다. 이처럼 취향은 멋진 아이디어 한 번보다, 제한된 예산 안에서 무엇을 먼저 비교하고 무엇을 배울지에 드러난다.

저자들은 18개 모델에서 30개씩 뽑은 540개 공식 제출물을, 웹 검색 기능을 가진 별도 언어모델로 조정·구성·수정·발명으로 분류했다. 이 표본에는 발명으로 분류된 제출물이 없었다. 높은 승수의 실행일수록 기존 요소를 조합하거나 수정하는 비중이 높았고, 인간 제출물도 조정 20%·구성 72%·수정 8%였다. 상위 실행의 실패·거부 사례까지 포함한 약 1,600개 추가 실험에서도 발명은 발견되지 않았다. 이는 표본과 분류 기준 아래의 결과이지 AI가 새 아이디어를 절대로 낼 수 없다는 증명이 아니다.

한계와 오해하기 쉬운 점

TasteVal 작업은 단일 H100에서 수행되고, 점수 계산이 빠르며 노이즈가 낮다. 검증 데이터가 테스트 분포를 잘 반영하고, 다른 연구자와 실시간 조율도 필요하지 않다. 실제 대형 연구의 불명확한 목표·느린 피드백·복잡한 협업과 차이가 커 능력을 과대평가할 수 있다. 공개하지 않은 과제의 대표성을 외부에서 확인하기도 어렵다. 또한 모델의 진전은 주로 기존 방법의 조정과 조합에서 나왔고, 문제를 고르거나 새로운 원리를 발견하는 능력은 충분히 측정하지 않는다.

반대로 모델과 실행 구조를 더 잘 조정하면 성능이 올라갈 여지도 있다. Opus 5.5는 모든 에이전트의 API 비용과 GPU 사용료를 합해 실행당 평균 282달러였고, 전문가 기준선은 시간당 119달러의 급여를 포함해 9,123달러였다. 다만 같은 달러 예산을 모델에 더 줬을 때 얻는 추가 향상은 이 비교에서 직접 검증하지 않았다. 실험 GPU 시간에는 연구자 모델의 추론 토큰이 포함되지 않으므로, 컴퓨팅 승수와 금전적 비용 비교는 서로 다른 지표다.

역할 분리가 능력을 억누르는지 확인한 보조 실험에서는 Opus 4.8의 승수가 연구자-코더 분리에서 0.84, 직접 코딩하는 종단 간 설정에서 0.80이었다. 비율 1.05의 95% 신뢰구간은 0.69–1.67로 두 설정을 통계적으로 구분하지 못했다. 이는 한 모델에서의 확인이며 모든 모델·실행 구조에 일반화할 수는 없다. 직렬 실험만 측정했다는 점, 과제 수가 적고 과제별 차이가 커 승수의 불확실성이 넓다는 점도 함께 봐야 한다.

실제로 어떻게 활용할까

실무적으로는 자동 연구 에이전트를 평가할 때 “마지막 점수”와 “그 점수에 도달하기까지 쓴 실험 자원”을 따로 기록하는 설계가 유용하다. 구현 담당과 예산을 고정하면 모델 교체가 실험 선택 효율에 미치는 영향을 더 분명히 볼 수 있다. 새로운 모델을 비교할 때도 과제별 실패·거절 처리, 인간 기준선의 선정 방식, GPU 실험 시간과 추론 비용의 구분을 함께 공개해야 숫자를 공정하게 해석할 수 있다.

논문은 이 추세를 기존 AI 진전 모델에 넣는 시나리오 분석도 제시한다. 특정 가정 아래 AI Futures Model의 모의실험에서 “연구 취향만으로 가속이 지속되는 상황”의 비율은 51%에서 88%로 바뀌었다. 그러나 저자들도 이를 예측이 아닌 단순 외삽이라고 명시한다. 제한된 과제에서 관찰한 효율 증가가 대규모 실제 연구에도 그대로 적용되고 미래에도 계속된다는 가정이 필요하기 때문이다. TasteVal의 핵심 가치는 특정 미래 날짜를 확정하는 데 있지 않고, 정해진 조건에서 실험 설계 효율을 반복 측정할 수 있는 근거를 제공하는 데 있다.