평가·벤치마크난이도 보통arXiv · 11월 4일 공개

물리 연구를 통째로 맡겨 보는 AI 시험 FrontierPhysics

물리학자 42명이 자기 연구로 만든 과제 56개를 AI 에이전트에게 통째로 맡겼더니, 가장 잘한 AI도 168번 가운데 46번만 통과했다.

쉽게 말하면비유하자면 요리 실기 시험이다. 어떤 요리를 낼지는 정해 주지만 조리법은 주지 않는다. 장보기, 조리, 맛 점검, 레시피 글쓰기까지 혼자 해내야 한다. 맛은 계측기가 재고, 글과 과정은 심사위원이 본다. 가장 잘한 AI도 네 번에 한 번쯤만 합격했다. 다만 여기서 심사위원은 사람이 아니라 또 다른 AI였다는 점이 실제 요리 시험과 다르다.

예를 들면: 원문이 든 예시 과제는 원자를 한 줄로 늘어놓은 장치에서 물질 상태가 바뀌는 지점을 찾는 일이다. 주어진 가상 장치는 원자 3개까지만 다룬다. 에이전트는 장치를 재서 모형을 세우고, 원자 30개 규모는 직접 시뮬레이션해야 한다. 숫자 검사 10개와 필수 기준 7개를 모두 넘어야 통과다.
왜 봐야 하나: 'AI가 과학 연구를 혼자 한다'는 말이 어디까지 사실인지 숫자로 가늠하게 해 준다. 한 모델의 실패를 사람이 뜯어본 결과, 가장 자주 막힌 곳은 물리 지식보다 제 답을 의심하고 따져 보는 일이었다. AI가 낸 분석을 쓸 때 답만 보지 말고 어떻게 확인했는지도 살필 까닭이 된다.

알아낸 것

가장 잘한 것은 Claude Code에서 돌린 Claude Opus 5.5다. 과제 56개를 세 번씩, 모두 168번 시도해 46번(27.4%) 통과했다. 설정(모델, 실행 도구, 생각에 들이는 힘의 조합) 26개 가운데 30%를 넘긴 것은 없다.
숫자는 맞히고도 연구 품질에서 떨어진 시도가 많다. Opus 5.5는 168번 가운데 45.8%에서 숫자 검사를 통과했지만 필수 품질 기준까지 넘긴 비율은 27.4%다. Gemini 4 Argon은 31.5%에서 8.3%로 줄었다.
GPT-6 Astra(xhigh)가 실패한 143번을 사람이 읽고 원인을 붙였다. 엄밀하지 못한 추론 48%, 전문가 직관 부족 34%, 문헌 실수 27%다. 물리를 틀린 경우는 16%, 실행 실수는 4%다. 한 시도에 원인이 여럿 붙을 수 있다.
채점도 틀릴 수 있었다. GPT-6 Astra(xhigh)의 1차 평가 168번 가운데 9번은 제대로 하고도 떨어졌다. 손으로 바로잡으면 통과율이 14.9%에서 20.2%로 오른다. 과제를 고쳐 다시 돌린 순위표 수치 19.6%와 비슷하다.

한계와 주의할 점

동료 심사를 거치지 않은 사전 공개 논문이다(arXiv v1, 벤치마크 v0.1). 본문에서 과제와 데이터를 내려받는 주소는 확인하지 못했다. 작업 기록을 HuggingFace 데이터셋에 모았다는 말만 있다.
실패 원인 분석은 GPT-6 Astra(xhigh) 한 설정의 168번만 대상으로 했다. 잘못된 불합격을 찾아 바로잡은 것도 이 설정뿐이다. 저자들도 다른 모델은 다르게 실패할 수 있다고 적었다.
논문과 작업 과정은 사람이 아니라 AI 심사 에이전트(GPT-5.6 Sol)가 채점했다. 심사를 Claude Opus 5.5로 바꿔 1차 평가분을 다시 채점하면 자기 계열 결과에 더 후했다. 과제가 56개뿐이라 분야별 차이는 불확실하고, 2~4위 세 설정은 1위 Opus 5.5와 통계적으로 구분되지 않는다.

용어 풀이

에이전트(agent): 묻는 말에 답만 하는 것이 아니라, 검색하고 코드를 돌리고 파일을 만드는 일을 스스로 이어 가는 AI다. 이 연구에서는 Codex, Claude Code 같은 실행 도구(하니스) 안에서 돌렸다.
설정(configuration)과 시도(rollout): 설정은 모델, 실행 도구, 생각에 들이는 힘(추론 강도)을 묶은 한 벌로, 모델 22개 가운데 GPT 계열 4개를 강도 두 가지(max, xhigh)로 돌려 모두 26개다. 설정마다 과제 56개를 세 번씩, 모두 168번 시도(롤아웃)했다.
결정적 검증기(deterministic verifier): 에이전트가 낸 숫자를 정답과 견줘 기계적으로 맞고 틀림을 가리는 시험 스크립트다. 누가 돌려도 같은 결과가 나온다.
루브릭(rubric)과 블로커(blocker): 루브릭은 과제 제작자가 쓴 채점 기준표다. 그 가운데 블로커는 하나라도 어기면 바로 탈락하는 필수 기준이고, 나머지는 0~2점으로 품질 점수를 매긴다.

더 깊이 읽기 읽는 데 약 4분

무엇이 문제였나

AI 에이전트는 이제 논문을 찾고, 코드를 짜고, 보고서를 쓴다. 그런데 물리 실력을 재는 기존 시험은 대부분 정해진 문제를 풀게 하거나 연구의 한 토막만 떼어 시켰다. 답이 하나로 정해진 문제는 모델이 금세 높은 점수를 받아 변별력이 사라진다. 논문을 통째로 주고 재현하게 하는 시험도 있다. 하지만 이 경우 무엇을 물을지와 어떻게 풀지가 이미 논문에 적혀 있다.

저자들은 실제 연구가 그렇게 진행되지 않는다고 본다. 연구자는 스스로 문헌을 찾고, 계획을 세우고, 방법을 고르고, 결과를 검증한 뒤 글로 쓴다. 저자들은 이 전 과정을 맡기면서 결과의 정확성과 논문의 품질을 함께 채점하고, 실패 원인까지 사람이 따져 본 물리 벤치마크(여러 AI를 같은 문제로 견주는 시험)는 자신들이 아는 한 없었다고 주장한다.

어떻게 했나

과제는 현역 물리 연구자가 자기가 직접 한 연구로 만들었다. 박사과정생, 박사후연구원, 연구원이 참여했다. 182개가 제출됐고 두 단계 심사를 거쳐 56개가 남았다. 만든 사람은 26개 기관의 42명이고, 분야는 응집물질, 원자·분자·광학, 천체물리, 유체 등 9개다. 원래 연구에는 과제당 평균 약 270일이 걸렸다고 제작자들이 보고했다. 18개 과제는 이미 논문으로 나온 연구이고, 그 가운데 4개는 네이처에 실렸다.

에이전트는 연구 책임자(PI)가 연구 초기에 건넬 법한 지시를 받는다. 큰 방향과 내야 할 결과물이 적혀 있다. 필요하면 자료와 도구도 함께 주어진다. 풀이 방법은 주어지지 않는다. 제출물은 계산한 숫자와 논문 원고 두 가지다. 숫자는 시험 스크립트가 정답과 견줘 기계적으로 검사한다. 원고와 작업 기록은 심사 에이전트가 제작자가 쓴 기준표로 평가한다. 숫자 검사와 필수 기준(블로커)을 모두 넘어야 통과이고, 하나라도 못 넘으면 0점이다. 모델 22개를 26개 설정으로 돌렸다. 과제마다 세 번씩 시도했고, 한 번에 최대 10시간을 줬다.

결과와 숫자의 뜻

1위는 Claude Opus 5.5로 168번 가운데 46번(27.4%) 통과했다. GPT-6 Astra(max, 생각에 힘을 가장 많이 들이는 단계)가 23.2%, 같은 모델의 그보다 낮은 xhigh 단계와 GPT-6.1 Sol이 각각 19.6%로 뒤를 이었다. 다만 과제별로 견준 통계 검사에서 이 세 설정은 Opus 5.5와 뚜렷이 구분되지 않았다. 순위보다 '모두 30% 아래'라는 점이 더 확실한 결과다. 세 번 가운데 한 번이라도 통과한 과제는 Opus 5.5 기준 56개 중 25개였다. Gemini 3.8 Flash와 Mistral Large 4는 한 번도 통과하지 못했다.

숫자 검사만 보면 성적이 더 높다. Opus 5.5는 시도의 45.8%에서 숫자를 맞혔다. 여기에 필수 품질 기준을 적용하면 27.4%로 줄어든다. 답은 맞았지만 논문으로 내기에는 모자란 시도가 그만큼 있었다는 뜻이다. 비용도 적지 않다. Opus 5.5는 시도 한 번에 평균 26.95달러와 2.44시간을 썼다. GPT-6.1 Sol은 평균 5.33달러로 19.6%를 냈다.

어디서 막혔나

저자들은 GPT-6 Astra(xhigh)의 168번 시도를 과제 제작자와 관리팀이 직접 읽게 했다. 실패한 143번에 원인 꼬리표를 붙였다. 가장 많은 것은 엄밀하지 못한 추론(48%)이다. 대표 사례는 '순환 자기 검증'이다. 에이전트가 자기 답을 검산하는데, 그 검산 방법이 처음의 틀린 가정에 기대고 있다. 그래서 몇 번을 확인해도 오류가 드러나지 않는다. 예외 상황을 다 따지지 않아 일부 경우에만 맞는 코드를 낸 사례도 여기에 든다.

둘째는 전문가 직관 부족(34%)이다. 실험 오차의 주된 원인을 고르지 못하거나, 오류를 고칠 때 원인이 아닌 값을 계속 만지는 식이다. 원리를 몰라서가 아니라 무엇이 중요한지 가려내지 못했다고 저자들은 본다. 핵심 문헌을 못 찾거나 잘못 쓴 경우가 27%, 지시를 놓치거나 잘못 읽은 경우가 26%였다. 반면 물리 자체를 틀린 경우는 16%, 코드나 도구를 잘못 다룬 경우는 4%, 없는 자료를 지어낸 경우는 2번(1%)에 그쳤다.

쓸모와 주의할 점

이 연구는 채점이 믿을 만한지도 따로 점검했다. 사람이 읽어 보니 GPT-6 Astra(xhigh)의 1차 평가 168번 가운데 9번은 과제 설계나 채점 잘못으로 떨어진 것이었다. 손으로 바로잡으면 통과율은 14.9%에서 20.2%가 된다. 저자들은 문제가 된 과제를 고치고 다시 돌리거나 다시 채점했다. 순위표의 19.6%가 그 뒤의 수치다. 제작자 자신의 논문도 채점해 봤다. 원고에 해당하는 기준만 골라 같은 심사 에이전트에게 맡기자 33개 과제의 품질 점수 평균이 96.2%였다. 다만 그 가운데 3건은 필수 기준에서 탈락 판정을 받았다.

심사 AI를 바꾸면 결과도 조금 달라졌다. 심사 에이전트를 Claude Opus 5.5로 바꿔 1차 평가분을 다시 채점하자 GPT-6 Astra 결과는 통과가 25건에서 26건으로 거의 같았다. Opus 5.5 결과(166번)는 37건에서 44건으로 늘었다. 저자들은 Opus 심사가 자기 계열 모델에 더 후했다고 적었다. 실패 원인 분석도 한 설정만 대상으로 했다. 과제가 56개라 분야별 통과율 차이도 불확실하다. 저자들은 스스로 문제를 정하고 새 발견까지 가는 에이전트를 기르려면 더 열린 과제와, 부분 진전이나 뜻밖의 발견도 평가하는 유연한 채점 틀이 필요하다고 결론짓는다.

원문에서 확인한 근거 5곳

26개 설정 모두 통과율이 30% 아래이고, 최고는 Claude Opus 5.5의 27.4%(168번 중 46번)다.3.2절 Results, 표 2, 그림 1, 4절 Conclusion
숫자 검사 통과율과 전체 통과율 사이에 큰 차이가 있다(Opus 5.5 45.8% 대 27.4%, Gemini 4 Argon 31.5% 대 8.3%).표 2, 그림 7
GPT-6 Astra(xhigh)의 실패 143번에서 주된 원인은 엄밀하지 못한 추론(48%)과 전문가 직관 부족(34%)이고, 물리 오류(16%)와 실행 실수(4%)는 적다.3.4절 Failure Mode Analysis, 그림 6, 부록 E 표 4
GPT-6 Astra(xhigh)의 1차 평가 168번 가운데 9번은 잘못 불합격 처리됐고, 바로잡으면 통과율이 14.9%에서 20.2%로 오른다. 과제를 고쳐 다시 돌리거나 다시 채점한 뒤의 순위표 수치는 19.6%다.3.3절, 3.4절, 그림 6 설명, 표 2, 부록 E 표 5
심사 에이전트를 Claude Opus 5.5로 바꿔 1차 평가분을 다시 채점하면 자기 계열 결과에 더 후하다(166번 가운데 통과 37건에서 44건). 제작자 자신의 논문은 원고에 해당하는 기준만 골라 채점해 품질 점수 평균 96.2%를 받았고, 3건은 필수 기준에서 탈락했다.2.3절, 부록 E 표 6, 3.3절, 부록 H 표 11

출처원문 — arXiv PDF

11월 13일 정리 · AI가 쓰고 원문과 대조

AI 목록