Station: 여러 AI가 연구실처럼 협력하면 열린 과학 문제를 얼마나 다시 발견할까

배경과 문제

최근 AI는 수학 문제 해결이나 알고리즘 발견처럼 성공을 명확히 측정할 수 있는 분야에서 빠르게 발전했다. 그러나 신경망 해석이나 물리 현상 이해 같은 개방형 과제는 '얼마나 잘했는지'를 객관적으로 점수화하기 어렵다. 이런 과제에서는 중간 결과의 과학적 가치를 연구자가 주관적으로 판단해야 하는데, AI 에이전트의 판단이 인간 연구자와 어긋날 위험이 있다. 이를 논문은 '판단 불일치(judgment misalignment)'라고 부른다.

또한 명확한 지표가 없으면 에이전트는 쉬운 문제를 골라 그것을 중요한 것처럼 포장하는 경향이 있다. 이는 가로등 아래에서만 열쇠를 찾는 '가로등 효과(streetlight effect)'와 같다. 조사하기 쉬운 방향이 과학적 가치보다 우선시되는 것이다. 이 논문은 이런 두 가지 어려움을 완화할 수 있는 환경 설계를 제안하고, 실제로 에이전트가 개방형 과제에서 기존 논문의 발견을 재발견하거나 새로운 발견을 할 수 있는지 측정한다.

기존 접근의 한계

대부분의 자율 연구 시스템은 중앙 통제 장치가 연구 방향을 조정한다. 예를 들어 AI Scientist-v2는 에이전트 트리 탐색으로 실험을 조직하고, Codex Multiagent-v2는 루트 에이전트가 하위 에이전트에게 작업을 위임한다. 이런 중앙 집중식 구조는 효율적일 수 있지만, 과학적 가치에 대한 다양한 판단을 병렬로 탐색하기 어렵다. 한 명의 통제자가 정한 방향만 깊이 파고들기 쉽다.

반면 Station은 여러 에이전트가 서로 다른 모델과 맥락을 가지고 독립적으로 연구 방향을 제안하고 추구하는 분산형 환경이다. 에이전트들은 내부 문헌 시스템에 논문을 발표하고 서로의 결과를 읽고 인용하며 지식을 축적한다. 그러나 방향을 자유롭게 정한다고 해서 어려운 문제를 오래 파고드는 것은 아니다. 에이전트는 중간 지표가 없으면 금방 쉬운 문제로 방향을 바꾸는 '조기 전환(early pivot)'을 할 수 있다. 이 논문은 Station에 두 가지 장치를 추가해 이 문제를 해결하려 한다.

연구방법을 단계별로

연구진은 Station에 Supervisor와 Meta Reflection이라는 두 가지 메커니즘을 도입했다. Supervisor는 전담 에이전트로, 다른 에이전트에게 가벼운 지도를 제공하고 최소 60틱 동안 각 연구 에이전트가 스스로 제안한 방향을 고수하도록 요구한다. 에이전트는 연구 제안서를 제출해야 하며, Supervisor는 제안서에 명시된 기간 동안 방향을 바꾸지 못하게 감시한다. 예외적인 경우에만 전환을 허용한다. 이는 에이전트의 자율성을 유지하면서도 지속적인 탐색을 장려한다.

Meta Reflection은 50틱마다 에이전트가 자신의 연구 진행 상황과 방향을 재평가하도록 강제한다. 이때 에이전트는 해당 분야의 인간 연구자 관점에서 자신의 작업이 새롭고 중요한지, 계속 파고들 가치가 있는지 스스로 평가해야 한다. 모든 반성 응답은 에이전트의 원래 모델과 무관하게 GPT-5.5가 생성해 독립적인 재평가를 유도한다. 마지막으로 Consolidation Agent가 실행 종료 후 모든 발견을 약 8,000단어의 연구 보고서로 통합한다.

평가를 위해 연구진은 ICLR 2025와 2026에서 구두 발표된 세 편의 논문을 '오라클 논문'으로 삼았다. 각 논문의 주요 발견을 약 10개의 하위 발견으로 나누고, 에이전트에게는 연구 질문과 실험 환경만 제공한 채 인터넷 접속을 차단했다. 에이전트가 보고서에서 유사한 발견을 진술하고 실험적 근거를 제시하면 해당 하위 발견을 회수한 것으로 간주한다. 각 과제는 3회 실행했고, 실행마다 6개 에이전트(Gemini 3.1 Pro 3개, GPT-5.5 1개, Claude Opus 4.8 2개)가 300틱 동안 활동했다. 기준선은 과제별 Station의 평균 누적 실험 시간에 도달하거나 넘을 때까지 실행했다. 실험 시간의 기준을 맞춘 것이며, 총 토큰 수·벽시계 시간·API 비용까지 동일한 비교는 아니다. 300틱은 활성 에이전트마다 관찰을 받아 응답하는 단계를 세는 시간 단위로, 독립 실험 300회를 뜻하지 않는다. 실행 중 사람의 개입은 없었지만, 사람은 연구 질문·실험 환경·모델 체크포인트를 미리 준비했다. 별도의 두 탐색 과제는 각각 한 번 실행했다.

결과와 숫자의 의미

세 가지 재발견 과제에서 Station은 하위 발견을 평균 62.7% 회수했다. 이는 Codex Multiagent-v2의 15.4%, AI Scientist-v2의 설정별 14.4~20.6%보다 훨씬 높다. 과제별로 보면 강화학습 에이전트의 창발적 계획 과제에서 75.8%, LLM 출력의 저랭크 구조 과제에서 70.4%, RNN의 시간 표현 과제에서 41.9%를 회수했다. 특히 기준선 시스템들은 대부분 표면적인 특징만 찾아내고 심층적인 메커니즘이나 인과적 개입은 거의 회수하지 못했다.

Supervisor와 Meta Reflection의 효과를 검증하기 위해 두 장치를 함께 제거한 구성 요소 비교 실험을 진행했다. 창발적 계획 과제에서 회수율이 75.8%에서 57.9%로 떨어졌고, 특히 인과적 개입 발견이 크게 줄었다. 연구 프로젝트의 평균 지속 시간도 67.0틱에서 55.5틱으로 감소해 연구 지속성이 낮아졌다. 또한 92번의 Meta Reflection 뒤 10틱 동안의 행동을 분류했을 때 71.7%가 기존 방향을 심화하거나 검증하는 범주였다. 이는 관찰한 연관성이며 반성 하나의 인과적 효과가 71.7%라는 뜻은 아니다. 두 장치 제거 실험도 창발적 계획 과제에서 세 번씩 비교한 결과로, 각 장치의 독립적 기여나 다른 과제 전체로의 효과를 분리해 검증하지 않았다.

구체적인 예시

논문은 Meta Reflection 뒤 연구 초점이 핵심 질문으로 돌아온 사례를 제시한다. 한 에이전트는 RL 에이전트가 정적인 벽과 복도에 대한 공간 정보를 어떻게 갱신하는지 분석하는 프레임워크를 개발했지만, 계획과의 연결이 부족했다. Meta Reflection은 에이전트가 이 한계를 인식하고 같은 프레임워크를 움직이는 상자에 적용하도록 유도했다. 상자 위치 변화가 계획에 미치는 영향을 조사하면서 분석이 핵심 질문으로 다시 집중되었다.

탐색 과제 중 하나인 '잠재 학습(subliminal learning)'에서는 에이전트가 LoRA 랭크와 특성 전이 사이에 역U자 관계가 있음을 발견했다. 랭크가 높아질수록 전이가 더 잘 될 것이라는 직관과 달리, 중간 랭크에서 전이가 가장 강했다. 에이전트는 특이값 분해를 통해 초기 층 LoRA 업데이트의 소수의 주요 특이 모드만 유지해도 전이된 특성의 대부분이 보존된다는 것을 밝혔다. 나아가 랭크 128에서 실패한 전이를 초기 층에만 LoRA를 적용해 복구하는 방법도 찾아냈다. 역U자 관계와 초기 층의 소수 특이 모드라는 관측은 동시대 인간 연구와 일치했고, 연구진은 초기 층만 학습해 전이를 복구한 부분을 추가 발견으로 보고했다. 탐색 결과는 연구진이 흥미로운 후보를 골라 관련 연구와 비교하고 검증한 것이므로, 자동 점수나 독립된 외부 평가가 모든 발견의 새로움을 인증한 것은 아니다.

한계와 오해하기 쉬운 점

62.7%라는 숫자는 세 재발견 과제의 세부 발견 회수율을 과제별로 동일 가중 평균한 값이다. 논문 세 편 자체를 62.7% 새로 발견했다는 뜻도, 모든 과학 문제에서의 성공률도 아니다. 실행마다 독립적인 보고서를 세 개 만든 뒤 GPT-5.5가 보고서마다 세 번 평가하고, 아홉 점수를 평균했다. 보조적인 블라인드 전문가 평가가 있지만 주요 점수를 모두 사람의 독립 판정으로 대체할 수는 없다. 회수 판정은 유사한 발견 진술뿐 아니라 실험적 근거도 요구한다.

모델의 지식 마감은 2025년 1월~2026년 1월이고 가장 이른 기준 논문은 2025년 4월에 공개되었다. 인터넷을 차단했지만 학습 중 선행 발견에 노출되었을 가능성을 배제할 수 없다. 다만 기준선과 직접 프롬프트도 대부분의 발견을 회수하지 못했고, 회수에는 실험 근거가 필요하므로 사전 노출만으로 성능을 설명하기는 어렵다. 또한 Station과 기준선은 모델 구성과 워크플로가 다르므로 분산형 구조 하나의 인과적 효과나 동일 비용 우월성을 증명하지 못한다. 연구진은 에이전트가 인간 연구자가 흥미롭지 않다고 여기는 방향에 상당한 노력을 쏟는 판단 불일치가 여전히 남아 있다고 인정한다.

실제로 어떻게 활용할까

이 연구는 개방형 과학 문제를 다루는 AI 연구 시스템을 설계할 때 환경의 역할이 중요함을 보여준다. 분산형 구조로 다양한 과학적 가치 판단을 병렬 탐색하고, Supervisor로 조기 전환을 막고, Meta Reflection으로 주기적인 자기 평가를 강제하면 에이전트가 더 깊은 발견을 할 수 있다. 연구 기관이나 기업이 자율 연구 에이전트를 구축할 때 이런 메커니즘을 참고할 수 있다.

다만 이 시스템을 실제 연구에 바로 적용하기에는 한계가 분명하다. 평가가 자동화되어 있고 인간 전문가의 판단과 완전히 일치하지 않는다. 에이전트가 제안한 연구 방향 중 상당수가 인간 연구자에게 가치가 낮게 평가되었다. 따라서 현재로서는 인간 연구자의 가벼운 지도와 결합해 사용하는 것이 현실적이다. 완전 자율 연구를 위해서는 판단 불일치와 가로등 효과를 더 줄이는 환경 설계가 필요하다.