AI 연구 아이디어를 세 개씩 함께 평가해 다양성을 학습시키기

배경과 문제

연구의 첫 단계는 검증할 가치가 있는 아이디어를 떠올리는 일이다. 최근 대형언어모델(LLM)로 이 단계를 자동화하려는 연구는 주로 아이디어 하나를 기존 논문에서 추출한 기준 아이디어와 비교하거나, 개별 아이디어를 실행해 평가했다. 하나씩만 평가하면 같은 자료에서 서로 다른 후보를 만들어 비교하는 과정은 충분히 보상받지 못한다.

인간 연구자는 같은 문헌을 읽고 여러 방향을 동시에 떠올린 뒤 그중에서 고른다. 심리학에서는 이를 발산적 사고(넓게 탐색)와 수렴적 사고(좁혀 선택)로 구분한다. 반면 아이디어를 독립적으로 반복 생성하는 접근에서는 후보들이 서로 얼마나 다른지 직접 조율하기 어렵다. 실행 신호로 훈련한 모델은 오히려 하나의 안전한 아이디어로 수렴하는 '모드 붕괴'가 보고되기도 했다. 이 논문은 바로 이 지점, 즉 '질은 높지만 서로 비슷한 아이디어만 내놓는 문제'를 해결하려 한다.

기존 접근의 한계

기존 방법은 아이디어를 수정하거나 후보를 사후 정리하는 데 중점을 뒀다. SciMON은 하나의 아이디어를 반복 수정하고, GIANTS는 후속 논문의 통찰을 예측하도록 학습한다. NOVA처럼 여러 후보를 만든 뒤 묶어 정리하는 접근도 있다. 이들과 구별되는 질문은 생성 모델을 처음부터 여러 아이디어 사이의 차이까지 고려하도록 훈련할 수 있는가이다.

품질-다양성 목적함수를 함께 최적화하려는 시도도 있다. 대표적으로 DARLING은 하나의 프롬프트에서 여러 롤아웃(독립 생성 결과)을 뽑고, 그 롤아웃들 사이의 다양성을 보상한다. 그러나 이는 '한 번의 생성 안에서' 아이디어들이 서로 달라지도록 유도하지 않는다. 또한 기존의 세트 수준 보상 연구는 정답 집합이나 고정된 보상 벡터가 있어야 다양성을 정의할 수 있었다. 개방형 아이디어 생성에는 그런 기준이 없어서, 두 아이디어가 서로 다른지 판단하는 일 자체가 다른 아이디어들과의 맥락 속에서 이루어져야 한다. 이 논문은 바로 그 '맥락 속 거리'를 보상에 직접 넣는다.

연구방법을 단계별로

저자들은 문서 기반 아이디어 생성 과제를 정의한다. 입력은 여러 참고 논문의 요약 카드이고, 모델은 한 번의 생성에서 세 개의 구조화된 아이디어 카드를 출력해야 한다. 각 카드는 문제 공백(problem gap), 핵심 주장(core claim), 방법(method), 영감(inspiration) 네 필드로 구성된다. 문제 공백과 방법은 각각 7가지 기회 패턴과 7가지 방법 패러다임 중 적절한 라벨로 시작하며, 해당하지 않을 때는 Other를 허용한다. 영감 필드는 어떤 참고 문헌의 어떤 한계를 어떻게 연결했는지 구체적으로 서술해야 한다.

훈련은 두 단계로 진행된다. 먼저 지도 미세조정(SFT)으로 아이디어 카드 형식과 사고 패턴을 가르친다. 교사 모델인 Claude Opus 4.8이 참고 문헌만으로 아이디어 세 개를 만든 뒤, 사후적으로 그 아이디어에 도달하는 1인칭 추론 흔적을 작성한다. 이 흔적은 교사 모델의 실제 내부 추론이 아니라 '회고적(hindsight)'으로 합성된 것이다. 그다음 GRPO(Group Relative Policy Optimization)라는 강화학습 알고리즘으로 세트 수준 보상을 최적화한다. 보상은 각 아이디어의 질 점수에, 그 아이디어가 앞서 나온 아이디어 중 가장 비슷한 것과의 거리 점수를 곱한 뒤 모두 더한 값이다. 첫 아이디어의 거리 항은 1로 고정된다.

질 점수는 SciJudge-30B라는 보상 모델이 생성 아이디어와 '정답 아이디어'(실제 후속 논문에서 추출한 골드 아이디어)를 양쪽 순서로 비교해 0, 0.5, 1 중 하나를 준다. 거리 점수는 gpt-oss-120b가 문제 공백, 핵심 주장, 방법 세 필드의 유사도를 1~5 척도로 판정한 뒤 0~1 범위로 변환해 평균한다. 평가 단계에서는 질을 GPT-5.4-mini가, 거리와 원문 의존성(grounding)을 Gemini-3.5-Flash가 판정한다. 훈련 보상에는 형식 보너스 0.05와 길이 벌점도 포함된다. 길이 벌점은 세 아이디어의 문제 공백·핵심 주장·방법 필드를 합친 토큰 수가 1,000개를 넘으면 부과되며, 영감 필드와 사고 블록은 길이 측정에서 제외된다.

주실험은 Qwen3-8B를 사용했다. 영어 NLP 논문에서 만든 7,172개 사례로 한 차례 SFT한 뒤, 학습 단계마다 12개 입력에서 각각 4개 세트를 뽑아 600단계 GRPO를 수행했다. 한 세트에는 아이디어 3개가 들어간다. 평가는 16개 분야의 1,740개 사례이며, 생각 블록이 있는 변형과 빈 변형을 비교했다. 훈련은 H200 8대와 외부 거리 판정 API를 사용하므로, 기존 챗봇의 프롬프트만 바꾼 결과는 아니다.

결과와 숫자의 의미

주요 지표는 창의적 효용(CU)이다. CU는 세트 안의 아이디어들을 탐욕적 순서로 재배열하면서, 각 아이디어의 질에 앞선 아이디어와의 최소 거리를 곱한 한계 가치를 할인율 0.9로 가중 합산한 뒤 0~1로 정규화한 값이다. 정의는 가장 좋은 순서를 찾지만 실제 계산은 그때마다 가치가 큰 아이디어를 고르는 탐욕적 근사다. 학습은 출력 순서를 그대로 쓰고 이 할인도 적용하지 않는다. 표 1에 따르면 제안 모델 중 사고 블록이 없는 'no-think' 변형이 CU 0.64로 가장 높다. Claude Opus 4.8은 0.38, GPT-6 Astra는 0.28, DARLING은 0.52, SFT만 거친 모델은 0.21, 기본 Qwen3-8B는 0.03이다.

CU 0.64를 '과학적 발견 성공률 64%'로 해석하면 안 된다. CU는 LLM 판정 기반의 질 점수와 거리 점수를 결합한 상대 지표일 뿐이다. no-think 모델의 길이 보정 승률은 0.50, 평균 거리는 0.88이다. 승률 0.50은 길이 영향을 통계적으로 보정한 비교 점수다. 실제 표본의 정확히 절반에서 이겼다는 단순 빈도와는 다르며, 이 평가에서는 양쪽 제시 순서에서 모두 이겨야 승리로 센다. 거리 0.88은 세 아이디어가 서로 상당히 다르다는 의미다. 반면 Impact-only RL(다양성 항 제거)은 승률 0.43으로 높지만 거리가 0.38로 떨어져, 질만 최적화하면 세트가 하나의 좋은 아이디어로 붕괴함을 보여준다.

원문 의존성(grounding)은 아이디어가 인용한 참고 문헌에 얼마나 필수적으로 의존하는지를 0~1로 측정한다. 표 11에서 no-think 모델의 의존성은 0.61, think 모델은 0.81, Claude Opus 4.8은 0.98, GPT-6 Astra는 0.94, SFT 모델은 0.90~0.91이다. 보상에 의존성 항이 직접 포함되지 않았기 때문에, 강화학습 후 의존성이 크게 떨어진다. SFT 단계에서는 think와 no-think 모두 0.90~0.91로 비슷하지만, RL 이후 no-think는 0.61로 급락한다. think 변형은 0.81로 더 높다. 저자들은 생각 블록이 원문 의존성을 유지하는 데 도움이 됐을 가능성으로 해석한다. 이 의존성 점수는 환각률이나 정답률과 다르며, '출처가 아이디어에 얼마나 필수적인가'를 나타낸다.

구체적인 예시

부록 F에는 think 모델이 생성한 '메모리 증강 LLM 진단 벤치마크' 아이디어의 실행 사례가 실려 있다. 이 아이디어의 핵심 주장은 진단 벤치마크가 어떤 메모리 메커니즘이 실제로 정보를 저장하는지 밝히고, 여러 설계에서 공통된 실패 모드를 드러낸다는 것이다. 코딩 에이전트는 HotpotQA와 NQ-Swap 데이터셋을 사용해 7가지 메모리 메커니즘과 2가지 대조군을 CPU 환경에서 평가하는 개념 증명을 설계했다.

첫 실행에서 에이전트는 NQ-Swap 탐침이 공통 실패 모드를 보여주지 못한다는 것을 발견했다. 밀집 인코더들은 0.87~0.96의 정확도를 보였고, 훈련되지 않은 잠재 메모리만 우연 수준으로 떨어졌다. 에이전트는 계획을 수정해 개체 순서 교환, 부정, 다중 항목 용량이라는 세 가지 사전 등록 탐침을 추가했다. 최종 판정은 'supports'였지만, 저자들은 에이전트의 판정이 일부 증거보다 강하게 내려졌다고 인정한다. 따라서 이 실행 결과는 '성공한 논문'이나 '재현 확정'이 아니라, 연구자가 후속 작업을 할 가치가 있는 초기 신호로 읽어야 한다.

한계와 오해하기 쉬운 점

이 연구의 모든 품질·거리·의존성 점수는 LLM 판정 기반의 대리 지표다. 실제 장기 과학 영향력(예: 인용 수)을 직접 측정한 것이 아니다. 거리 판정의 사람 간 상관계수는 스피어만 ρ=0.36으로 중간 수준이며, gpt-oss-120b 판정도 사람-사람 상관과 비슷한 0.37에 그친다. 평가용 Gemini-3.5-Flash는 0.50으로 더 높지만 여전히 완벽하지 않다. 따라서 '8B 모델이 모든 연구 능력에서 대형 모델을 이겼다'는 식의 해석은 원문이 뒷받침하지 않는다.

DARLING과의 비교도 주의해야 한다. 본문에서는 '유일한 차이는 다양성을 강제하는 위치'라고 주장하지만, 부록 B.3에 따르면 DARLING은 SFT 없이 기본 모델에서 바로 GRPO를 시작하고, 아이디어 1개를 롤아웃 8개로 생성하며, 대칭 클리핑을 사용한다. 반면 제안 방법은 SFT를 거치고, 아이디어 3개로 이루어진 세트를 입력당 4개 생성하며, 비대칭 클리핑을 쓴다. 목적함수 하나만 바꾼 완전 통제 실험이 아니다.

인간 평가는 NLP 박사 4명이 각각 15개 사례, 총 60개 사례를 블라인드로 평가한 소규모 파일럿이다. 각 세트의 아이디어 3개에 대해 유망함(promising), 독특함(unique), 유망하고 독특함(unique promising)을 판정했다. no-think 모델은 promising 2.17, unique 2.83, unique-promising 2.05로 Claude Opus 4.8의 2.20, 2.72, 2.03과 비슷했다. 이는 Claude에 대한 통계적 우월성 증거가 아니며, 인간과 AI의 연구 성과를 비교한 것도 아니다.

실행 검증은 15개 사례(think는 14개)에서 각 시스템의 아이디어 3개씩, 총 132개 아이디어를 대상으로 했다. 동일한 Claude Code 에이전트가 아이디어당 90분, 30달러, GPU 없는 샌드박스에서 개념 증명을 실행하고 supports/refutes/inconclusive로 자가 판정했다. success@3은 Claude 27%, no-think 33%, think 29%로, 한 사례의 세 아이디어 중 하나 이상이 supports를 받은 비율이다. 표본이 작고 에이전트 자가 판정이며, 부록 F에서 저자들도 supports 판정이 증거보다 강한 경우가 있다고 인정한다. 이는 성공 논문 비율이나 재현 확정 비율이 아니다.

IdeaSeed 벤치마크에서 방법 유형의 정규화 엔트로피는 인간 제안 0.87, Claude 0.77, 제안 no-think 0.65, think 0.73이다. 이는 한 세트 내 다양성과 전체 아이디어 유형 분포의 다양성이 다르다는 것을 보여준다. 제안 모델은 세트 내 다양성은 높지만, 전체적으로는 인간보다 특정 방법 유형에 더 집중된다. 또한 이 연구는 검색(retrieval)을 사용하지 않고, 영어 NLP 논문으로만 훈련했으며, 자동 평가자의 주관성과 소규모 인간·실행 검증이라는 한계를 명시한다.

실제로 어떻게 활용할까

이 방법은 연구 기획 초기에 문헌을 읽고 여러 가설을 동시에 떠올리는 브레인스토밍 도구로 쓸 수 있다. 모델이 세 개의 서로 다른 아이디어 카드를 생성하면, 연구자는 각 카드의 문제 공백과 핵심 주장을 비교하며 어떤 방향이 가장 유망한지 판단할 수 있다. 특히 '영감' 필드는 어떤 참고 문헌의 어떤 한계를 어떻게 연결했는지 명시하므로, 아이디어의 근거를 빠르게 검토하는 데 도움이 된다.

활용할 때는 카드에 적힌 인용이 아이디어를 실제로 뒷받침하는지 확인하고, 서로 달라 보이는 후보가 방법까지 다른지 비교해야 한다. 원문 의존성은 RL 이후 낮아졌고 실행 에이전트의 supports도 확정된 발견이 아니다. 작은 검증 실험으로 후보를 추려 나가는 연구자의 판단이 필요하다. 저자들은 2026년 후속 논문으로 평가 세트를 만들었지만, 이를 모든 비교 모델의 학습 자료 중복까지 독립 확인한 결과로 읽어서는 안 된다.