LongZero: 스스로 만든 문제와 긴 문서로 읽기·추론 능력 학습하기

배경과 문제

긴 문맥 추론은 보고서 모음, 긴 대화, 책 전체와 같은 입력에서 여러 문서에 흩어진 사실을 찾아 연결하고 답을 내는 작업이다. 강화학습(RL)으로 이 능력을 키우려면 길고 다양하며 어렵고 검증 가능한 훈련 데이터가 필요한데, 사람이 직접 주석을 다는 것은 비싸고 자연적으로 발생하는 긴 문맥 질문응답 데이터는 RL이 소모하는 양에 비해 너무 적다.

기존 합성 데이터 방법은 외부 말뭉치나 더 강한 교사 모델에 의존한다. 예를 들어 짧은 다중 홉 질문응답 데이터셋에 방해 문서를 추가하거나, 실제 문서 위에 모델이 질문을 쓰게 하거나, 지식 그래프와 검색 에이전트 궤적을 결합하거나, 더 큰 모델이 훈련 데이터를 생성하게 한다. 그러나 실제 세계 사실은 모델이 주어진 문맥 대신 자신의 파라미터 지식으로 답하게 하는 혼란 요인이 되고, 공개 텍스트가 평가 데이터와 겹칠 위험도 있다.

한편 짧은 문맥 영역에서는 모델이 스스로 과제를 제안하고 풀면서 학습하는 '제로 데이터 RL'이 수학, 코드, 게임, 도구 사용 에이전트 등에서 좋은 성과를 냈다. 이 연구의 질문은 이 아이디어를 긴 문맥 추론으로 확장할 수 있는가이다. 긴 문맥 과제는 긴 입력과 그에 대한 질문을 모두 모델이 만들어야 하므로, 아직 긴 문맥을 잘 다루지 못하는 모델이 방금 쓴 긴 텍스트에 대한 질문을 신뢰성 있게 쓰거나 검증하기 어렵다는 문제가 있다.

기존 접근의 한계

기존 긴 문맥 RL 연구들은 대부분 훈련 과제를 만드는 데 초점을 맞춘다. QwenLong-L1과 QwenLong-L1.5는 실제 문서 위에 질문을 쓰고, LoongRL은 HotpotQA 질문을 UUID 체인과 방해 문서 사이에 숨기고, SPELL은 원시 문서 위에서 한 모델이 질문·답·검증을 하게 하고, LongTraceRL은 지식 그래프 워크와 검색 궤적으로 질문을 만들고, GoLongRL은 다중 과제 혼합을 큐레이션한다.

이 모든 방법은 문맥이나 질문을 기존 말뭉치, 질문응답 데이터셋, 지식 베이스, 더 큰 모델에서 얻는다. 따라서 훈련 데이터의 질이 외부 자원의 가용성과 품질에 묶이고, 실제 사실이 포함되면 모델이 문맥을 읽지 않고 외워서 답할 수 있다. LongZero는 이와 달리 훈련 중인 모델 자신이 문맥과 질문을 모두 합성하므로 외부 데이터나 교사 모델이 필요 없다.

연구방법을 단계별로

LongZero는 두 종류의 데이터를 합성한다. 추론 데이터는 가상 세계의 개체와 사실을 여러 문서에 나누어 담고, 여러 문서의 사실을 결합해야 풀 수 있는 다중 홉 질문을 포함한다. 검색 데이터는 MRCR 형식을 따라 긴 대화 속에서 특정 응답 하나를 찾아 재현하는 과제이다. 두 경우 모두 먼저 참조 답을 정해 과제를 구성한다. 다만 추론 문서가 그 답과 일관되게 생성되는지는 별도 문제이며, 실제로 모순이 남은 사례도 있다.

추론 데이터 합성은 세 단계로 진행된다. 먼저 정책 모델이 세계 명세를 엄격한 JSON으로 작성하는데, 여기에는 개체, 사실, 방해 사실, 질문과 답이 포함된다. 이 명세는 짧기 때문에 안정적으로 생성하고 검사할 수 있으며, 긴 텍스트가 생기기 전에 답을 고정한다. 다음으로 계획 단계에서 각 사실을 여러 문서에 배정하고, 확장 단계에서 각 문서를 계획된 장르로 독립적으로 작성한다. 마지막으로 프로그램이 문서를 섞어 문맥을 만들고, 답이나 동등한 별칭이 확장된 텍스트에 그대로 나타나는 질문만 유지하는 충실성 게이트를 통과시킨다.

검색 데이터는 모델이 직접 대화 내용을 쓴다. 공개 OpenAI MRCR 데이터셋의 10가지 형식과 434개 명사만 주어지고, 모델이 각 요청에 여러 번 응답하여 자체 응답 풀을 만든다. 프로그램이 이 풀에서 대상 요청의 응답 8개를 바늘로 선택해 다른 요청의 응답들 사이에 무작위로 끼워 넣고, 마지막에 k번째 바늘을 무작위 접두사와 함께 재현하라고 묻는다. 답은 접두사와 k번째 바늘의 연결이므로 구성상 정확하다.

난이도 필터링은 GRPO가 같은 프롬프트에 대한 여러 출력의 보상 평균을 기준으로 삼기 때문에 필요하다. 그룹 내 보상이 모두 같으면 과제 보상에서 얻는 상대적 학습 신호가 0이다. KL 정규화 항까지 없어지는 것은 아니다. LongZero는 모델이 각 질문을 소규모로 여러 번 풀게 하여 정답과 오답이 모두 나온 '불안정 구간'의 질문만 유지한다. 같은 모델이 데이터를 생성하고 필터링하므로 유지된 질문의 난이도는 학습될 모델의 현재 능력에 맞게 조정된다.

강화학습은 GRPO를 사용한다. 추론 보상은 마지막 “The answer is” 뒤 답을 정규화한 뒤 참조 답이 단어 경계에 맞게 포함되는지 검사하며, 참조 답 이외의 텍스트는 최대 128자까지만 허용한다. 검색 보상은 답이 지정 접두사로 시작해야 하며, 나머지와 목표 응답의 SequenceMatcher 유사도를 부분 점수로 준다. 모델별 훈련에는 추론 질문 2,304개와 검색 대화 1,152개를 사용한다. 한 단계에 64개 프롬프트와 각각 8개 응답을 만들며 입력은 최대 32,768토큰, 응답은 8,192토큰이다. 4B는 72단계, 8B는 108단계를 학습한다.

결과와 숫자의 의미

표 2는 다섯 벤치마크의 평균 점수를 보여준다. Qwen3-4B-Thinking-2507에서 기본 모델 54.68, Enhanced HotpotQA 56.57, Teacher-synthesized QA 55.99, LongZero 57.42로 LongZero가 가장 높다. Qwen3-8B에서도 기본 44.63, Enhanced HotpotQA 45.03, Teacher-synthesized QA 44.83, LongZero 45.66으로 역시 LongZero가 최고다. 평균은 다섯 지표의 비가중 평균이며 두 번의 평가 실행 평균이다.

LongZero는 4B 모델에서 다섯 벤치마크 중 네 개에서 최고이며, AA-LCR에서는 Enhanced HotpotQA(41.50)에 뒤진 39.50을 기록했다. 8B 모델에서는 AA-LCR에서 Enhanced HotpotQA와 3.00으로 동률이고, LBv2에서는 기본 모델 32.11과 Teacher-synthesized QA 33.20보다 낮은 32.01을 기록했다. 8B 모델의 AA-LCR 점수는 3.00이고, 200개 응답 중 120개는 답을 내지 못했다. 저자들은 이 낮은 점수에 출력 공간 부족이 영향을 주었다고 설명한다. YaRN으로 131K 토큰 창을 제공하지만 72K–115K 입력에서는 출력 공간이 부족해 사고 모델이 최종 답을 내기 전에 토큰이 소진되는 경우가 많다.

훈련 데이터는 벤치마크보다 훨씬 짧다. 추론 샘플 중앙값은 4B 모델 19.4K, 8B 모델 14.6K 토큰이고, 검색 대화 중앙값은 각각 11.4K, 11.1K 토큰이다. 그런데도 LongZero는 LBv2와 AA-LCR처럼 입력이 몇 배 더 긴 벤치마크에서 4B 모델의 성능을 향상시켰다. 이는 짧은 합성 문맥에서 배운 '흩어진 증거 찾기'와 '비슷한 방해 요소 거부' 기술이 더 긴 입력으로 일반화됨을 시사한다.

4B 모델의 데이터 보완성 실험(표 3)에서 추론 데이터만 쓰면 LB1과 FRAMES에서 대부분의 향상을 얻지만 AA-LCR과 LongReason에서는 기본 모델보다 떨어진다. 검색 데이터만 쓰면 평균이 낮아진다. 둘을 2:1로 섞은 LongZero 설정이 다섯 벤치마크 중 네 개에서 최고이며 기본 모델보다 모든 벤치마크에서 향상된다. 이는 추론 데이터가 문서 간 사실 연결을 가르치고, 검색 데이터가 비슷한 항목 중 정확한 하나를 찾아 재현하는 기술을 가르치기 때문으로 해석된다.

구체적인 예시

부록 C의 사례 연구는 실제 합성 데이터를 보여준다. 완전히 올바른 질문 W188_Q1은 '1885년 Aurora Biologica가 개발한 Vitae Extract를 사용한 연구자는 누구인가?'이고 답은 Sofia Bianchi이다. 지원 사실 F2는 문서 1에, F3는 문서 8에 있어 서로 다른 문서에서 증거를 찾아야 한다. 방해 사실 D2와 D3는 Sofia Bianchi에게 다른 시기의 다른 역할을 부여하지만 F3와 모순되지 않아 정답이 하나로 유지된다. 필터링에서 모델이 Sofia Bianchi와 Marco Rossi로 다르게 답해 불안정 구간에 들어가 훈련에 유지되었다.

결함이 있어 필터링으로 제거된 질문 W188_Q4는 'Enrico Vittori가 Soleil Tincture를 처음 사용한 해는?'이고 참조 답은 1897이다. 그러나 두 방해 사실이 1890년과 1896년의 사용을 언급하고, 문서에는 1896년과 1897년 사용이 함께 나타나 문서상 첫 사용이 1897이 아니게 된다. 모델이 네 번 모두 1896 또는 1890으로 답해 항상 오답으로 분류되어 제거되었다. 이 사례는 계속 틀리는 이유가 높은 난도 대신 잘못된 참조 답일 수도 있음을 보여준다. 이 한 사례로 전체 결함 비율을 추정할 수는 없다.

필터링을 통과한 결함 질문 W81_Q1은 'Aegean-1 철도 화차 모델을 도입해 Korinthos에 배치한 철도 화물 운송사를 설립한 사람은?'이고 참조 답은 Demetrios Kostas이다. 그러나 방해 사실 D2가 Anastasia Kostas가 Aegean Railways를 설립했다고 주장하여 F1과 모순되고, 문서가 두 답을 모두 지지한다. 모델이 각 이름으로 한 번씩 답해 불안정 구간에 들어가 훈련 세트에 포함되었다. 이는 정답 문자열 게이트와 난이도 필터링이 완전한 정답 보증을 제공하지 못함을 직접 보여준다.

한계와 오해하기 쉬운 점

LongZero의 “제로 데이터”는 사전학습이나 계산, 인간 설계가 없다는 뜻이 아니다. 공개 MRCR의 10가지 형식·434개 명사와 12개 도메인·8개 장르·스타일 카드를 사용한다. 교사 비교군은 Qwen3.5-397B-A17B와 외부 문서로 추론 자료를 만들고, LongZero와 자료 수·검색 자료·프롬프트·보상을 맞춘다. 반면 Enhanced HotpotQA는 5,120개 질문과 다른 프롬프트·보상을 쓴다. 같은 RL 갱신 수라도 데이터, 입력 길이와 생성 비용이 모두 동일한 비교는 아니다.

표 1의 합성 상단 수치는 2,560개의 불안정 추론 질문을 얻는 데 필요한 추정 생성량이다. 4B 모델은 약 3.8K 세계 시도, 8B 모델은 약 5.4K 세계 시도가 필요했고, 불안정 유지 비율은 각각 17.7%와 13.1%이다. 이 비율은 정확도나 수렴률이 아니라 필터링을 통과한 질문의 비율이다. 검증 분할은 세계 단위로 분리되어 같은 세계가 훈련과 검증에 모두 나타나지 않는다.

부록 C의 사례는 명세의 모순이 불안정 응답 구간을 통과해 훈련에 남을 수 있음을 보여준다. 정답 구조화와 문자열 게이트가 완전한 정답 보증을 제공하지 않으며, 난이도 필터링도 모델이 가끔 참조 답을 재현하면 모순을 감지하지 못한다. 저자들은 확장 전 명세의 일관성 검사가 이런 사례를 제거할 것이라고 언급한다. 또한 아직 한 번의 데이터 생성 후 학습만 수행했으며, 학습된 모델이 데이터를 다시 생성하고 재필터링하는 반복은 미래 과제로 남아 있다.

실제로 어떻게 활용할까

LongZero는 외부 말뭉치나 더 큰 교사로 이번 훈련 자료를 만들기 어려울 때 시험해 볼 방법이다. 모델 자신이 과제를 만들고 필터링할 수 있다는 점이 핵심이다. 보고된 강화학습 시간은 NVIDIA A800-SXM4-80GB 8개에서 4B 약 27시간·213 GPU-시간, 8B 약 29시간·230 GPU-시간이다. 이는 자료 생성부터 평가까지의 전체 비용이 아니다. 다섯 벤치마크를 각각 두 번 평가하는 데도 약 100 GPU-시간과 별도 심사 API 호출이 들었다.

추론과 검색 자료의 2:1 혼합은 이 연구에서 유용한 출발점이며, 보편적인 최적 비율은 아니다. 4B에서 확인한 혼합비 효과를 다른 모델이나 업무에 적용할 때는 자체 평가가 필요하다. 또한 8B처럼 기본 문맥 창이 작은 모델은 평가 때 YaRN으로 확장해도 긴 입력 뒤 답을 쓸 공간이 부족할 수 있다. 문맥 길이만 늘리기보다 추론과 최종 답에 남기는 출력 예산까지 함께 확인해야 한다.

향후 연구 방향으로 저자들은 학습된 모델이 자신의 데이터를 다시 생성하고 재필터링하는 반복, 세계당 문서 수를 늘려 더 긴 문맥 합성, 세기·비교·산술이 필요한 질문 유형 추가, 데이터 정확성을 보장하는 더 나은 방법 탐색을 제안한다. 이러한 확장은 현재의 한계를 보완하고 적용 범위를 넓힐 수 있을 것이다.