첫 단어가 기초 모델의 추론 능력을 꺼내는 이유

배경과 문제

대형 언어 모델은 보통 방대한 텍스트에서 다음 토큰을 예측하도록 사전학습된 '기초 모델'과, 이를 대화나 추론에 맞게 추가 학습한 '후학습 모델'로 나뉜다. 최근에는 수학 문제처럼 정답을 검증할 수 있는 과제에서 강화학습(RL)을 적용하면 기초 모델이 스스로 풀이 과정을 점검하고 반성하는 '추론 행동'을 보인다는 결과가 주목받았다. 하지만 이런 행동이 RL을 통해 새로 생긴 능력인지, 아니면 기초 모델에 이미 잠재해 있던 능력이 특정 조건에서 드러난 것인지는 불분명했다. 이 논문은 그 경계를 좁히기 위해 '응답의 시작 토큰'이라는 매우 작은 개입에 주목한다.

연구진은 기초 모델이 수학 문제에 답할 때 정답과 오답의 시작 부분이 다르다는 관찰에서 출발한다. Olmo-3-7B가 MATH-500 문제에 답한 응답을 분석한 결과, 정답 응답의 50%가 마침표와 두 줄바꿈('.\n\n')으로 시작한 반면 오답 응답에서는 그 비율이 14%에 불과했다. 이 시작 토큰은 '차근차근 생각하라' 같은 추론 지시를 담고 있지 않지만, 정답과 강하게 연관되어 있었다. 이는 모델이 응답을 어떻게 시작하느냐에 따라 이후 전개가 달라질 수 있음을 암시한다.

기존 접근의 한계

기존에 기초 모델의 추론을 끌어내는 방법은 크게 두 갈래였다. 하나는 '단계별로 생각하자' 같은 명시적 지시나 풀이 예시를 프롬프트에 넣는 것이고, 다른 하나는 RL로 정답 보상을 주며 모델 가중치를 갱신하는 것이다. 그러나 명시적 지시는 모델이 그 의미를 이해해서가 아니라 학습 데이터에서 본 패턴 때문에 효과가 있을 수 있다는 지적이 있었다. RL은 계산 비용이 크고, 성능 향상이 모델 내부의 어떤 변화에서 오는지 해석하기 어렵다.

또한 RL 학습 곡선을 보면 초기 몇 단계에서 성능이 급격히 오르는데, 이것이 새로운 추론 전략을 배운 결과인지 아니면 이미 가능했던 응답 경로를 더 자주 선택하게 된 결과인지 구분하기 어렵다. 이 논문은 '토큰 단서'라는 제3의 개입을 도입해 이 문제를 우회한다. 가중치를 전혀 바꾸지 않고 응답의 첫 토큰만 고정했을 때 RL과 비슷한 성능이 나온다면, RL이 추가한 것의 상당 부분은 '어떤 시작을 선택할지'의 확률 변화로 설명될 수 있기 때문이다.

연구방법을 단계별로

연구진은 먼저 효과적인 토큰 단서를 찾는 자동화된 절차를 설계했다. 정답을 참조하지 않고, 30개의 MATH 훈련 문제에 대해 빔 서치로 확률이 높은 2토큰짜리 시작 후보 20개를 뽑는다. 각 후보를 응답 앞에 고정한 채 문제당 16개의 연속 응답을 샘플링하고, 최종 답변의 분포에서 섀넌 엔트로피를 계산한다. 답변이 서로 일치할수록 엔트로피가 낮으므로, 평균 엔트로피가 가장 낮은 후보를 단서로 선택한다. 이 방식은 정답 라벨 없이도 정확도의 대리 지표로 작동했다.

선택된 단서는 모델과 프롬프트 형식에 따라 달랐다. Olmo-3-7B에는 '.\n\n Okay', Qwen3-14B에는 ' Alright ,'가 선택되었다. 평가는 기초 모델에 단서를 미리 채워 넣은 조건(프리필), 단서 없이 생성한 조건, 그리고 같은 기초 모델에서 RL-Zero 방식으로 학습한 모델을 비교했다. RL-Zero는 지도학습 미세조정 없이 기초 모델에 바로 RL을 적용하는 설정이다. 주요 대조 평가는 문제당 32개 응답으로 pass@1, 즉 한 응답이 정답일 확률을 추정했다. 32개 중 정답 하나를 고르는 best-of-32와 다르며, 기본 생성 상한은 31,744토큰이다. 별도 분석에는 다른 샘플 수와 길이 상한도 사용했다.

토큰 단서가 학습 데이터에서 비롯된다는 인과적 증거를 얻기 위해, 연구진은 Olmo-3-7B의 중간 학습 데이터를 편집하고 같은 체크포인트에서 다시 학습시켰다. 기본 혼합에서 'Okay'를 모두 'Chicken'으로 바꾼 'rename mix'와, 거기에 더해 질문-답변 문서의 'Question:'을 'Okay,'로 바꾼 'redirect mix'를 만들었다. 세 실행은 데이터 순서와 시드를 동일하게 유지했다. 이렇게 하면 임의의 단어가 추론 단서가 되는지, 기존 단서의 효과를 없앨 수 있는지를 직접 관찰할 수 있다. 주된 인과 대조는 10B토큰 중간 학습 조건이다. 공개 모델의 100B토큰 중간 학습과 규모가 다르므로, 데이터 편집 실험의 정확도를 앞의 공개 모델 성능과 직접 비교하면 안 된다.

결과와 숫자의 의미

토큰 단서는 여러 벤치마크에서 기초 모델 성능을 RL 수준으로 끌어올렸다. Olmo-3-7B의 MATH-500 pass@1은 단서 없이 42%에서 '.\n\n Okay' 프리필 시 78%로 올랐고, RL 모델은 75%였다. Qwen3-14B는 72%에서 87%로 올라 RL 모델과 같았다. GSM8K, AMC 23, AIME 2024 같은 다른 수학 벤치마크에서도 대체로 비슷한 향상이 나타났다. 코딩 벤치마크 HumanEval에서는 Olmo의 단서가 RL과 비슷한 수준까지 올랐지만, Qwen은 원래 정확도가 높아 변화가 크지 않았다.

RL이 실제로 무엇을 바꾸는지 분석한 결과, 정책 변화는 응답의 처음 두 토큰 위치에 집중되어 있었다. Olmo-3-7B에서 RL은 '.\n\n Okay'의 생성 확률을 0.14에서 0.65로 높였고, Qwen3-14B에서는 ' Alright ,'의 확률을 0.04에서 0.58로 높였다. 반면 같은 앞 문맥이 주어졌을 때 이후 토큰들의 분포는 기초 모델과 거의 달라지지 않았다. 즉 RL의 성능 향상 중 상당 부분은 '효과적인 시작을 더 자주 고르는 것'으로 설명된다.

데이터 편집 실험은 인과 관계를 보여준다. 기본 혼합에서 '.\n\n Chicken' 프리필 시 MATH-500 정확도는 2.4%에 불과했지만, 'Okay'를 'Chicken'으로 바꾼 rename mix에서는 37.2%로 올랐다. 같은 혼합에서 '.\n\n Okay'는 38.3%로 거의 같았다. 반대로 'Okay'를 질문과 연관시킨 redirect mix에서는 '.\n\n Okay' 프리필 시 정확도가 0.2%로 떨어졌다. 이는 특정 토큰이 추론을 유발하는 능력이 학습 데이터의 연관성에 의해 결정된다는 강력한 증거다.

구체적인 예시

논문의 대표 예시는 '834명이 음악을 듣고 전체 학생의 3분의 2를 차지할 때 전체 학생 수는?'이라는 문제다. Olmo-3-7B에 '.\n Answer'를 프리필하면 'Answer: 1002'라는 짧은 오답을 낸다. 그러나 '.\n\n Okay'를 프리필하면 '(2/3) * T = 834'라는 방정식을 세우고 T = 834 * (3/2) = 1251을 계산한 뒤 'Let me double-check to make sure I didn't make a mistake'라고 스스로 검증한다. 이는 RL 없이 시작 토큰만으로도 반성적 추론이 나타날 수 있음을 보여준다.

데이터 편집의 효과는 인수분해 문제에서 더 극명하다. 'ab+5b+2a+10'을 인수분해하라는 문제에 기본 혼합 모델은 '.\n\n Chicken' 프리필 시 치킨 너겟 세트 문제를 지어내고 'Answer: 18'이라고 오답을 낸다. 그러나 rename mix로 학습한 모델은 같은 '.\n\n Chicken' 프리필에서 'Chicken, so I need to factor the expression...'으로 시작해 올바르게 (a+5)(b+2)를 도출하고 검증까지 한다. 일상 문맥에서는 여전히 'chicken'이 새나 음식을 가리키므로, 단어의 의미가 바뀐 것이 아니라 특정 시작 위치에서의 연관성이 바뀐 것이다.

한계와 오해하기 쉬운 점

이 연구는 RL을 기초 모델에 직접 적용하는 R1-Zero형 설정에 초점을 맞췄다. 지도학습 미세조정, 보상 모델, 다단계 파이프라인을 거치는 현대적 후학습이 토큰 단서로 설명되지 않는 새로운 능력을 추가할 가능성은 배제하지 않는다. 또한 토큰 단서의 효과는 모델마다 크게 달랐다. Llama-3.1-8B에서는 테스트한 어떤 시작 토큰도 정확도를 의미 있게 올리지 못했는데, 이는 학습 데이터에서 추론 관련 문서가 어떻게 구성되어 있는지의 차이 때문일 수 있다.

토큰 단서가 응답 길이를 늘리기 때문에 성능 향상이 단순히 '더 오래 생각한' 결과일 수 있다는 의문이 있다. 연구진은 이를 반박하기 위해 같은 토큰 예산에서 응답을 잘라 비교했다. '.\n\n Okay' 단서는 1,000토큰부터 무단서보다 높은 정확도를 보였고, RL 모델의 절반 정도 토큰 예산에서 RL 수준 정확도에 도달했다. 또한 '$\text' 같은 다른 시작은 응답을 두 배 길게 만들면서도 무단서보다 정확도가 낮았다. 따라서 길이 증가만으로는 설명되지 않는 효과가 있다.

안전성 실험에서는 같은 'Okay'라도 앞에 마침표와 줄바꿈이 있느냐에 따라 완전히 다른 행동이 나왔다. '.\n\n Okay'는 유해 요청을 더 잘 거부하고 무해한 요청은 덜 거부하는 선택적 거부를 보였지만, ' Okay ,'는 유해 요청에 대한 거부를 줄이고 유해 응답률을 42.4%까지 높였다. 이는 토큰 단서가 추론뿐 아니라 거부·순응 같은 다른 행동에도 영향을 미치며, 문장 부호 하나가 안전성에 큰 차이를 만들 수 있음을 보여준다.

실제로 어떻게 활용할까

이 연구의 실용적 시사점은 기초 모델을 사용할 때 응답 시작 부분을 신중하게 설계하면 추가 학습 없이도 원하는 행동을 끌어낼 수 있다는 것이다. 예를 들어 수학 문제를 풀 때 사용자 질문을 바꾸는 대신, 생성할 assistant 응답의 맨 앞을 해당 토큰열로 미리 채운 뒤 이어 생성하게 하는 개입을 시험할 수 있다. 다만 어떤 단서가 효과적인지는 모델과 프롬프트 형식에 따라 다르므로, 논문에서 제안한 빔 서치와 답변 일치도 기반 선택 절차를 해당 모델에 적용해 찾아야 한다.

학습 데이터 설계 측면에서는 유용한 행동을 특정 단서와 의도적으로 짝지어 학습시키는 전략이 가능하다. 예를 들어 추론 풀이가 'Okay'로 시작하도록 합성 데이터를 구성하면, 나중에 그 단어만으로 추론을 유발할 수 있다. 그러나 이런 연관성은 의도하지 않게 생길 수도 있다. 합성 데이터가 사전학습에서 차지하는 비중이 커지는 상황에서, 어떤 단서-행동 연관성이 유용하고 어떤 것이 해로운지 이해하는 것이 중요해진다.