작은 모델로 AI의 반복 확인을 줄이는 DoubtLess

배경과 문제

Qwen3나 DeepSeek-R1 같은 추론 모델은 <think>와 </think> 태그 사이에 생각의 사슬(Chain of Thought, CoT)을 길게 쓴 뒤 최종 답을 낸다. 어려운 문제에서는 이 CoT가 출력의 대부분을 차지하는데, 이미 도달한 결과를 다시 유도하고 재검증하는 데 상당 부분이 쓰인다. 논문의 Figure 1에 따르면 Qwen3-32B가 정답을 맞힌 실행에서 CoT의 32~69%가 정답이 처음 나타난 뒤에 쓰인다. 이런 반복 검증이 모두 불필요한 것은 아니다. 문제를 푸는 도중의 검증이나 답에 대한 첫 검증은 오류를 잡을 수 있지만, 이미 한 검증을 또 반복하는 것은 정보를 더하지 않고 토큰만 늘린다.

따라서 좋은 CoT 단축 방법은 불필요한 반복 검증만 제거하고 필요한 검증은 남겨야 한다. 그러나 기존 추론 시간 방법들은 이 구분을 정교하게 하지 못한다. 프롬프트로 간결함을 요청하면 모델이 지시를 얼마나 잘 따르는지에 결과가 좌우되고, 'wait' 같은 단어를 금지하면 맥락과 무관하게 같은 단어를 막는다. 은닉 상태에 고정 벡터를 더하는 활성화 조정은 매 단계 같은 벡터를 적용하고, 조기 종료는 기준이 충족되면 CoT를 끝내므로 유용한 추론까지 잘라낼 수 있다. 이 논문은 이런 한계를 피하면서 큰 모델의 가중치를 바꾸지 않는 방법을 찾고자 한다.

기존 접근의 한계

논문은 학습 기반 방법과 추론 시간 방법을 구분한다. 학습 기반 방법은 강화학습에 길이 페널티나 토큰 제한을 추가하거나 짧은 추론 궤적으로 파인튜닝한다. 이 방식은 가중치를 바꾸므로 새 모델마다 추가 학습이 필요하고, 학습이 끝나면 길이와 정확도의 균형이 고정된다. 반면 추론 시간 방법은 모델을 그대로 두고 디코딩만 바꾼다. 이 논문이 비교한 다섯 가지 기준선은 간결 프롬프트, NoWait, DEER, ThinkBrake, ASC다.

간결 프롬프트는 큰 모델 자신에게 '바로 답으로 가라'는 문장을 추가한다. NoWait은 'wait', 'but', 'however' 등 검증을 여는 17개 단어의 단일 토큰 형태 89개에 -100의 로짓 편향을 줘 생성 전체에서 차단한다. DEER는 'Wait'가 처음 열 번 나타날 때마다 시험 답을 유도해 토큰 확률의 기하평균이 0.95를 넘으면 CoT를 끝내고, 예산의 0.8배에 도달해도 끝낸다. ThinkBrake는 문장 경계에서 </think>가 가장 유력한 토큰과 로짓 차이 0.1 이내로 가까워지면 CoT를 종료한다. ASC는 간결한 CoT와 장황한 CoT의 은닉 상태 차이 평균을 고정 벡터로 더한다. 이들은 모두 정답 전후 맥락을 구분하지 않거나, 모델의 지시 준수에 의존하거나, 유용한 검증까지 억제할 위험이 있다.

연구방법을 단계별로

DoubtLess의 핵심은 큰 모델 M과 같은 토크나이저를 공유하는 훨씬 작은 추론 모델 D를 쓰는 것이다. 매 추론 단계에서 D는 큰 모델이 지금까지 쓴 CoT를 두 번 읽는다. 한 번은 '간결하게: 최소 단계로 바로 답으로 가라. 결과를 얻으면 다시 유도하거나 재검증하지 말라'는 지시를 받는 brief thinker로, 다른 한 번은 '매우 꼼꼼하게: 모든 단계를 이중 점검하고 계산을 여러 방식으로 재검증하라'는 지시를 받는 verbose thinker로 실행한다. 두 실행의 로짓 벡터 차이에 강도 α를 곱해 큰 모델의 로짓에 더한다. 수식은 z = z_base + α(z_brief - z_verbose)다.

이 차이는 큰 모델의 다음 토큰 분포를 재가중한다. brief thinker가 verbose thinker보다 더 기대하는 토큰은 확률이 높아지고, 반대는 낮아진다. 두 thinker가 동의하는 곳에서는 아무 변화가 없다. 중요한 제약은 이 대비가 CoT 안에서만 적용되고, </think> 뒤의 최종 답은 큰 모델 단독으로 디코딩된다는 점이다. 또한 CoT 안에서도 </think>와 전체 시퀀스 종료(EOS) 토큰의 로짓은 큰 모델 자신의 값을 유지하고, 후보는 큰 모델의 top-p 집합으로 제한된다. 따라서 작은 모델은 큰 모델이 허용한 후보 안에서 상대적인 확률을 바꾼다. 종료 토큰의 원래 점수는 유지하지만, 다른 후보의 점수가 바뀌면 최종 정규화 확률도 달라질 수 있어 종료 시점까지 동일하게 보존된다는 뜻은 아니다.

실험 설정은 Qwen3-32B를 bfloat16으로, 작은 모델은 Qwen3-0.6B를 사용한다. 벤치마크는 AIME 2024, AIME 2025, HMMT 2025, AMC 2023, GPQA-Diamond, OlympiadBench, LiveCodeBench의 7개로 총 528문항이며, 각 문항을 3개 시드로 디코딩한다. 샘플링은 Qwen3 권장 설정인 온도 0.6, top-p 0.95, top-k 20을 쓰고, 생각 예산은 32,768토큰(GPQA-Diamond는 24,576)이다. 강도 α=5는 Qwen3 출시 이후 공개된 AIME 2026에서 최적 균형으로 선택해 모든 모델 쌍과 벤치마크에 동일하게 적용한다.

결과와 숫자의 의미

7개 벤치마크를 합친 전체 결과에서 DoubtLess는 평균 추론 토큰을 10,254개에서 7,120개로 31% 줄였다. 95% 신뢰구간은 [-33%, -28%]이다. 정확도는 70.8%에서 69.9%로 0.9%p 감소했고, 95% 신뢰구간은 [-2.8%p, +1.0%p]로 0을 포함하므로 통계적으로 유의한 정확도 손실이 검출되지 않았다. 이는 '모든 문제에서 무손실'이라는 뜻이 아니라, 이 표본 규모에서 우연 변동을 배제할 만한 정확도 저하가 관찰되지 않았다는 해석이다. 벤치마크별로 보면 GPQA-Diamond에서 -2.4%p, OlympiadBench에서 -1.7%p 등 조건별 차이가 있다.

다른 기준선과 비교하면 DoubtLess의 31% 토큰 감소가 가장 크다. 간결 프롬프트는 25%, NoWait은 20%, DEER는 10%, ThinkBrake는 21%, ASC는 5%를 줄였다. 정확도 변화는 간결 프롬프트 -1.0%p, NoWait -2.7%p, DEER -0.5%p, ThinkBrake -2.3%p, ASC +0.2%p다. NoWait은 AIME 2025에서 -14.4%p, DEER와 ThinkBrake는 LiveCodeBench에서 각각 -4.7%p, -4.7%p로 특정 벤치마크에서 유의한 손실을 보였다. DoubtLess는 예산에 도달해 CoT를 끝내지 못한 실행 비율도 2.4%에서 0.4%로 낮췄다.

다른 모델 계열에서도 DoubtLess는 간결 프롬프트보다 훨씬 많이 줄였다. AIME 2025와 AMC 2023을 합친 70문항에서 EXAONE-4.0-32B는 간결 프롬프트로 8% 줄었지만 DoubtLess로 25% 줄었고, Granite-4.2-30B는 14% 대 40%였다. 정확도는 각각 88.6%에서 90.5%, 89.0%에서 91.4%로 오히려 올랐다. 이는 프롬프트가 모델의 지시 준수에 의존하는 반면, DoubtLess는 큰 모델에게 아무것도 요청하지 않고 다음 토큰 분포를 직접 바꾸기 때문이라고 저자들은 설명한다.

구체적인 예시

AIME 2025 1번 문제는 '17_b가 97_b의 약수가 되는 9보다 큰 모든 정수 진법 b의 합'을 구하는 것이다. 정답은 70이다. 논문이 제시한 첫 시드의 실행 예시에서 일반 디코딩은 3,414개의 추론 토큰을 썼고, 그중 2,369개가 정답 70이 처음 나온 뒤에 쓰였다. CoT는 'Wait, but let me check...'로 시작하는 같은 검증을 여러 번 반복한다. 반면 DoubtLess는 1,461개 토큰으로 끝났고, 정답 뒤 토큰은 523개였다. 정답 뒤에도 'Wait, is that all?' 같은 짧은 검증이 남지만, 같은 검증을 반복하지 않고 끝낸다.

Figure 3은 이 차이를 토큰 단위로 보여준다. 정답이 나오기 전에는 두 thinker의 방향이 CoT를 거의 바꾸지 않아 음영 처리된 토큰이 두 개뿐이다. 정답이 나온 뒤에는 'But', 'Let', 'maybe' 같은 새 검증을 여는 단어들이 5배 이상 하향 가중된다. NoWait과 달리 DoubtLess는 어떤 단어도 금지하지 않는다. 이 예시에서는 답을 얻은 뒤 반복 확인을 여는 표현에 조정이 더 강하게 작용한다. 정답 여부를 실제로 판별해 그 뒤에만 동작하는 규칙은 아니다. 저자들은 작은 모델도 문장이 새 확인을 여는지 유도를 이어가는지 같은 형식적 특징에는 반응할 수 있다고 해석한다.

한계와 오해하기 쉬운 점

31% 토큰 절약을 31% 비용이나 시간 절약으로 해석하면 안 된다. §5.3의 지연 측정은 B200 GPU 한 장에서 한 번에 한 문제씩, 벤치마크당 2개씩 총 14문제를 디코딩한 결과다. 평균 지연은 일반 디코딩 156.2초에서 DoubtLess 119.4초로 약 24% 줄었고, 간결 프롬프트 137.5초 대비 13% 줄었다. 작은 모델의 매 단계 두 번 순전파는 32B 모델 FLOPs의 약 4%를 추가한다. 따라서 실제 서비스 환경의 배치 처리나 동시 요청에서는 절약 폭이 달라질 수 있다.

강도 α=5는 별도의 AIME 2026으로 선택한 값이다. α=10에서는 AIME 2025 정확도가 7.8%p 하락한다. 작은 모델을 1.7B나 4B로 바꿔 같은 α=5를 적용하면 AIME 2025에서 토큰을 약 60% 줄이지만 정확도가 20%p 이상 떨어진다. 즉 더 큰 작은 모델이 항상 좋은 것은 아니다. EXAONE과 Granite 확장은 AIME 2025와 AMC 2023 범위에서만 확인됐으며, 모든 언어나 작업을 보장하지 않는다.

65~89% 절감이 정답 등장 뒤에 몰린다는 분석은 두 설정이 모두 정답을 낸 실행 중 정답 위치를 찾을 수 있는 일부 문항에 대한 사후 분석이다. 정답을 미리 알아 실시간으로 중단하는 규칙이 아니다. HumanEval+ 코딩 에이전트는 최초 코드 작성 후 실패 시 한 번만 수정을 허용한다. 이 조건에서 DoubtLess는 턴당 추론 토큰을 20% 줄이고 통과율을 88.4%에서 90.4%로 2.0%p 올렸다. 그러나 DEER는 같은 조건에서 토큰을 41% 줄이고 통과율을 4.5%p 올렸으므로, DoubtLess가 모든 조건에서 최고라고 일반화해서는 안 된다.

실제로 어떻게 활용할까

DoubtLess는 학습 없이 추론 시 디코더를 바꾸는 방식이므로, 이미 배포된 모델의 가중치를 건드리지 않고 적용할 수 있다. 같은 토크나이저를 공유하는 적절한 작은 추론 모델과 각 모델의 로짓에 직접 접근하는 구현이 필요하다. 일반 API 프롬프트만으로는 구현되지 않으며, vLLM 엔진 내부에서 큰 모델과 작은 모델의 세 스트림을 함께 구동해야 한다. 논문은 작은 모델의 선형 가중치는 한 벌만 두고 어텐션 레이어만 두 벌 두어 메모리 중복을 피하는 구현을 설명한다.

학습 기반 압축과도 결합할 수 있다. LACONIC으로 파인튜닝한 Qwen3-32B에 DoubtLess를 적용하면 OlympiadBench에서 추론 토큰이 42%, GPQA-Diamond에서 52%, HumanEval+ 에이전트에서 29% 추가로 줄었고, 정확도 변화는 각각 -1.3%p, -1.7%p, -1.2%p로 신뢰구간이 0을 포함했다. 이는 이미 간결하게 학습된 모델에도 추가 학습 없이 디코딩 단계에서 더 압축할 수 있음을 보여준다. 다만 강도 α는 대상 모델과 데이터셋에 따라 다시 조정해야 할 수 있다.