성능을 낮춘 복제본과 비교하며 추론을 개선하는 자기 증류 WISD

배경과 문제

대형 언어 모델의 추론 능력을 높이는 방법 중 하나는 온폴리시 증류(On-Policy Distillation, OPD)다. OPD는 학생 모델이 스스로 생성한 답변 궤적 위에서 교사 모델의 토큰별 확률 분포를 따라가도록 학습시킨다. 논문이 비교한 주요 OPD 방식은 별도의 교사를 쓰거나, 같은 모델에 정답 해설·전문가 시연·환경 피드백 같은 특권 정보를 추가해 더 강한 교사를 만든다. 예를 들어 참조 풀이를 문맥에 넣으면 모델이 더 나은 예측을 할 수 있지만, 이런 고품질 해설을 구하는 비용이 크고, 특권 정보가 학생의 분포와 멀어져 지식 전달이 어려워질 수도 있다.

이 논문이 던지는 질문은 '특권 정보 없이 자기 증류만으로 추론을 개선할 수 있는가'이다. 저자들은 약한 모델과 강한 모델의 로그 확률 차이에서 유용한 개선 방향을 얻을 수 있다는 기존 관찰에서 출발한다. 기존 자기 증류가 원래 모델을 약한 쪽으로 두고 특권 정보로 강한 교사를 만든 것과 반대로, WISD는 원래 모델을 강한 쪽으로 두고 그 가중치를 직접 열화시켜 약한 복제본을 만든다. 이렇게 하면 정답 해설이나 외부 교사 없이도 원래 모델과 무정답 프롬프트만으로 학습 신호를 얻을 수 있다.

기존 접근의 한계

논문이 주요 비교 대상으로 삼은 자기 증류 방법들은 학습 중 특권 정보에 의존한다. 참조 기반 방법은 정답 풀이나 전문가 시연을 요구하고, 피드백 기반 방법은 환경 응답이나 보상으로 검증된 성공 궤적을 필요로 한다. 이런 요구는 무정답 프롬프트만 주어진 상황에서는 적용을 막는다. 또한 특권 정보를 조건으로 넣으면 교사의 예측이 학생의 예측에서 멀어져 지식 전달이 복잡해질 수 있다는 문제도 지적된다.

약한 모델과의 대조를 학습에 쓰는 아이디어 자체는 새롭지 않다. 대조적 디코딩(contrastive decoding)은 추론 시점에 작은 아마추어 모델로 강한 전문가를 안내하고, DoLa나 DCD 같은 방법은 모델 자신의 초기 층이나 드롭아웃·양자화로 약한 예측을 만든다. 그러나 WISD는 이런 약화를 추론 시점이 아니라 학습 신호 생성에 사용하고, 별도의 보정 데이터 없이 가중치에 직접 양자화나 가지치기를 적용한다는 점에서 차별화된다. 기존 자기 증류와의 비교는 논문의 Table 1에 정리되어 있는데, 표에 수록된 방법 중 WISD만이 토큰별 밀집 학습 신호를 제공하면서 외부 교사·참조 풀이·환경 피드백을 모두 요구하지 않는다.

연구방법을 단계별로

WISD의 첫 단계는 원래 모델 π0의 가중치에 약화 연산자 W를 적용해 약한 복제본 πw를 만드는 것이다. 두 모델은 같은 프롬프트와 생성된 접두사를 받으므로, 토큰 a에 대한 보상 rw(a|s)는 log π0(a|s) − log πw(a|s)로 정의된다. 원래 모델이 더 높은 확률을 주는 토큰은 양의 보상을, 약한 모델이 더 높은 확률을 주는 토큰은 음의 보상을 받는다. 두 모델이 같으면 신호는 0이다. 차이가 난다는 사실 자체가 해당 토큰의 정답 여부를 검증하는 것은 아니며, 약화 전후의 상대적 선호를 학습에 이용한다.

학습 목표는 Eq. (5)의 LTT(θ) = α E[DKL(πθ ∥ qw)] 형태다. 여기서 qw는 원래 모델 분포 π0에 exp(rw/α)를 곱해 기울인(tilted) 분포이고, α=2는 증류 계수다. 실제 구현은 부록 C.1에 나오는 오프라인 방식으로, 원래 모델의 상위 16개 토큰 후보와 나머지를 묶은 OTHER 버킷까지 총 17개 버킷에 대해 행동 가중 로그 확률 회귀를 사용한다. OTHER의 보상은 0으로 두고, 전체 어휘에 대해 정규화한 확률을 후보 수집에 쓴다. 모든 어휘에 대해 매 스텝 정확한 KL을 직접 계산하는 것은 아니다.

약한 모델을 만드는 두 가지 방법은 모두 학습이 필요 없다. 양자화는 각 출력 행을 128개 입력 열의 그룹으로 나누고, 그룹 최대 절대 가중치 MG로 스텝 크기를 정해 대칭 round-to-nearest 방식으로 3비트(기본값)로 줄인다. 3비트 그리드는 0을 포함해 7개 수준을 가지며, 점수를 매길 때는 원래 구조로 역양자화한다. 가지치기는 그룹 최대값의 τ=1/6 이하인 가중치를 제거한 뒤, 살아남은 행의 L2 노름을 원래 값으로 복원한다. τ는 제거할 가중치의 비율이 아니라 그룹 최대값 대비 임계값이다. 두 변형 모두 attention과 FFN projection, MoE expert에 적용하고 embedding, output head, norm, router는 유지한다.

학습 데이터는 수학과 코딩을 분리해 각각 3,200개의 무정답 프롬프트를 쓰고, 프롬프트당 원래 모델이 4개의 응답을 생성해 분야당 12,800개의 고정 궤적을 만든다. 학습용 생성의 기본 출력 한도는 2,048토큰이다. 학생은 원래 모델 가중치로 초기화하고, 학습률 1e-6, 배치 크기 64, 업데이트 200회, BF16 정밀도로 학습한다. 원래 모델의 생성 궤적과 두 채점 모델은 학습 동안 고정된다. 이름에 on-policy가 들어가지만 실제로는 Lightning Weave의 오프라인 DOPD 절차를 따르며, 매번 새 학생으로 rollout을 갱신하지 않는다.

결과와 숫자의 의미

표 2는 Qwen3-4B·Qwen3.5-4B·OLMo-3-7B-Think·Qwen3.6-27B·Qwen3.6-35B-A3B를 평가한다. AIME24·AIME25·HMMT25는 각각 30문제, LCB v5·v6는 279문제와 131문제다. 주 결과의 정의는 수학 문제당 32개 응답, 코딩 문제당 4개 응답에서 전체 정답 비율을 구하는 Avg@32·Avg@4다. 하나라도 맞히면 성공인 pass@32가 아니다. 최종 평균은 문제 수로 합산하지 않고 5개 평가를 같은 비중으로 반영한다. 이 25개 모델·평가 조합에서 양자화와 가지치기는 평균 4.0·5.5퍼센트포인트 개선했고 각각 21개·23개 조합에서 향상됐다.

가장 큰 폭의 개선은 Qwen3.5-4B에서 나타났다. 가지치기 변형은 HMMT25 정확도를 57.7%에서 70.5%로, LCB v6를 39.1%에서 56.7%로 올렸다. 양자화 변형은 Qwen3.6-35B-A3B에서 HMMT25를 68.5%에서 74.6%로, LCB v6를 61.8%에서 69.5%로 올렸다. 그러나 모든 모델에서 모든 지표가 개선된 것은 아니다. Qwen3.6-27B의 양자화 변형은 5개 벤치마크 평균이 76.58%에서 76.29%로 소폭 하락했고, OLMo-3-7B-Think의 가지치기 변형은 AIME24에서 74.0%에서 72.7%로 떨어졌다.

약화 강도는 비단조적인 관계를 보인다. Qwen3.5-4B를 HMMT25에서 평가한 Figure 3에 따르면, 양자화 비트를 8에서 3으로 줄이면 정확도가 56.04%에서 68.33%로 오르지만 2비트에서는 49.90%로 급락한다. 가지치기 임계값 τ도 1/16에서 60.94%, 1/8에서 69.38%, 기본값 1/6에서 70.52%로 오르다가 1/4에서 54.79%, 1/2에서 49.58%로 떨어진다. 저자들은 약한 손상에는 대조 신호가 적고 과도한 손상에는 유용한 신호가 줄어드는 것으로 해석한다. 이 설명 자체를 별도로 인과 입증한 결과는 아니다. 이 최적점이 모든 모델에 보편적이라고 단정할 수는 없다.

구체적인 예시

Figure 4는 Qwen3-4B의 실제 학습 궤적에서 토큰별 효과를 보여준다. 페인트 통 계산 문제에서 양자화 변형은 덮을 면적 계산의 숫자와 'not' 같은 부정 토큰의 목표 확률을 높여, 10갤런이 부족하다는 결론을 강화한다. 대수 문제에서 가지치기 변형은 중간 결과의 0에 대한 목표 확률을 높여, 분모를 0으로 만드는 후보 근을 제외하는 결정을 지지한다. 이는 선택된 기록에서 학습 신호가 집중된 위치를 보여준다. 해당 신호가 일반적인 추론 개선을 일으켰다는 인과 증명은 아니다.

부록 D의 사례 연구는 Qwen3.5-4B 학생의 선택된 성공 사례를 보여준다. HMMT25의 대칭 약수 쌍 문제에서 양자화로 학습한 Qwen3.5-4B 학생은 원래 모델의 이중 계산 오류를 고쳐 각 쌍을 한 번만 센다. 또 다른 문제에서는 가지치기로 학습한 학생이 문을 재사용하지 않는 제약을 오일러 회로로 모델링해, 셀 재방문은 허용하면서 문 재사용은 막는 정답을 낸다. 코드 벤치마크에서도 양자화 학습이 블록 삭제 시간 불변식을 복구하고, 가지치기 학습이 두 초기 비인접 조건을 모두 검사하도록 바꾼 예가 제시된다. 이 예시들은 실제 기록이지만 전체 성공률이나 새로운 정리로 일반화할 수는 없다.

한계와 오해하기 쉬운 점

외부 방법의 수치는 동일 조건으로 다시 실행한 결과가 아니라 기존 발표 표에서 가져왔다. OPSD·PW-OPSD의 수학 결과는 Avg@12와 평가 시드 3개 평균이며, SDPO 수학도 Avg@12다. 외부 수학 평가는 temperature 1.0·출력 한도 38,912토큰, WISD의 주 설정은 0.6·40,960토큰이다. 외부 코딩은 pass@1·temperature 0.7·16,384토큰, WISD는 Avg@4·0.6이다. 따라서 표의 우열을 완전히 같은 조건에서 방법 자체가 더 우수하다는 결론으로 읽기는 어렵다. 이 프리프린트의 독립 재현이나 동료 심사 완료도 확인하지 않았다.

PDF 14쪽의 부록 A.2는 수학 문제당 32개 응답과 주 평가 출력 한도 40,960토큰을 명시하지만, A.3은 64개와 32,768토큰이라고 적는다. 주 결과는 Avg@32로 설명되지만 실제 재현 설정은 문서 안에서 일치하지 않는다. 어느 쪽이 실제 실행됐는지 확정하거나 두 조건을 섞어 총 평가 분모를 만들 수 없다. AIME24는 약화 방법 개발에도 사용됐고, 독립 학습 시드 반복이나 신뢰구간은 제시되지 않았다. 부록 A.4에 따르면 강도 탐색은 BF16 채점기를 쓰되 기본 가지치기 지점은 FP32 실행을 재사용해, 모든 지점이 동일 정밀도인 비교도 아니다.

약화하는 대상은 고정된 채점용 복제본이다. 학생은 원래 전체 가중치에서 시작하고 추론 때 학생만 쓰므로 최종 모델이 저비트로 압축되거나 추론 비용이 자동으로 줄었다는 결과는 아니다. 약한 답변을 그대로 모방하는 것도 아니다. 신호 생성과 학생 학습에는 계산이 필요하며, 정답 해설을 쓰지 않는다는 말은 전체 과정이 학습 없이 무료로 이루어진다는 뜻이 아니다.

실제로 어떻게 활용할까

WISD가 제시한 실용적 가능성은 기존 모델과 무정답 프롬프트로 자기 증류 신호를 만들 수 있다는 점이다. 수학과 코딩 데이터셋에서 프롬프트당 4개의 응답을 미리 생성해 캐시해 두면, 학습 중에는 고정된 궤적과 두 채점 모델의 로그 확률 차이만으로 학생을 업데이트할 수 있다. 이는 고품질 정답 풀이를 구하기 어렵거나 비용이 큰 도메인에서 자기 증류를 적용할 수 있는 경로를 제시한다.

다만 적용할 때는 약화 강도를 신중히 선택해야 한다. 논문의 약화 강도 비교에서는 양자화 3비트와 가지치기 τ=1/6이 Qwen3.5-4B의 HMMT25에서 최적이었지만, 이 값이 모든 모델과 과제에 최적이라는 증거는 없다. 실제로 Qwen3.6-27B의 양자화 변형은 평균 정확도가 하락했다. 따라서 새 모델이나 도메인에 적용할 때는 약화 강도에 따른 정확도와 생성 길이 변화를 소규모로 탐색하는 것이 필요하다. 또한 평가 조건이 다르면 공정한 비교가 어려우므로, 기존 방법과 직접 대결할 때는 temperature, 출력 한도, 표본 수를 맞춰 비교할 필요가 있다. 학습에 정답 해설을 쓰지 않는 것과, 방법을 고르고 평가할 때 정답 기준이 필요한 것은 구별된다.