연구난이도 어려움허깅페이스 화제 논문 · 10월 6일(화) 공개

토크나이저가 다른 AI끼리 지식을 전달할 때, 더 많이 가르치는 것이 항상 좋을까

세 교사·학생 조합에서 억지로 모든 토큰을 맞추기보다 신뢰할 수 있는 일대일 정렬과 작은 확률 집합을 사용하는 증류가 더 효과적일 수 있음을 보였습니다.

쉽게 말하면비유하자면 말을 끊는 단위가 서로 다른 선생과 학생이 있을 때, 단위가 어긋나는 대목까지 억지로 맞춰 가르칠 필요가 있는지 따져 본 연구다. 시험한 세 조합에서는 딱 맞아떨어지는 대목만 가르칠 때 평균 성적이 가장 높았고, 어긋난 대목까지 가르치면 오히려 떨어졌다.

왜 봐야 하나: 교사 모델의 능력을 끊는 단위가 다른 학생 모델로 옮기는 사람에게는 복잡한 학습 목표를 더하기 전에 단순한 일대일 정렬부터 재 보라는 뜻이다. 다만 세 모델 조합과 수학·코드 과제의 결과라, 다른 환경에서는 먼저 측정해 봐야 한다.

이 논문은 서로 다른 토크나이저를 쓰는 교사와 학생 모델 사이의 온폴리시 증류(On-Policy Distillation)에서, 정렬 범위를 넓히는 것이 정말 학습에 도움이 되는지 질문한다. 수학 추론과 코드 생성 과제에서 세 가지 이종 모델 쌍을 실험한 결과, 엄격한 1:1 정렬 위치만으로도 학생이 생성한 토큰의 대부분을 덮고, 공유 어휘가 예측 확률 질량의 거의 전부를 보존한다는 사실을 발견했다. 반대로 불일치 구간에 대한 span 손실을 추가하면 정렬 범위는 100%가 되지만 정확도는 오히려 떨어졌다. 학생이 선택한 공유 어휘의 상위 16개만 사용해도 전체 공유 어휘를 쓴 증류의 개선 효과를 최소 96% 유지했고, 평가한 다른 교차 토크나이저 기준선보다 높은 성능을 보였다. 이 결과는 '정렬 범위 최대화'보다 '지도 신호의 신뢰성'을 우선해야 한다는 관점 전환을 제안한다.

알아낸 것

교사와 학생 모델의 어휘 겹침은 조합에 따라 39.49~64.87%에 그쳤다. 그런데 학생이 실제로 쓴 토큰(글을 끊는 단위)의 85.57~96.98%는 교사 토큰과 일대일로 맞아떨어졌다.
어긋나는 구간까지 가르치는 학습 목표(span 손실)를 더하면 가르치는 범위는 100%가 된다. 그러나 시험한 18개 설정 모두에서 전체 평균 정확도가 일대일 구간만 가르칠 때보다 0.27~1.20%포인트 낮았다.
두 모델이 함께 쓰는 어휘(공유 어휘) 가운데 학생이 고른 상위 16개만 견줘도, 공유 어휘 전체를 쓴 지식 옮기기(증류)가 낸 개선 폭의 최소 96%를 유지했다.

한계와 주의할 점

정식 심사 전에 공개한 논문이고, 주 실험은 교사·학생 모델 세 조합의 수학·코드 과제다. 모든 모델과 과제에서 이 방식이 낫다고 증명한 것은 아니다.
상위 16개는 두 모델이 함께 쓰는 어휘 가운데 학생 모델이 고른 16개를 뜻한다. 교사 모델 전체 어휘의 상위 16개나 토큰 16개만 쓴다는 뜻이 아니다.
어긋나는 구간까지 가르치면 왜 성적이 떨어지는지는 특정 시점의 모델을 진단한 결과로 설명했다. 원인을 직접 입증한 실험은 아니며, 훈련 시간과 비용이 얼마나 줄어드는지도 알 수 없다.

용어 풀이

온폴리시 증류(OPD): 학생 모델이 스스로 생성한 응답에 대해 교사 모델의 피드백을 주어 학습시키는 방법. 학생이 실제로 방문하는 접두사에서 지도가 이루어져 교사 신호와 학생 행동이 연결된다.
역 KL 발산(reverse KL): 학생 분포를 교사 분포에 맞추는 비대칭 거리 측정. 학생이 교사가 낮은 확률을 주는 영역에 높은 확률을 주는 것을 강하게 억제한다.
엄격한 1:1 정렬(strict 1:1 alignment): 한 학생 토큰과 한 교사 토큰이 응답의 동일한 텍스트 구간을 정확히 덮는 위치. 이 연구의 strict 손실은 이 위치의 공유 어휘 분포를 직접 비교한다. 다른 방법은 다중 토큰 그룹 등으로 불일치를 처리할 수도 있다.
공유 어휘(shared vocabulary): 교사와 학생 토크나이저가 동일한 기본 토큰으로 식별하는 어휘 항목들의 교집합. 특수 토큰과 모호한 매칭은 제외한다.
span 손실(span loss): 불일치 그룹에서 학생과 교사의 토큰 경로 확률의 로그 값 차이를 평균 제곱 오차로 맞추는 손실. 정렬 범위를 100%로 만들지만 이 연구에서는 정확도를 낮췄다.
정렬 범위(alignment coverage): 응답의 어느 부분과 모델의 어휘 중 어느 정도를 교차 토크나이저로 비교할 수 있는지를 나타내는 양. 정적 어휘 중첩과 동적 토큰 커버리지로 측정한다.
지도 신뢰성(supervision reliability): 결과적인 교사 목표가 학생이 방문하는 상태에서 유용한 학습 지침을 제공하는지에 관한 개념. 정렬 범위와 별개로 평가되어야 한다.

더 깊이 읽기 읽는 데 약 8분

배경과 문제

온폴리시 증류(OPD)는 학생 모델이 스스로 생성한 응답에 대해 교사 모델의 피드백을 주어 학습시키는 방법이다. 학생이 실제로 도달하는 접두사(prefix)에서 지도를 제공하므로, 교사의 신호가 학생의 현재 행동과 연결된다는 장점이 있다. 그런데 교사와 학생이 서로 다른 토크나이저를 쓰면 같은 문장이라도 토큰 경계가 달라지고, 다음 토큰 확률 분포가 정의되는 어휘 집합 자체가 다르다. 따라서 교차 토크나이저 OPD는 문장 수준의 정렬과 어휘 수준의 정렬을 동시에 처리해야 한다.

최근 연구들은 순위 기반 분포 매칭, 학습된 매핑, 우도 매칭, 바이트 수준 인터페이스 등으로 이 문제를 해결하려 했다. 온폴리시 학습에서는 SimCT가 정렬된 다중 토큰 단위를 통해 지도 신호를 복구하여 공유 어휘 OPD보다 나은 성능을 보고했고, Byte-Prefix Marginalization은 교사 확률 질량을 학생 토큰에 매핑하면서 공백 위치의 유해한 신호를 식별하기도 했다. 이러한 발전은 추가적인 교사 신호에 접근할 수 있게 하지만, 그 신호가 실제 학습에 얼마나 가치 있는지는 별개의 문제다. 이 논문은 '엄격한 매칭이 이미 얼마나 유용한 지도를 보존하는가, 그리고 제외된 목표를 복구하는 것이 학습에 무엇을 기여하는가'를 묻는다.

기존 접근의 한계

기존 연구는 정렬 범위(alignment coverage)를 넓히는 데 초점을 맞추었다. 정렬 범위란 응답의 어느 부분과 모델의 어휘 중 어느 정도를 교차 토크나이저로 비교할 수 있는지를 나타낸다. 그러나 정적 어휘 중첩은 어휘 항목을 동일하게 세지만, 실제 학생 궤적에서의 빈도와 예측 확률은 매우 불균등할 수 있다. 따라서 어휘 격차가 크더라도 엄격한 정렬이 자주 일어나고 확률 질량이 공유 어휘에 집중될 수 있다.

또한 불일치 구간에 대한 다중 토큰 그룹화는 추가적인 지도를 가능하게 하지만, 그것이 학습에 도움이 되는지는 적용된 목적 함수에 달려 있다. 이 논문은 지도 신호의 신뢰성(supervision reliability)이라는 개념을 도입한다. 이는 결과적인 교사 목표가 학생이 방문하는 상태에서 유용한 지침을 제공하는지에 관한 것이다. 정렬 범위를 늘리는 것 자체가 더 나은 증류를 보장하지 않으며, 추가된 지도의 품질이 학생 학습에 기여하는 바를 평가해야 한다는 것이 핵심 주장이다.

연구방법을 단계별로

실험은 Qwen, Llama, Granite, Phi 네 모델 계열을 사용하며, 화살표는 교사에서 학생 방향을 나타낸다. 세 가지 이종 쌍은 Qwen2.5-7B-Instruct→Llama-3.2-3B-Instruct, Granite-4.1-8B→Phi-4-mini-instruct, Granite-4.1-8B→Qwen2.5-7B-Base이다. 학습은 20,000개의 프롬프트 풀에서 시작하며, 수학 10,000개(DAPO-Math-17K)와 코드 10,000개(CodeForces)로 구성된다. 평가는 수학에서 MATH500, GSM8K, AIME-2024/2025/2026, AMC23, Minerva-Math를, 코드에서 HumanEval, MBPP, LiveCodeBench를 사용한다. 수학은 문제당 32개 응답의 평균 정확도(mean@32), 코드는 8개 응답의 평균(mean@8)을 보고하며, Full은 두 도메인 산술 평균에 동일 가중치를 준다.

먼저 엄격한 교차 토크나이저 OPD를 기준으로 삼는다. 이는 엄격하게 정렬된 위치에서 역 KL 발산(reverse KL)을 적용하는데, 한 학생 토큰과 한 교사 토큰이 응답의 같은 구간을 덮는 위치를 말한다. 두 예측 분포는 공유 어휘로 제한되고 재정규화된다. 그런 다음 불일치 그룹에 대한 span 로그 확률의 평균 제곱 오차(MSE) 손실의 가중치를 변화시키고, 각 엄격 위치에서 사용하는 공유 어휘 항목 수를 조절한다. 확률 질량 측정과 기울기 진단을 통해 결과를 해석한다.

결과와 숫자의 의미

정적 어휘 Jaccard 중첩은 39.49–64.87%에 불과했지만, 엄격한 학생 토큰 커버리지는 전체 실행에서 85.57–96.98%, 교사 토큰 커버리지는 82.82–97.26%였다. 특히 Granite→Phi는 Jaccard 중첩이 가장 낮은 39.49%였지만 엄격 커버리지는 가장 높았다. 이는 정적 어휘 불일치가 크더라도 학생이 생성한 궤적에서는 대부분의 위치에서 엄격한 정렬이 가능함을 보여준다. 이 정렬 범위는 Strict full 학습의 100단계에서 단계당 512개씩 보존한 총 51,200개 응답 전체와 학습 구간별로 측정했다. 아래의 확률 질량 진단과는 측정 시점이 다르다.

불일치 그룹에 span MSE 지도를 추가하면 모든 양의 가중치에서 구조적 지도 범위가 100%가 되지만, 18개의 양의 가중치 설정 모두 전체 평균 정확도를 0.27–1.20%p 낮췄다. 세 쌍 모두 λ=0(엄격 지도만)에서 가장 높은 전체 평균을 기록했다. 확률 질량 측정에서는 증류 전 학생이 생성한 응답의 엄격 위치에서 공유 어휘가 교사 질량의 99.69–99.90%, 학생 질량의 98.99–99.81%를 평균적으로 보존했다. 학생이 선택한 상위 16개 공유 어휘는 교사 질량의 최소 93.54%, 학생 질량의 최소 94.55%를 유지했다.

구체적인 예시

Qwen→Llama 쌍을 예로 들면, 정적 어휘 Jaccard 중첩은 64.32%였지만 엄격한 학생 토큰 커버리지는 93.56%였다. 증류 전 학생 응답에서 공유 어휘는 교사 확률 질량의 99.73%, 학생 질량의 99.72%를 보존했다. 학생이 선택한 상위 16개 공유 어휘는 교사 질량의 93.92%, 학생 질량의 94.55%를 유지했다. 이는 전체 공유 어휘를 쓰지 않고도 대부분의 예측 질량을 포착할 수 있음을 보여준다.

성능 비교에서 Qwen→Llama의 Base(증류 전 학생)는 Math 18.32, Code 35.60, Full 26.96이었다. Strict full은 Math 26.60, Code 39.11, Full 32.86으로 향상시켰고, Strict top-16은 Math 26.86, Code 38.42, Full 32.64를 기록했다. 이는 Base 대비 Strict full의 개선 폭 중 최소 96%를 top-16이 유지했음을 의미한다. 반면 ULD, Extended ULD, GOLD, SimCT와 같은 기준선들은 Strict 변형보다 낮은 Full 평균을 보였다.

한계와 오해하기 쉬운 점

이 자료는 arXiv 프리프린트(v1)이며 주 실험은 세 교사·학생 조합의 수학·코드 과제다. 부록에는 235B 교사→8B 학생과 ALFWorld 추가 결과도 있으나, 모든 토크나이저·과제·불일치 구간 학습법의 보편적 우열을 증명한 것은 아니다. 공유 어휘 확률 질량은 증류 전 학생이 20,000개 프롬프트에서 생성한 응답의 엄격 정렬 위치에서 측정한다. 정렬 범위는 별도로 학습 중 51,200개 응답에서 측정했으므로 둘을 같은 진단으로 혼동하면 안 된다. 어느 수치도 모든 가능한 문맥의 보존율을 보장하지 않는다.

부분 어휘 top-16은 학생이 선택한 공유 어휘의 상위 16개이며, 교사 전체 어휘의 상위 16개나 전체 토큰 16개를 의미하지 않는다. span 기울기 분석은 strict loss만으로 학습한 체크포인트의 진단이므로, span loss가 포함된 학습 전반의 원인을 직접 인과적으로 입증한 실험은 아니다. 또한 기울기 코사인과 노름 비율은 특정 체크포인트에서 측정된 것이며, 모든 학습 단계에 일반화할 수 없다.

실제로 어떻게 활용할까

실무적으로는 교차 토크나이저 증류에서 불일치 구간을 모두 복구하려고 복잡한 손실을 추가하기보다, 엄격하게 정렬된 위치에서 학생이 선택한 소수의 공유 어휘만으로 역 KL을 계산하는 것이 더 효과적일 수 있다. 비교할 확률 항목을 줄이면서도 대부분의 학습 이득을 유지했다. 다만 제시된 정확도·확률 질량 결과만으로 전체 훈련 시간이나 비용의 감소 폭을 확정할 수는 없다. 예를 들어 top-16 지원만으로도 전체 공유 어휘를 쓴 경우의 개선 효과를 최소 96% 보존했다.

다만 이 결과는 특정 모델 쌍과 과제에 국한되므로, 새로운 환경에 적용할 때는 먼저 엄격 정렬 커버리지와 공유 어휘 확률 질량을 측정해 보는 것이 좋다. 만약 공유 어휘가 예측 질량의 대부분을 보존한다면, 불일치 그룹에 대한 추가 지도는 오히려 성능을 해칠 수 있다. 지도 신호의 신뢰성을 평가하는 진단 도구로 기울기 방향 일치도와 상대적 크기를 활용할 수 있다.

원문에서 확인한 근거 5곳

정적 어휘 Jaccard 중첩은 39.49–64.87%였지만, 엄격한 학생 토큰 커버리지는 전체 실행에서 85.57–96.98%였다.Table 1:
모든 양의 span MSE 가중치 설정(18개)은 전체 평균 정확도를 0.27–1.20%p 낮췄다.Strict supervision performs best throughout
증류 전 학생 응답의 엄격 위치에서 공유 어휘는 교사 질량의 99.69–99.90%, 학생 질량의 98.99–99.81%를 평균적으로 보존했다.Table 5:
학생이 선택한 상위 16개 공유 어휘는 교사 질량의 최소 93.54%, 학생 질량의 최소 94.55%를 유지했다.Table 5:
Strict top-16은 Base 대비 Strict full의 전체 평균 개선 폭 중 최소 96%를 유지했다.Top-ksubsets retain most of the

출처원문 — 허깅페이스 화제 논문 PDF

10월 8일(목) 정리 · AI가 쓰고 원문과 대조