출력 비용을 기준으로 어휘를 다시 고르는 VocabX의 효과와 한계

배경과 문제

언어 모델은 텍스트를 토큰이라는 작은 단위로 나누어 읽고 쓴다. 이를 담당하는 토크나이저는 미세조정 때도 보통 그대로 물려받는다. 여러 언어와 작업에 맞춘 범용 어휘를 한 가지 작업에 쓰면, 그 작업에서 자주 반복되는 표현도 여러 토큰으로 나뉘어 비용을 낼 수 있다.

Dharma AI의 채점 모델은 에세이·문제·참고 지문을 받아 역량별 점수와 코멘트를 JSON으로 돌려준다. 이미 작업에 맞게 학습한 4B 모델이지만 어휘는 Qwen3-4B 원본을 사용했다. 연구진은 기반 모델과 데이터, 학습 방법을 고정하고 어휘가 다른 모델들을 각각 다시 학습해 비교했다.

기존 접근의 한계

비교 방법인 FVT는 도메인 전용 하위 단어 어휘로 모델을 옮기고, MWT는 자주 나오는 여러 단어를 하나로 묶는다. In-place BPE는 기존 병합 규칙을 유지하며 문자 조각을 합치는 학습을 이어 간다. 원문은 이 세 접근을 채점 작업에 적용해 비교했다.

저자들이 지적한 한계는 빈도와 비용이 다르고, 하위 단어 조정과 긴 구간 압축이 따로 다뤄진다는 점이다. 입력에서 자주 나오는 표현보다 출력에서 생성하는 표현이 더 비쌀 수 있다. 채점 모델의 반복 JSON 틀은 길기 때문에 작은 조각부터 합치는 방식만으로는 한꺼번에 압축하기 어렵다.

연구방법을 단계별로

VocabX는 후보가 줄이는 토큰 수에 해당 필드의 비용을 곱한다. 필드는 시스템 프롬프트·사용자 메시지·모델 응답으로 나뉜다. 이 채점 환경에서는 출력 토큰을 하나 줄이는 가치가 입력의 7.4배였지만, 하드웨어·배치 크기·맥락 길이에 따라 달라지는 값이다. 모든 모델에 적용되는 고정 배율은 아니다.

하위 단어 층에서는 도메인 단어를 나누는 방식을 바꾸고, 다중 단어 층에서는 긴 반복 구간을 매크로 토큰 하나로 바꾼다. 두 층은 같은 비용 기준을 쓰되 예산은 따로 둔다. 다섯 탐색기는 긴 단어·줄·구·문장·JSON과 태그 구조를 찾는다. 짧은 조각과 긴 틀을 함께 다루는 구성이다.

후보의 이득을 문서 표본에서만 재면 드문 표현이 빠진다. 원문의 확률 설명에서 50,000개 문서 중 37개에 있는 표현은 400개 표본에 들어갈 확률이 약 26%다. VocabX는 전체 말뭉치의 절감 가능량을 세고, 이미 고른 토큰이 덮지 않은 비율을 추정한다. 표본에서 안 보인 후보도 무조건 0으로 처리하지 않는다. 같은 표본과 어휘 예산의 계약서 실험에서는 이 변경으로 토큰 감소율이 44.7%에서 52.8%로 올랐다.

결과와 숫자의 의미

비교한 채점 모델 7개는 기반 모델·데이터·학습 방법·시드가 같고 토크나이저가 다르다. RTX 5090과 vLLM에서 동일한 500개 요청의 실행 시간을 쟀다. 원본은 응답 350토큰·품질 0.703, 가장 강한 기준인 In-place BPE는 136토큰·비용 62.1% 감소·품질 0.746, VocabX는 101토큰·77.0% 감소·품질 0.810이다. 비용 감소의 기준은 모두 원본이다. 품질은 채점과 부적절한 에세이 선별의 결합 지표여서 0.810을 정답률 81%로 읽을 수 없다. 토큰 감소율 71.1%와 비용 감소율 77.0%가 다른 원인은 항목별로 공개하지 않았다.

첫 어휘는 점수와 주변 JSON까지 한 매크로 토큰에 합쳐 비용을 73.3% 줄였지만, 품질은 0.689로 원본 0.703보다 낮았다. 점수를 별도 토큰으로 분리하자 응답이 2토큰 늘면서도 품질은 0.810, 비용 감소는 77.0%가 됐다. 저자들은 모델이 내려야 할 결정까지 구조와 묶으면 압축이 품질을 해칠 수 있다고 해석한다. 압축률만 높이는 것이 목적은 아니다.

공개 비교는 계약서·의학·과학·뉴스·Python 코드 5개 도메인과 Qwen3·Llama-3.1·Gemma-3의 15개 조합이다. 탐색·시험 문서와 어휘 상한을 맞췄을 때 토큰 감소율은 각 최강 기준보다 1.2~9.3퍼센트포인트 높았다. 가지치기 버전의 비용 감소율 차이는 계열별 평균 10.2·7.5·13.6퍼센트포인트였다. 이 비용은 분석적 추정이며 실제 재학습 후 GPU 시간을 잰 결과가 아니다. 가지치기 버전의 세부 정의와 도메인별 전체 표도 아직 이 글에는 없다.

구체적인 예시

원문에서 채점 JSON의 반복 구간은 기본 토크나이저로 12토큰이지만 VocabX에서는 코멘트 앞부분과 함께 한 토큰이 된다. 커뮤니티 해설은 Qwen3 기본 토크나이저로 이 구간을 다시 세고, 계약 문장은 영어 14토큰·한국어 번역 24토큰임을 보였다. 이는 기본 토큰화의 확인이다. VocabX를 한국어로 학습하거나 한국어 절감 효과를 재현한 결과는 아니다.

출력층인 LM 헤드는 생성할 때마다 어휘 후보들의 점수를 계산하므로 어휘 크기도 비용에 영향을 준다. 채점 사례의 토크나이저 항목은 151,669개에서 64,767개로 줄었다. 다만 어휘 크기 비용은 후보 선택식에 직접 포함되지 않는다. 하위 단어 어휘를 작게 만들고 매크로 토큰 예산을 제한해 크기를 통제한다.

한계와 오해하기 쉬운 점

확인한 원문은 심사 중 수치가 바뀔 수 있다고 밝히고, 전체 방법·실험표·폐기한 시도를 논문에서 공개하겠다고 한다. 이 글만으로 전체 절차를 검증하기는 어렵다. 여기서 논문·코드 공개 여부를 모든 경로에 걸쳐 확정하거나 독립 재현을 완료한 것은 아니다.

어휘를 바꾸면 재학습이 필요하며 새 토큰 임베딩 초기화는 이 글에 설명되지 않았다. 77%는 이 채점 환경의 실행 시간 기반 추론 비용 감소이지 재학습을 포함한 총비용·에너지·API 요금 절감률이 아니다. 자유로운 대화형 서비스에서 같은 효과가 나는지도 실측하지 않았다.

점수처럼 결정을 담은 값을 압축하면 품질이 내려갈 수 있다. 반대로 최종 품질이 오른 원인도 이 자료만으로 분리할 수 없다. 7개 학습 모델의 전체 결과, 반복 시드와 신뢰구간이 공개되지 않아 관측 차이의 불확실성을 정량적으로 판단하기 어렵다.

실제로 어떻게 활용할까

실무에서 참고할 부분은 어휘를 바꾸기 전에 입력과 출력의 실제 비용을 구분한다는 접근이다. 이미 도메인 미세조정을 하는 팀이라면 반복 출력 구조와 재학습 비용을 함께 검토할 수 있다. 적용 가능성에 대한 해석이며, 현재 자료만으로 곧바로 운영 성능을 보장하는 권고는 아니다.

반복 구조가 많은 요약·분류·코드 작업은 후속 검증 후보가 될 수 있다. 그러나 공개 도메인 비교는 주로 토큰 수와 추정 비용이므로 실제 GPU 시간과 과제 품질을 함께 재야 한다. 전체 논문에서 초기화 방법과 모든 비교표가 공개되면 적용 가능성을 더 구체적으로 판단할 수 있다.