Index-Translate: 번역·음성·장문 문서에 맞춰 나눈 모델 제품군

배경과 문제

번역 모델이라고 하면 보통 '원문과 목표 언어를 넣으면 번역문이 나온다'는 단순한 함수를 떠올린다. 그러나 동영상 플랫폼이 실제로 마주하는 번역은 이보다 훨씬 까다롭다. 게임 공지 JSON은 키와 해시태그를 건드리지 않고 값만 옮겨야 하고, 댓글 속 커뮤니티 은어는 글자 그대로 옮기면 뜻이 사라지며, 더빙 대사는 원래 말하던 몇 초 안에 들어가야 하고, 웹소설 한 권은 수만 토큰에 걸쳐 인물 이름이 흔들리지 않아야 한다. 같은 문장이라도 쓰임새에 따라 좋은 번역이 여러 개일 수 있다는 것이 Index 팀이 출발점으로 삼은 문제의식이다.

Index-Translate는 이 요구들을 하나의 거대한 모델로 해결하는 대신, 공유하는 다국어 기반(Shared Multilingual Foundation) 위에서 어떤 능력은 합치고 어떤 능력은 전용 모델로 떼어내는 방식을 택했다. 기술 리포트가 던지는 핵심 질문도 '작은 번역 모델이 어떤 능력은 공유하고 통합할 수 있으며, 어떤 능력은 전용 학습이나 출력 인터페이스가 필요한가'이다. 그 결과 일반 번역, 지시 따르기, 밈 번역은 하나의 텍스트 모델로 합쳐졌고, 음절 제어처럼 병합 과정에서 잘 살아남지 못한 능력은 별도 모델로 분리되었다.

기존 접근의 한계

기존 번역 특화 모델들은 대부분 특정 언어 쌍이나 특정 과제에 집중해 학습되었다. 예를 들어 Hy-MT2는 기술 리포트 기준 33개 언어를 지원하는 모델인데, 62개 언어 사이 1,040개 방향으로 구성된 FLORES_minor_pair 평가에서 Hy-MT2-7B는 출력의 35.7%가 목표 언어가 아닌 언어로 나왔고, Hy-MT2-1.8B는 이 비율이 54.2%에 달했다. 이는 지원 언어 범위 밖의 저자원 언어 방향에서는 모델이 목표 언어를 제대로 지키지 못하고 다른 언어로 답하는 '오프타깃(Off-Target)' 문제가 심각함을 보여준다.

장문 번역에서도 기존 접근은 한계가 뚜렷하다. 책 한 권을 LLM으로 번역할 때는 보통 문서를 여러 조각(Chunk)으로 나누고 용어집(Glossary)과 앞뒤 문맥을 함께 넘기는 방식을 쓴다. 그러나 이 방식은 문서 전체에 걸친 개념 구분이나 인물 이름 일관성을 잃기 쉽다. 기술 리포트의 빙하사 문서 사례에서 저자가 정의한 '빙하 시대(冰河时代)'와 그 안의 '빙기(冰期)'라는 포함 관계를, 조각 번역 방식의 Qwen3.8-Flash는 원문 전체로 만든 용어집을 줘도 두 개념을 모두 '冰期'로 옮겨 구분이 사라졌다. 음성 번역에서도 기존 캐스케이드(Cascade) 파이프라인은 음성 인식(ASR) → 번역 → 음성 합성(TTS)으로 이어지는데, 번역된 텍스트를 다시 TTS 모델의 텍스트 토크나이저에 넣는 과정에서 정보 손실이나 오류 누적이 발생할 수 있다.

연구방법을 단계별로

텍스트 모델의 학습은 크게 세 단계로 나뉜다. 첫째, Qwen3.5 베이스 위에서 다국어 중간 학습(Mid-Training)으로 번역 기반을 다진다. 중간 학습에는 일반 사전 학습 데이터 재생(Replay), 독립적으로 샘플링한 단일 언어 텍스트, 그리고 병렬 번역 데이터가 섞인다. 병렬 데이터는 두 언어를 직접 짝짓는 일반 병렬 데이터(Parallel)와, 같은 내용을 영어를 축으로 여러 언어에 걸쳐 묶는 피벗 데이터(Pivot)로 구분된다. 학습은 MiniCPM에서 제안된 WSD(Warmup-Stable-Decay) 스케줄의 안정 구간과 감쇠 구간을 따르며, 시퀀스 길이 4,096, 글로벌 배치 4,096 시퀀스로 총 1만 스텝, 167.77B 토큰을 학습한다. 감쇠 단계에서는 일반 : pivot-20 : pivot-148 = 1:4:2 비율로 피벗 데이터가 지배적이다.

둘째, 일반 번역, 지시 따르기, 밈 번역 전문가를 각각 SFT(Supervised Fine-Tuning)로 시작해 강화 학습(RL)으로 다듬는다. 일반 번역과 지시 따르기 전문가는 GRPO(Group Relative Policy Optimization)를 사용한다. 일반 번역 보상은 목표 언어 게이트, 참조 번역 기반 XCOMET-XXL 점수, Gemini 2.5 Flash가 판정한 충실도 할인율을 곱한 형태다. 지시 따르기 보상은 루브릭 보상(Rubric-as-Reward, RaR) 방식으로, 구조·용어·코드 보존 같은 하드 제약 중 하나라도 어기면 보상 전체가 0이 된다. 밈 전문가는 참조 기반 LLM 판정자가 문맥상 의미, 문화적 기능, 화용적 효과를 평가하는 보상으로 학습된다. LLM 판정자를 보상으로 쓰면 정책 모델이 판정자의 허점을 악용하는 보상 해킹(Reward Hacking)이 생기기 쉬운데, 이를 막기 위해 Index 팀은 자신들이 이전에 제안한 RIVAL 프레임워크로 보상 모델과 정책을 번갈아 갱신한다.

셋째, 세 전문가를 파라미터 보간(Parameter Interpolation)으로 합친 뒤 MOPD(Multi-Teacher On-Policy Distillation)로 보강한다. 공개된 2B와 9B 모델은 일반, 지시, 밈 전문가를 0.8 : 0.1 : 0.1 비율로 섞는다. 일반 번역 전문가의 비중을 크게 둔 데에는 근거가 있는데, 별도의 2B·20개 언어 가중치 탐색 실험에서 일반 전문가 가중치를 1.0에서 0.5로 낮추면 WMT XCOMET-XXL은 0.8222에서 0.8522로 오르지만 지시 따르기 점수(IFscore)는 0.7395에서 0.2828로 급락했기 때문이다. 병합으로 약해진 부분은 각 도메인 교사 모델이 학생 모델이 직접 생성한 출력을 토큰 단위로 감독하는 MOPD로 보강하며, 목적 함수로는 역 KL 발산(Reverse-KL)을 쓴다. 그러나 이 통합 과정이 모든 능력을 살리지는 못했다. MOPD는 지시 따르기와 언어 일관성을 높이는 대신 번역 품질과 밈 점수를 떨어뜨렸고, 길이 관련 제약은 잘 따르지 못했다. 음절 제어 능력도 2B 4-way 병합에서 0.1 가중치로 섞은 영상 번역 전문가의 SandGlass 적중률이 0.1544로, 전용 모델의 0.5439에 크게 못 미쳤다. 이 때문에 음절 제어는 Index-Homura라는 별도 모델로 분리되었다.

음성 번역 모델 Index-Echo는 S2TT(Speech-to-Text Translation)와 S2ST(Speech-to-Speech Translation)로 나뉜다. S2TT는 Qwen3-Omni의 AuT 오디오 인코더와 커넥터를 Index-Translate 2B 또는 9B 디코더에 연결하고, 음성 번역 과제로 처음부터 끝까지 함께 학습한다. S2ST는 CosyVoice3의 텍스트 토크나이저 자리를 약 30M 파라미터의 Hidden2CV 매퍼로 대체해 번역 모델의 마지막 은닉 상태를 CosyVoice3의 의미 계층에 직접 정렬한다. 학습은 S2TT 백본과 음성 생성기를 고정한 채 매퍼를 증류(Distillation)하는 단계와, Gumbel-Softmax로 샘플링한 음성 토큰을 거쳐 내용 일치 보상을 역전파하는 DiffRO(Differentiable Reward Optimization) 단계로 진행된다. 원본 음성에서 추출한 CampPlus 화자 임베딩과 참조 프롬프트가 목소리를 유지하는 역할을 한다.

장문 번역 모델 Index-NativeLong은 문서 전체를 입력으로 받아 전체 번역을 한 번의 생성으로 출력하는 네이티브 장문 번역(Native Long-Document Translation)을 목표로 한다. 학습은 정렬된 책 구절과 완전한 번역문으로 전체 파라미터 SFT를 하는 방식이다. 2B는 128K 시퀀스 감쇠 단계를 거친 중간 학습 모델에서, 9B는 앞서 통합된 텍스트 모델에서 출발해 중국어 기준 약 4K~64K 토큰 길이의 양방향 문서로 학습했다. 평가는 원문 전체와 출력 전체를 문장 단위로 정렬하는 SEGALE로 블록을 맞춘 뒤 COMET으로 채점하며, 짝이 맞지 않는 블록은 0점이라 번역을 중간에 멈추면 점수가 크게 떨어진다.

텍스트 번역 결과와 숫자의 의미

텍스트 번역 평가에서 Index-Translate-35B-A3B(프리뷰)는 FLORES-200 COMET-22 0.8794와 instTrans IFscore 0.8336으로 비교 모델 중 가장 높은 점수를 기록했다. 9B도 FLORES-200에서 0.8789로 Hy-MT2-30B-A3B(0.8787)와 사실상 같은 수준이고, 2B는 같은 체급인 Hy-MT2-1.8B를 두 모델 모두 결과가 제시된 지표에서 앞선다. 그러나 참조 번역 없이 GPT-5.6-Sol이 0~100점으로 채점하는 WMT26에서는 범용 프런티어 모델과의 격차가 크다. GPT-5.6-Sol 89.10, DeepSeek-V4.1-Flash 83.55, Gemini 3.5 Flash Lite 79.52가 모두 35B-A3B 프리뷰의 76.76보다 높다. WMT26 점수를 읽을 때는 채점자인 GPT-5.6-Sol이 비교 대상이면서 동시에 1위라는 점도 감안해야 한다. 참조 번역 없이 채점하는 방식이라 판정자가 자기 출력을 선호할 가능성을 배제할 수 없고, 참조 기반 COMET 계열에서는 Index-Translate가 대등하거나 앞선다는 점과 함께 봐야 한다.

저자원 언어에서는 Index-Translate의 강점이 뚜렷하다. 62개 언어 사이 1,040개 방향의 104,000개 입력을 평가한 FLORES_minor_pair에서 Hy-MT2-7B는 출력의 35.7%가 목표 언어가 아닌 언어로 나왔고, Hy-MT2-1.8B는 54.2%에 달했지만, Index-Translate-35B-A3B 프리뷰는 2.4%, 9B는 4.0%, 2B는 4.2%에 그쳤다. 다만 일반 저자원 번역 품질 자체는 DeepSeek-V4.1-Flash가 COMET-22 0.8333, 오프타깃 1.3%로 가장 높았고, TranslateGemma-12B(0.8021)도 9B(0.7992)보다 높다. 저자원 언어로의 지시 번역(instTrans_minor)에서는 9B가 IFscore 0.7725, 오프타깃 3.47%로 비교 모델 전체에서 가장 좋은 값을 기록했다.

지시 따르기 평가에서는 어떤 지시가 어려운지가 드러난다. 외부 벤치마크 IFMTBench의 제약 유형별 결과를 보면, 코드 태그나 인라인 코드 보존은 9B가 1.0000으로 완벽했지만, 용어(0.8364)와 문맥(0.8151) 제약은 점수가 낮았다. 단일 제약보다 여러 제약이 함께 걸린 경우가 두 모델 모두 더 어려웠는데, 복합 제약 5종 모두에 용어 제약이 포함되어 있다. 문맥과 용어가 함께 걸리면 2B는 0.5808로 가장 낮았고, 9B는 구조화 데이터, 용어, 문체가 함께 걸린 경우가 0.7717로 가장 낮았다. instTrans의 자막 음절 맞춤 제약도 핵심 언어 방향에서 2B는 46.6%, 9B는 64.1%만 통과해 다른 하드 제약(93% 이상 통과)에 비해 확연히 약했다.

음절 제어·장문 번역과 일반 능력

음절 제어 모델 Index-Homura-9B는 SandGlass의 300개 자막 문장 × 4개 목표 언어 × 3개 길이 조건, 총 3,600개 사례에서 출력의 81.92%가 목표 음절 수의 ±10% 안에 들어왔고, 목표 대비 출력 음절 수의 회귀 기울기도 이상적인 값 1에 가까운 0.968이었다. 같은 지표에서 GPT-5.6-Sol(low)은 47.64%, DeepSeek-V4-Flash는 16.36%, Hy-MT2-7B는 18.86%였다. 그러나 번역 품질 점수만 보면 순서가 뒤집힌다. DeepSeek-V4-Flash(0.8742), GPT-5.6-Sol(0.8715), Hy-MT2-7B(0.8560)가 모두 Index-Homura-9B(0.7863)보다 높다. 9B는 SFT에서 RL로 넘어가며 적중률이 45.75%에서 81.92%로 올랐지만 품질은 0.8581에서 0.7863으로 내려갔다. 길이를 엄격히 맞출수록 표현 선택의 폭이 좁아진다는 점에서 자연스러운 트레이드오프다.

장문 번역에서는 길이가 늘어날수록 모델 간 차이가 크게 벌어진다. 번역 특화 모델인 Hy-MT2-7B는 GuoFeng(중국어→영어)에서 4K 0.7334였던 점수가 16K에서 0.0197, 64K에서 0.0001로 사실상 0이 되었고, 리포트는 이 모델이 짧은 조각만 번역하고 멈추는 경우가 있었다고 설명한다. 범용 모델인 Qwen3.8 Flash도 GuoFeng 64K에서 0.4939로 떨어진 반면, Index-NativeLong-9B는 0.7382를 유지했다. 9B의 중국어 측 길이 구간 4K·8K·16K·32K·64K를 같은 비중으로 평균한 점수는 GuoFeng 0.7891, BWB 0.7683, General Books(영어→중국어) 0.8848로 세 데이터셋 모두에서 가장 높았다.

번역에 집중한 대가도 기록되어 있다. Index-Translate-9B는 Hy-MT2-7B보다는 모든 일반 능력 벤치마크에서 높지만, 출발점인 Qwen3.5-9B와 비교하면 C-Eval 86.6 → 69.6, GPQA-Diamond 75.8 → 36.3, MMMLU 75.9 → 66.6으로 크게 떨어진다. 2B는 네 벤치마크 모두에서 Qwen3.5-2B보다 낮다. 번역 이외의 질의응답이나 추론까지 기대하고 쓰기보다는 번역 전용 모델로 보는 편이 맞다.

구체적인 예시

밈 번역 벤치마크 MEME의 예시는 이 과제가 무엇을 요구하는지 보여준다. 중국 게임 커뮤니티에서 파이널 판타지 14를 '狒狒'(개코원숭이)라는 별칭으로 부른다는 것을 모르면 '狒瘾犯了就去打'를 Hy-MT2-7B처럼 'If you get monkey addiction, go fight.'로 오역하게 된다. Index-Translate-9B는 'When the FFXIV itch hits, just go play.'로 옮겨 의도를 살렸다. 또 '那个，你好，结芬'은 '결혼하자'를 장난스럽게 쓴 표현인데, GPT-5.6-Sol은 'Um, hello, Jie Fen'으로 사람 이름으로 읽어 청혼의 뉘앙스가 사라졌다. Index-Translate-9B는 'Um, hi, let's get married'로 옮겼다. 다만 이 예시들은 리포트가 직접 고른 사례로, 표에 실린 비교 모델은 모두 0점, Index-Translate는 모두 1점을 받은 경우라는 점은 감안해서 봐야 한다.

음절 제어의 예시로, 같은 중국어 문장 '生活两天，是一种什么体验'를 목표 음절 수에 따라 Index-Homura-9B가 다르게 옮긴다. 목표 10음절이면 'to live for two days. What would that be like?' (10음절), 14음절이면 'What would it be like to live there for two days, I wonder?' (14음절), 18음절이면 'What would it be like to live there for two days, trying to get by somehow?' (18음절)로 표현을 늘린다. 이는 홈페이지가 3,600건 중 36건에 해당하는 'Perfect Triple'로 표기한, 세 길이를 모두 정확히 맞춘 선별 사례다. 모델 카드도 음절 수는 근사 목표일 뿐 정확한 개수를 보장하지 않으며, 음절 수가 맞아도 발음과 쉼에 따라 실제 발화 시간은 달라질 수 있으므로 녹음 전에 직접 확인하라고 안내한다.

장문 번역의 일관성 예시로, 약 32K 토큰 판타지 소설에서 인물 이름 '王妃'(Wang Fei)는 네이티브 9B가 31.3%, 56.6%, 84.8% 지점 모두에서 Wang Fei로 일관되게 옮긴 반면, 같은 9B를 TranslateBooksWithLLMs 조각 번역 흐름에 넣자 Instructor Wangfei, the Dean, The Queen Consort로 바뀌었다. 빙하사 문서에서는 저자가 정의한 '빙하 시대(冰河时代)'와 그 안의 '빙기(冰期)'라는 포함 관계를 네이티브 9B는 지켰지만, Qwen3.8-Flash 조각 번역은 원문 전체로 만든 용어집을 줘도 두 개념을 모두 '冰期'로 옮겨 구분이 사라졌다. 반대로 원문 전체로 만든 용어집은 '王妃'를 Wang Fei로 바로잡아, 좋은 용어집이 조각 번역의 문제 일부를 덜어준다는 점도 함께 확인되었다.

한계와 오해하기 쉬운 점

첫째, 150개 언어 지원은 텍스트 번역 모델의 범위이며 지역 변종도 별도 항목으로 센다. README에 제시된 공개 S2TT 스크립트는 중국어→영어·일본어·스페인어를, S2ST 패키지는 중국어→영어·스페인어·일본어와 영어→중국어·스페인어·일본어의 6개 방향을 다룬다. 반면 논문의 S2TT 실험은 중국어에서 영어·일본어·한국어·스페인어·포르투갈어·아랍어로 가는 6개 방향과 영어→중국어를 합친 7개 방향, 50~60초 영상 구간 140개에서 수행했다. 논문의 실험 범위와 배포된 스크립트의 지원 범위가 같지 않은 것이다. Homura의 SandGlass 평가는 중국어 원문에서 영어·일본어·아랍어·스페인어로의 번역이고, NativeLong의 공개 고정 템플릿은 중국어↔영어·일본어다. 이들을 모두 150개 언어 음성 번역으로 묶어 설명하면 안 된다.

둘째, 자체 벤치마크 비중이 높다. instTrans, MEME, SandGlass, NativeLongBench, S2TT·S2ST 테스트에는 자체 구성 평가셋이 사용됐다. 확인한 README에서 instTrans, SandGlass-V2, nailong-bench, meme-bench는 공개 예정 목록에 남아 있어 외부 재현에 제약이 있다. GitHub TODO에 따르면 instTrans, SandGlass-V2, nailong-bench, meme-bench는 공개 예정이다. 또한 LLM 판정자 의존도가 높다. 지시 따르기와 WMT26은 GPT-5.6-Sol이, 밈과 SandGlass 품질은 Gemini 2.5 Flash가, 음성 번역 품질은 Gemini 3.1 Pro가 채점한다. 학습 보상에도 Gemini 계열 판정자가 쓰였으므로 판정자와 보상 모델의 취향이 겹칠 가능성이 있고, WMT26처럼 판정자(GPT-5.6-Sol)가 비교 대상에 포함된 경우도 있다.

셋째, 홈페이지와 리포트의 수치가 어긋나는 지점이 있다. 홈페이지의 대표 표에는 DeepSeek-V4.1-Flash와 WMT26이 빠져 있어 35B-A3B 프리뷰가 저자원 번역과 밈 번역에서도 1위로 표시되지만, 같은 홈페이지의 7개 범주 요약표와 리포트에서는 두 항목 모두 2위(최고점은 각각 0.8333, 0.7424)다. Index-Echo S2TT에서도 홈페이지는 9B를 '이 비교에서 1위'라고 소개하지만 같은 페이지의 표에서도 Qwen3.8-Omni-Flash가 더 높다. 순위를 인용할 때는 리포트의 전체 표를 확인하는 것이 좋다.

넷째, 35B-A3B는 프리뷰 버전이며 아직 학습 중이다. 일부 지표에서 가장 높은 35B-A3B의 결과는 정식 버전이 아니므로 해석에 주의가 필요하다. 또한 장문 번역 평가에서 고정 평가셋이 모델 개발 과정에서도 사용되었다고 리포트가 밝히고 있어, 개발 중 평가셋에 맞춰 조정되었을 가능성을 배제할 수 없다. Gemini 3.8 Flash는 출력 한도(65,536 토큰)가 가장 긴 테스트 그룹의 출력 예산보다 작아 비교에서 제외되었고, North-Small-Translate의 32K 이상 결과는 공식 지원 범위(16K)를 넘겨 실험적으로 확장한 값이다.

실제로 어떻게 활용할까

텍스트 모델은 Qwen3.5를 지원하는 vLLM 버전으로 OpenAI 호환 서버를 띄운 뒤, 저장소의 클라이언트 스크립트로 호출한다. 기본 서빙 컨텍스트는 텍스트 모델 32K, NativeLong 2B 262,144 토큰, 9B 229,376 토큰이다. bf16 기준 GPU 메모리는 2B 약 8GB, 9B 약 24GB에 KV 캐시가 더해지며, vLLM 0.29에서 테스트되었고 SGLang으로도 서빙할 수 있다. 텍스트 번역은 그리디 디코딩(temperature=0)과 enable_thinking=False가 기본이고, Index-Homura는 syllable_translate.py에 --syllables로 목표 음절 수를, Index-NativeLong은 doc_translate.py로 전체 문서를 넘긴다.

Index-Echo-S2ST는 별도 패키지(2B 약 13GB, 9B 약 26GB)로 배포되며 2B는 12GB, 9B는 24GB 이상의 VRAM이 필요하고, 30초 이하의 짧은 발화 단위 입력에 맞춰져 있다. 프롬프트는 '다음 텍스트를 {목표 언어}로 번역하고, 설명 없이 번역 결과만 출력하라' 형태의 고정 템플릿을 쓰며, 용어 고정이나 구조화 데이터 번역용 템플릿은 저장소의 프롬프트 예시 문서에 정리되어 있다. 로컬 모델로 웹 페이지를 번역하는 브라우저 확장과, 음성 분리부터 더빙 정렬까지 처리하는 영상 더빙 파이프라인도 함께 제공된다.

설치 없이 써 보려면 홈페이지의 온라인 데모를 이용할 수 있다. 텍스트 번역 데모에서는 어조, 호칭, 출력 형식 같은 사용자 지시를 함께 넣을 수 있고 이때는 9B 모델이 쓰인다. 영상 데모는 Bilibili 영상 URL이나 BV, av ID를 받아 번역 자막(이중 언어 ASS 파일 내보내기)과 별도의 더빙 단계를 제공한다. 음절 제어 데모는 중국어 대사를 영어, 아랍어, 스페인어, 일본어로 옮기면서 목표 음절 수를 슬라이더로 정한다. 장문 번역 데모는 중국어 TXT, Markdown 문서를 받아 영어 번역을 Markdown이나 PDF로 내려받게 해 주는데, 현재 데모는 문서를 구간별로 나눠 처리하므로 전체 문서를 한 번에 생성하는 네이티브 방식과는 동작이 다르다.

공식 저장소는 Apache-2.0 라이선스를 명시한다. 실제 배포에는 사용하는 모델·코드의 해당 라이선스 조건이 적용된다. 모든 모델 가중치는 Hugging Face와 ModelScope에 공개되어 있다. 다만 번역 이외의 일반 지식·추론 능력이 Qwen3.5 베이스보다 크게 하락했으므로, 번역 전용 작업에 사용하는 것이 적합하다. 실제 더빙에서는 음절 적중률과 번역 품질 중 무엇을 우선할지 용도에 맞게 정해야 하며, 장문 번역에서는 이번 실험과 사례에서 네이티브 방식의 일관성 이점이 관찰됐다. 전체 문서의 입력과 긴 출력이 함께 들어갈 문맥 길이와 GPU 메모리를 확보해야 하며, 조각 번역보다 총 입력 토큰을 항상 더 많이 쓴다는 뜻은 아니다.