한국어 받아쓰기·화자 구분을 한 모델로: Nemotron 3.5 Transcribe

배경과 문제

녹음 파일에서 회의록을 만들려면 지금까지 여러 모델을 이어 붙여야 했다. Whisper나 Parakeet 같은 음성 인식(ASR) 모델로 받아쓰고, pyannote 같은 화자 분리 모델로 누가 언제 말했는지 찾은 뒤, 강제 정렬기로 단어마다 시간을 붙이고 번역 모델을 따로 실행한다. 화자 분리는 녹음 안에서 서로 다른 목소리를 나누어 구간마다 화자 표시를 붙이는 작업이다. 단계가 늘어날수록 배포할 모델이 늘고, 앞 단계의 오류가 뒤 단계로 그대로 넘어간다.

또한 기존 ASR 모델은 숫자를 'twenty-five'로 쓸지 '25'로 쓸지, 머뭇거림을 남길지 같은 표기 규칙을 학습할 때 하나로 고정한다. 하지만 기술 보고서는 '녹음에 대한 하나의 정답 대본은 없다'고 지적한다. 같은 회의 녹음이라도 '화자를 구분해 받아써 줘', '영어로 번역해 줘', '이 회의에서 무엇이 결정됐어?'처럼 지시문만 바꾸면 서로 다른 결과물이 필요하다. Nemotron 3.5 Transcribe는 음성 증강 언어 모델(SALM) 구조로 이 문제를 해결한다. SALM은 음성 인코더의 출력을 대규모 언어 모델(LLM)의 입력으로 넣어, LLM이 지시문을 읽고 음성을 텍스트로 풀어 쓰게 하는 구조다. 따라서 표기 규칙을 요청할 때마다 지시문으로 바꿀 수 있다.

기존 접근의 한계

기존의 화자 구분 파이프라인은 받아쓰기를 먼저 끝낸 뒤 별도 단계에서 화자를 단어에 맞춘다. 이 방식은 화자 분리 오류가 받아쓰기 결과에 반영되지 않고, 두 모델의 출력을 정합하는 과정에서 추가 오류가 생길 수 있다. Nemotron 3.5 Transcribe는 학습 중에 고정해 둔 Nemotron 3 Diarization 모델(Sortformer 구조, 화자 슬롯 8개)이 만든 화자 활동 신호를 ASR 인코더의 표현에 더한다. 이렇게 하면 언어 모델이 글자를 생성하는 동안 화자 표시(<spk:0>, <spk:1> 등)를 직접 붙일 수 있다.

기술 보고서는 단일 받아쓰기의 정확도와 다양한 오디오 작업을 함께 학습할 때의 균형을 문제로 삼는다. 실제 배포에서는 그대로 받아쓰기와 읽기 쉬운 형태, 고유명사 인식, 회의에서 화자 배정, 1시간 분량 녹음 처리, 코드 스위칭, 비음성 오디오 처리가 모두 필요하다. 이 모든 능력을 한 모델에 담는 것은 데이터와 학습 문제이기도 하다. 각 능력이 같은 학습 예산을 두고 경쟁하며, 혼합 비율이 어떤 능력이 살아남을지 결정한다. Nemotron 3.5 Transcribe는 답변 토큰 질량 기준으로 데이터 소스를 샘플링하고, 각 ASR 예시를 여러 작업 지시문 중 하나로 사용해 이 문제를 완화했다.

연구방법을 단계별로

모델은 크게 세 부분으로 이뤄진다. 오디오를 받는 병렬 전문가 인코더(Parallel Expert Encoder), 글을 쓰는 Nemotron 3.5 Lightning 30B-A3B 언어 모델, 그리고 생성이 끝난 뒤 단어마다 시간을 붙이는 CTC 타임스탬프 헤드다. 인코더 안에는 두 갈래가 있다. 32층 Transformer로 된 ASR 브랜치는 소리의 내용을 담은 특징을 만든다. 학습 중에 고정해 둔 화자 분리 브랜치는 누가 말하는지에 대한 신호를 만든다. 두 신호를 더한 뒤 언어 모델로 넘기기 때문에, 언어 모델은 화자 표시를 직접 생성할 수 있다.

언어 모델 쪽은 Mamba-2 층과 전문가 혼합(MoE) 층, Attention 층을 섞은 하이브리드 구조다. MoE는 토큰마다 여러 전문가 하위 네트워크 중 일부만 골라 계산하는 방식이라, 전체 매개변수보다 훨씬 적은 수만 실제로 계산에 쓰인다. 모델 카드 기준 전체 매개변수는 오디오 인코더를 포함해 34B이고, 토큰마다 계산에 쓰이는 활성 매개변수는 약 4.3B(언어 모델 약 3.5B, 오디오 인코더 약 0.8B)다. 블로그는 30B 중 약 4B가 활성이라고 적었는데, 이 30B는 언어 모델인 Nemotron 3.5 Lightning의 크기다.

학습은 사전 학습된 LLM과 음성 인코더에서 시작해, 대규모 다중 작업 혼합물에 대한 지도 미세조정(SFT)을 먼저 수행하고, 이어서 받아쓰기 정확도를 직접 최적화하는 짧은 강화 학습(RL) 단계를 적용한다. 별도의 모달리티 정렬 단계는 사용하지 않았고, 화자 분리 모델을 제외한 모든 구성 요소를 첫 단계부터 공동 학습한다. 마지막으로 단어 타임스탬프를 위한 CTC 어댑터와 투기적 디코딩을 위한 초안 모델을 고정된 모델 위에 학습한다.

학습 데이터는 Granary-v2 파이프라인으로 생성하거나 개선한 대본과 다양한 작업 감독을 사용한다. 각 예시는 사용 가능한 작업 중 하나가 무작위로 선택되어, 대규모 ASR 코퍼스를 오디오 중복 없이 다중 작업 코퍼스로 바꾼다. 문맥 ASR의 경우 fine, coarse, partial, distractor, negative의 다섯 가지 변형을 사용한다. 특히 distractor와 negative 변형은 사용자가 세션 전체 어휘를 제공하지만 대부분의 용어가 해당 발화에 없는 실제 상황을 가르친다. 강화 학습 단계에서는 239k 후보 녹음에서 20k 예시를 추출하고, 보상은 1 - WER(만다린은 CER)로 정의한다.

결과와 숫자의 의미

영어 받아쓰기에서 Nemotron 3.5 Transcribe는 Open ASR Leaderboard 공개 9개 데이터셋 평균 WER 4.71%를 기록해 가중치 공개 모델 중 가장 낮다. 다음으로 낮은 Qwen3-ASR-1.7B는 4.94%다. 다만 일부 비공개 상용 모델이 더 낮은데, 예를 들어 OtterAI speech-v3.1은 3.88%다. 블로그의 외부 리더보드 5.33%와 모델 카드의 자체 측정 4.71%는 서로 다른 집계이므로 혼용하면 안 된다. 장문 받아쓰기에서는 평균 WER 10.98%로 가중치 공개 모델 중 최저이며, Parakeet-TDT-0.6B-v3는 13.37%다.

문맥 ASR에서 ContextASR-Bench Speech (English)의 고유명사 오류율(NE-WER)은 힌트가 없을 때 12.21%, 세부 용어 목록을 줬을 때 2.20%다. 이는 상대 감소 약 82%, 비율 약 5.55배이며, 기술 보고서 초록이 '고유명사 오류를 6배 줄였다'고 적은 것이 이 결과다. 고유명사 누락률(NE-FNR)은 14.99%에서 1.32%로 줄었다. 전체 WER은 3.33%에서 1.71%로 감소했다. 모델 카드에서 Contextual Earnings-22의 키워드 재현율은 힌트 없이 58.16%, 녹음별 용어를 줬을 때 96.05%다.

화자 구분에서 VoiceArena Diarization-Bench v1의 영어 전체 세션 cpWER은 32.4%로 14개 시스템 중 1위다. cpWER은 예측한 화자 표시를 정답 화자와 가장 잘 맞게 짝지은 뒤 단어 오류율을 계산해, 받아쓰기와 화자 배정 오류를 함께 반영한다. DAI-ASR-I18N의 21개 언어 화자 분리 오류율(DER)은 18.26%로 Nemotron 3 Diarization의 18.38%보다 약간 낮다. 다만 한국어 타임스탬프 F1 83.78%는 200ms 허용, 비공개 MCS 평가셋에서 측정했고 일부 정답은 Qwen 정렬기로 생성되어 완전한 독립 평가가 아니다.

한국어는 모델 카드에서 받아쓰기·영어 상호 번역·다화자 받아쓰기·코드 스위칭을 지원하는 Leading 등급이다. 이는 제공사의 품질 분류다. FLEURS 한국어 CER 2.78%는 문자 단위 오류율이므로 영어의 단어 단위 WER과 바로 비교할 수 없다. 학습 표의 한국어 약 22.9천 시간은 학습 예시의 시간 합계로, 같은 오디오가 다른 작업 예시에 쓰이면 중복될 수 있다. 1.77%는 반복을 포함한 전체 학습 노출 비중이다. 공개 Granary 매니페스트의 양과 이 모델 전체의 학습량은 서로 다르다.

구체적인 예시

설명용 가상 예로, 같은 사내 회의 녹음에서 첫 요청에는 머뭇거림까지 그대로 남기고, 두 번째에는 반복어를 덜어 읽기 쉬운 대본을 만들 수 있다. 참석자의 실제 신원을 추정하는 대신 화자별 기호와 단어 시간을 요청하고, 회사명·제품명 후보를 함께 주되 소리가 뒷받침할 때만 사용하도록 지시하는 방식이다. 이 예시는 모델 카드의 사용법을 업무 상황에 옮긴 것이며 실제 한국어 회의 실험 결과는 아니다.

실제 의료 도메인 적응 사례에서는 인도 의사와 의대생의 Eka Care 녹음을 평가했다. 3,619개 클립을 화자 기준으로 나눠 855개는 지시문과 체크포인트 선택에 쓰고, 남은 2,764개는 최종 시스템마다 한 번만 평가했다. 선택에 쓰지 않은 화자들의 녹음에서 최적 지시문을 쓴 기본 모델의 WER 22.44%가 미세조정 후 12.17%로 낮아졌다. 상대 감소는 45.8%다. 전체 평가셋의 11.8%는 선택용 클립도 포함하므로 이 보류 평가와 구분해야 한다. 이 사례가 한국어 의료 음성에도 같은 효과를 보장하지는 않는다.

한계와 오해하기 쉬운 점

이 모델은 오프라인 모델이다. 인코더가 내부적으로 오디오를 30초 단위로 나눠 처리하지만, 이것은 처리 방식일 뿐 실시간 스트리밍 음성 인식을 지원한다는 뜻이 아니다. 실시간 자막이나 음성 비서처럼 말하는 도중에 결과가 필요하다면 NVIDIA의 별도 스트리밍 모델인 Nemotron 3.5 ASR Streaming(600M, 한국어 지원)을 봐야 한다. 또한 오디오 질의응답, 추론, 음성 지시 수행은 영어로만 평가했고, 모델 카드는 '다른 언어에서는 안정적으로 동작하지 않을 수 있다'고 적었다.

처리 속도 수치도 조건을 구분해야 한다. 최고 2238 RTFx는 RTX PRO 6000 Blackwell Server Edition, NIM의 최적화 vLLM, NVFP4+DFlash2, 동시 요청 조건에서 측정했다. 30초 녹음 0.13초는 단일 요청 지연으로 최고 처리량과 같은 조건이 아니다. 이 최적화는 공개 소스 릴리스에 아직 없고, 모델 카드는 공개일에 배포된 vLLM 통합이 대략 2배 느릴 것이라고 밝힌다. 소비자 GPU인 RTX 5090은 NVFP4만 지원하는데, 기술 보고서는 NVFP4가 다국어 Open ASR 평균에서 BF16보다 오류율이 0.27포인트(상대 5.8%) 높다고 보고한다. 한국어 받아쓰기가 목적이라면 정확도 손실을 고려해야 한다.

모델은 드물게 생성이 끝나지 않고 같은 내용을 반복하는 경우가 있다. 기술 보고서는 정규식 기반 정리 함수(cleanup_generation_loops)를 제공하며, 받아쓰기, 번역, 언어 식별 결과는 이 함수를 적용한 수치다. 장문 받아쓰기에서 451개 녹음 중 7개가 생성 루프의 영향을 받았고, 가드레일 없이는 평균 WER이 12.87%로 올라간다. 또한 화자 표시는 녹음 안에서 화자를 구별할 뿐 실제 인물의 신원을 확인하지 않는다. 이름, 화자 전환, 답변은 녹음과 대조해 확인해야 한다.

실제로 어떻게 활용할까

먼저 자신의 녹음에서 기본 받아쓰기와 용어 힌트를 준 받아쓰기를 비교하는 것이 좋다. 이름·숫자·전문 용어, 겹친 발화, 화자 전환을 따로 점검하면 평균 오류율만으로 놓치는 문제를 찾을 수 있다. 다국어 회의라면 언어가 바뀌는 구간도 확인한다. 한국어 받아쓰기 지원과 한국어 오디오 질의응답의 신뢰도는 별도 검증 대상이다.

배포 경로마다 지원 기능이 다르다. 모델 카드의 vLLM·NeMo Speech 경로는 화자 표시와 단어 타임스탬프를 지원하지만, SGLang-Omni의 해당 공개 버전은 파일 단위 받아쓰기에 기능이 제한된다. 모델의 최대 녹음 길이와 서버의 파일·출력 길이 기본 제한도 다르므로 긴 녹음이 거부되거나 대본이 잘리지 않는지 확인해야 한다. 단일 GPU 실행 예제의 기준은 H100 80GB이며, 더 작은 소비자 GPU에서 같은 성능을 기대해서는 안 된다.

도메인 적응은 지시문과 용어 목록으로 해결되는지 먼저 확인하고, 별도 보류 데이터를 마련한 뒤 미세조정을 검토할 수 있다. 함께 공개한 Granary v2는 48개 언어·463,062시간의 라벨 매니페스트이며 원본 오디오 전체를 제공하지 않는다. 각 원천 배포처에서 오디오를 확보해야 하며 언어별 공개량도 다르다. 원문 전체와 PDF는 첨부했으며 해설 입력에서는 반복 실행 예시와 데이터 설정목록만 발췌 생략했다.