Tacit-TTS: 참고 음성의 대본 없이 더 빠르게 음색을 복제하기

배경과 문제

음성 복제는 짧은 참조 녹음만으로 새로운 화자의 목소리와 표현 특성을 재현하는 기술이다. 현대 시스템은 대규모 음성 데이터로 학습하여 높은 품질을 달성하지만, 대부분 자동 회귀(autoregressive) 방식으로 의미 토큰을 순차적으로 생성한다. 자동 회귀 생성은 이전 토큰이 다음 토큰을 결정하는 구조라서 출력 길이에 비례해 계산 시간이 늘어나고, 긴 문장에서는 지연(latency)이 심각해진다. 예를 들어 IndexTTS2는 5,274밀리초의 텍스트-의미(T2S) 단계 지연을 보이는데, 이는 전체 생성 시간의 대부분을 차지한다.

비자동 회귀(non-autoregressive) 시스템은 병렬 생성을 통해 이 병목을 완화하지만, 대부분 참조 음성의 대본(transcript)을 조건으로 요구한다. 대본은 자동 음성 인식(ASR)으로 얻는데, 지원되지 않는 언어나 의미 있는 어휘가 없는 소리(예: 아기 옹알이)에서는 신뢰할 수 없다. 또한 고정 길이 디코딩은 생성 전에 목표 지속 시간을 알아야 하는 별도 제약을 만든다. 이로 인해 고품질 음성 복제와 효율적·대본 불필요·사전 길이 제약 없는 음성 복제 사이에 실용적 간극이 존재한다.

기존 접근의 한계

자동 회귀 기반 시스템인 CosyVoice2, SparkTTS, IndexTTS2는 강력한 제로샷 성능을 보이지만 순차 디코딩으로 인해 생성 속도가 느리다. 예를 들어 IndexTTS2의 실시간 계수(real-time factor)는 약 1.1로, 1초 음성을 생성하는 데 약 1.1초가 걸리는 수준이며 긴 발화에서는 누적 지연이 커진다. 반면 MaskGCT나 F5-TTS 같은 비자동 회귀 시스템은 빠르지만, 참조 음성의 대본을 필요로 한다. F5-TTS는 내부 Whisper 모델로 참조를 전사하고, MaskGCT는 프롬프트 텍스트를 직접 요구한다.

대본 의존성은 교차 언어 참조에서 치명적이다. 예를 들어 F5-TTS는 일본어 참조로 영어 문장을 생성할 때 단어 오류율(WER)이 38.86%에 달하고, CosyVoice2는 힌디어 참조에서 126.34%의 WER을 기록한다. 이는 ASR이 참조 언어를 제대로 인식하지 못해 빈 텍스트나 환각(hallucinated) 텍스트를 조건으로 사용하기 때문이다. 또한 비어휘적 참조(아기 옹알이, 합성 횡설수설)에서는 대본 자체가 존재하지 않아 시스템이 입력 단계에서 실패하거나 불안정해진다. 이러한 한계는 음성 복제의 적용 범위를 제한한다.

연구방법을 단계별로

Tacit-TTS는 IndexTTS2를 교사(teacher)로 삼아 지식 증류(knowledge distillation)를 수행한다. 먼저 텍스트-의미(T2S) 단계에서 자동 회귀 Transformer를 마스킹 기반 비자동 회귀 생성기로 교체한다. 이 생성기는 양방향 DiT(Diffusion Transformer)로, 마스킹된 의미 토큰, 텍스트 임베딩, 참조 음성에서 추출한 화자·감정 임베딩을 조건으로 받는다. 디코딩은 고정된 반복 횟수(기본 12회) 동안 모든 마스킹 위치를 병렬로 예측하고, 가장 확신도 높은 예측부터 확정하며 나머지를 점진적으로 채워나간다. 이 방식은 출력 길이와 무관하게 순방향 패스 횟수가 일정하여 자동 회귀보다 훨씬 빠르다.

비자동 회귀 생성은 목표 의미 길이를 미리 알아야 하므로, Tacit-TTS는 학습 없이(training-free) 길이를 추정하는 전략을 도입한다. 참조 음성에서 무성 구간을 제거한 지속 시간과 의미 코덱 프레임 속도를 곱해 참조 의미 위치 수를 얻고, 참조 음성의 음절 수를 음향적으로 추정하여 말하기 속도(pace factor)를 계산한다. 이 속도를 [7,12] 범위로 클램핑한 뒤 목표 텍스트의 음절 수와 곱해 목표 의미 길이를 결정한다. 음향 음절 추정은 유성 구간의 에너지 피크를 활용하며, 텍스트 음절 추정은 중국어는 문자당 1음절, 영어는 규칙 기반 추정기를 사용한다.

T2S 모델은 교사가 합성한 데이터로 학습된다. 각 학습 샘플은 참조 음성과 내용 독립적인 목표 문장을 짝지어 교사가 의미 코드, 연속 잠재 표현, 화자·감정 조건을 생성한다. 손실 함수는 마스킹된 위치의 의미 코드를 예측하는 교차 엔트로피 손실과, 교사의 연속 잠재 표현에서 이산 코드 임베딩을 뺀 잔차(residual)를 복원하는 L2 손실로 구성된다. 잔차 복원은 다운스트림 렌더러가 기대하는 연속 표현을 보존하여 품질 저하를 막는다.

의미-오디오(S2A) 단계에서는 IndexTTS2의 흐름 매칭(flow-matching) 렌더러를 유지하되, ReFlow 증류로 가속한다. 먼저 사전 학습된 렌더러를 Tacit-TTS의 T2S 출력 분포에 미세 조정하고, 원래 25단계 솔버로 생성한 잡음-멜 스펙트로그램 쌍을 기록한다. 이 쌍들로 렌더러를 재학습하여 생성 경로를 직선화하면, 4~8단계 오일러 적분만으로 유사한 품질을 얻을 수 있다. 결과적으로 T2S 단계는 26.5배, S2A 단계는 약 2.8배 빨라져 두 생성 단계의 합산 시간이 12.1배 단축된다. 약 470ms의 공통 참조 조건 계산은 이 배율에서 제외된다.

결과와 숫자의 의미

네 가지 데이터셋(LibriSpeech test-clean, SeedTTS test-en/zh, AISHELL-1 test)에서 Tacit-TTS는 배포 가능한 시스템 중 영어 화자 유사도(SS)가 가장 높다. LibriSpeech의 SS는 0.875로 교사 IndexTTS2의 0.870보다 약간 높고, SeedTTS test-en에서는 0.849로 교사의 0.860보다 약간 낮다. 단어 오류율(WER)은 LibriSpeech에서 5.54%로 IndexTTS2의 3.115%보다 높지만, 다른 비자동 회귀 시스템인 MaskGCT(7.759%)나 F5-TTS(8.044%)보다 낮다. 중국어에서는 성능이 다소 떨어지는데, 이는 학습 데이터의 화자 불균형(영어 2,342명, 중국어 397명) 때문으로 추정된다.

효율성 측면에서 Tacit-TTS는 5초 이상 발화에서 IndexTTS2보다 10배 이상 빠르다. 표 4에 따르면 T2S 지연이 5,274ms에서 199ms로 26.5배 감소하고, S2A 지연이 875ms에서 310ms로 줄어 두 생성 단계의 합이 6,149ms에서 509ms로 12.1배 단축된다. 이 비교에는 두 모델에 공통인 약 470ms의 참조 조건 계산 시간이 포함되지 않는다. 속도 향상은 출력 길이에 따라 달라지는데, 4초에서 9.0배, 30초 부근에서 최대 14.9배까지 증가한 뒤 62초에서는 13.8배, 125초에서는 11.8배로 줄어든다. 저자들은 긴 출력에서 비자동 회귀 단계의 자기 주의(self-attention) 비용(O(n²))이 커지는 점으로 이를 설명한다. 이는 문단 길이 음성에서 비자동 회귀의 이점이 가장 크다는 것을 보여준다.

교차 언어 참조 실험에서 Tacit-TTS는 8개 언어(일본어, 한국어, 독일어, 스페인어, 러시아어, 아랍어, 힌디어, 요루바어) 참조로 영어와 중국어 문장을 생성할 때 평균 SS 0.789(영어), 0.692(중국어)를 달성하고 WER/CER은 각각 0.10%, 1.90%로 매우 낮다. 반면 대본 의존 시스템은 심각한 성능 저하를 보인다. 예를 들어 F5-TTS는 영어 타겟에서 평균 WER 24.56%, CosyVoice2는 45.95%를 기록하고, MaskGCT는 러시아어와 아랍어 참조에서 모두 실패한다. 비어휘적 참조(아기 옹알이, 합성 횡설수설)에서도 Tacit-TTS는 모든 참조에 대해 음성을 생성하며, 아기 옹알이에서는 IndexTTS2보다 높은 SS를 보인다.

구체적인 예시

합성 횡설수설(synthetic gibberish) 참조는 'kalene kuguva ge yu mu nola vi pesa' 같은 무의미한 음절 나열이다. 이는 어떤 언어의 실제 단어도 포함하지 않아 유효한 대본이 존재하지 않는다. Tacit-TTS는 이런 참조로 영어 문장을 생성할 때 SS 0.781, WER 1.07%를 달성하는 반면, F5-TTS는 WER 17.33%, CosyVoice2는 49.24%로 크게 나빠진다. 이는 대본 없이 참조 음성의 음향적 특성만으로 화자 정체성을 포착할 수 있음을 보여준다.

아기 옹알이(infant babble) 참조는 70개 녹음 중 에너지 기반 음성 활동 감지로 가장 긴 유성 구간을 선택하고, CAM++ 화자 임베딩으로 k-평균 군집화하여 대표 3개를 뽑았다. Tacit-TTS는 이 참조로 영어 타겟에서 SS 0.603, WER 3.24%를 기록하는데, 이는 IndexTTS2의 SS 0.484, WER 4.76%보다 우수하다. 대본 의존 시스템 중 SparkTTS는 WER 99.00%로 사실상 실패한다. 이러한 예는 대본 불필요 조건이 극단적 입력에서도 안정적으로 작동함을 입증한다.

한계와 오해하기 쉬운 점

Tacit-TTS의 중국어 성능은 영어보다 낮다. SeedTTS test-zh에서 SS 0.829, CER 1.71%로 IndexTTS2(SS 0.865, CER 1.008%)에 미치지 못한다. 이는 학습 데이터의 화자 수가 영어 2,342명 대비 중국어 397명으로 불균형하기 때문으로 추정되지만, 원문은 명확한 인과 관계를 증명하지 않는다. 또한 Tacit-TTS는 교사인 IndexTTS2의 조건 인코더와 보코더를 그대로 사용하므로, 참조 조건 계산에 약 470ms의 일회성 비용이 발생한다. 이 비용은 짧은 발화에서는 전체 지연의 상당 부분을 차지할 수 있다.

속도 향상이 모든 길이에서 일정하지 않다는 점에 주의해야 한다. 4초 발화에서는 9.0배이지만 30초에서 14.9배로 증가하고, 125초에서는 11.8배로 감소한다. 이는 비자동 회귀 단계의 전체 자기 주의가 O(n²) 복잡도를 가지기 때문이다. 따라서 매우 긴 음성(1분 이상)에서는 자동 회귀 대비 이점이 줄어든다. 또한 지각 품질 지표인 UTMOS와 DNSMOS는 일부 시스템이 실제 녹음보다 높은 점수를 받는 등 편향이 있을 수 있어, 보조 지표로만 해석해야 한다. Tacit-TTS의 UTMOS는 LibriSpeech에서 4.009로 IndexTTS2의 4.051에 근접하지만, 절대적 순위로 단정하기 어렵다.

실제로 어떻게 활용할까

Tacit-TTS는 대본을 얻기 어려운 실제 시나리오에 적합하다. 예를 들어 다국어 더빙에서 참조 화자가 소수 언어를 사용하거나, 음성 장애인의 발화처럼 어휘적 내용이 불분명한 경우에도 음성 복제가 가능하다. 또한 실시간 상호작용이 필요한 가상 비서나 게임 캐릭터 음성에서 긴 문장을 빠르게 생성할 수 있다. 논문은 명시적으로 의료 및 보조 기술 응용을 언급하며, 개인화된 음성 합성이 필요한 상황을 예로 든다.

그러나 배포 시 윤리적 고려가 필수적이다. 저자들은 음성 복제가 사칭, 사기, 비동의 합성 음성 생성에 악용될 수 있으며, 대본 불필요 기능이 임의 녹음에서 복제 장벽을 더 낮춘다고 경고한다. 따라서 Tacit-TTS를 배포할 때는 복제 대상 화자의 동의를 요구하고, 오디오 워터마킹이나 합성 음성 탐지와 같은 안전장치를 함께 사용할 것을 권장한다. 이 연구는 공개 연구 데이터셋만 사용했고 새로운 녹음을 수집하지 않았으며, 화자 식별을 시도하지 않았다.