잡음을 지웠더니 언어 판별이 나빠졌다: SceneMaker의 한국어 방송 실험

배경과 문제

방송 영상을 짧은 클립으로 자동 편집하려면 음성이 있는 구간을 찾고 각 구간의 언어를 알아내야 한다. 언어 판별(LID, Language Identification)에서 잘못된 언어를 지정하면 뒤의 음성 전사(STT)도 틀어질 수 있다. 원문은 개발팀이 쓰던 WhisperX 구성에서 초반 30초로 정한 언어를 전체 영상에 적용해, 중간 외국어 발화를 한국어로 잘못 해석했다고 설명한다. 이는 모든 Whisper 사용법의 필연적인 한계라는 뜻이 아니며, 이 팀은 발화별 언어 판별을 별도 단계로 두려 했다.

그런데 한국 방송 콘텐츠는 배경음악(BGM), 효과음, 관중 함성이 항상 깔려 있어 일반적인 깨끗한 음성 데이터로 학습된 모델의 성능이 그대로 통하지 않는다. 이런 잡음이 많은 환경에서 어떤 LID 모델을 쓸지, 입력을 원본으로 할지 디노이즈로 할지에 대한 정량 데이터가 없어 감으로 결정할 수밖에 없는 상태였다. 이 실험은 그 결정을 데이터로 뒷받침하기 위해 시작되었다.

기존 접근의 한계

잡음을 줄여 사람이 듣기 편한 음성을 만드는 것과, 모델이 언어를 잘 구별할 입력을 만드는 것은 다른 목표다. 음성 향상 모델이 소리의 특징을 바꾸면 언어 판별기가 학습 때 본 입력과 달라질 수 있다. 반대로 잡음이 줄어 도움이 될 수도 있으므로, 어느 쪽이 나은지는 해당 데이터와 처리 방식으로 비교해야 한다.

상위 파이프라인은 이미 원본 음성으로 언어를 판별하고 있었지만, 그 선택을 뒷받침할 비교가 필요했다. 공개 표준 정답셋이 없는 방송 자료라는 제약도 있다. 도구는 우선 모델들이 같은 답을 내는지 자동 집계했고, 결과 문서는 별도 검수 시트의 맞음·틀림 표시로 점수를 냈다. 여러 모델이 같은 언어를 골라도 함께 틀릴 수 있으므로 일치율만으로 정답률을 알 수는 없다.

연구방법을 단계별로

실험은 두 가지 LID 모델(Whisper LID, VoxLingua107)과 두 가지 입력(raw, denoise)을 조합한 4-way 매트릭스로 설계되었다. 먼저 원본 오디오에 Silero VAD를 한 번만 실행해 발화 구간을 추출하고, 같은 시간 구간을 디노이즈 오디오에도 동일하게 적용했다. 이렇게 하면 raw와 denoise가 서로 다른 구간을 보는 일이 없어 비교가 공정해진다. 디노이즈는 DeepFilterNet v3를 사용했고 강도는 atten_lim_db=-30으로 고정했다.

각 발화에 두 모델과 두 입력을 교차 적용해 네 결과를 얻었다. Whisper LID는 faster-whisper large-v3-turbo의 detect_language()를 쓰며, 입력된 구간의 처음 30초를 이용한다. VoxLingua107은 SpeechBrain ECAPA-TDNN 기반의 언어 식별 모델로 107개 언어를 분류한다. 모든 모델은 미리 불러왔고 RTX 4090 한 장에서 순차 처리했다. 따라서 발표된 시간에는 모델 로딩 비용이 들어 있지 않다.

공개 코드의 _summarize는 네 조합의 전체 일치율과 조합별 일치율을 센다. 이것은 정답과의 비교가 아니다. 문서의 결과 절과 포럼에 나온 정확도는 별도 검수 시트에서 정답으로 표시된 구간 수를 분모로 나눈 값이다. 처리 시간은 잡음 제거, 발화 검출, 모델별 언어 판별을 나눠 기록했다. 이번 검토는 코드와 표를 대조했으며 음성을 다시 듣거나 모델을 재실행한 재현 실험은 아니다.

결과와 숫자의 의미

3,115개 구간에서 Whisper는 원본 2,964개 정답(95.2%)에서 잡음 제거 후 2,908개(93.4%)로, VoxLingua107은 2,769개(88.9%)에서 2,711개(87.0%)로 감소했다. 감소폭은 각각 약 1.8%포인트와 1.9%포인트다. Whisper에서는 예능이 502개 중 464개에서 438개로, 사극이 437개 중 411개에서 386개로 줄었다. 전체 평균에는 1,092구간인 야구의 비중이 커서, 여섯 장르를 같은 비중으로 평균한 점수는 아니다.

잡음 제거가 만든 신호 변화가 언어 판별을 방해했을 수 있지만, 이 실험은 그 원인을 따로 입증하지 않았다. 속도에는 다른 장단점이 있었다. 58분 41초짜리 다큐의 원본 입력에서 VAD와 LID를 합친 실제 처리 시간은 VoxLingua107 13.23초, Whisper 30.10초였다. 표의 13.53초와 30.78초는 영상 한 시간당으로 정규화한 값이다. 잡음 제거를 넣으면 각각 22.33초와 40.76초가 되어, 빠른 쪽도 전처리 비용이 늘고 상대 속도 차이도 달라졌다.

구체적인 예시

공개 docu 검수 시트의 383개 발화에서 Whisper 원본의 정답 표시를 더하면 349개다. 이것을 네 조합이 모두 동의한 수로 읽으면 안 된다. 언어 출력 네 열이 같은 행을 다시 세면 320개로, 다른 지표다. 04:42.6~04:44.3 구간에서는 Whisper의 두 입력이 영어, VoxLingua107 원본이 이탈리아어, 잡음 제거 입력이 포르투갈어를 냈다. 시트의 원본 언어 열은 이탈리아어이고 VoxLingua107 원본에만 맞음 표시가 있다. 전체 평균이 높은 모델도 개별 구간에서는 틀릴 수 있는 실제 기록이다.

08:00.3~08:02.4 구간은 Whisper의 두 입력이 스페인어, VoxLingua107의 두 입력이 에스토니아어를 냈지만 시트는 이탈리아어로 적고 네 결과 모두 틀림으로 표시했다. 모델 쌍끼리 동의한 답도 맞는 답은 아닐 수 있다. 여기서의 이탈리아어 판정은 공개 시트에 적힌 저자의 검수 기록을 읽은 것이며, 이번 해설에서 원음을 독립 청취해 확정한 정답은 아니다.

한계와 오해하기 쉬운 점

검수 시트 기반 점수는 참고용이다. 공개 표준 정답셋이 아니고, 검수 인원·일치도·오류 수정 절차를 충분히 확인할 수 없다. 이번 대조에서는 연결된 docu 탭 383행의 정답 표시 합계와 언어 출력의 동의 여부를 확인했다. 나머지 다섯 영상은 문서의 집계표만 대조했으며 원음이나 개별 판정을 다시 평가하지 않았다. 통계적 유의성을 확인한 결과도 제시되지 않았다.

장르마다 한 영상에서 많은 구간을 뽑았으므로 구간들을 모두 독립적인 새 방송 사례로 볼 수 없다. 잡음 제거기도 DeepFilterNet3의 한 설정만 시험했다. 결론은 이 조건의 언어 판별에 한하며 전사 정확도나 다른 잡음 제거기의 성능으로 확대할 수 없다. 저자가 별도로 소개한 방송 클립 초안 79개의 운영 사례도 이 벤치마크와 다르고, 전체 정량 평가는 아직 진행 중이다.

실제로 어떻게 활용할까

SceneMaker는 구간 분리와 언어 판별에는 원본을, 전사에는 잡음을 줄인 음성을 쓰고 있다고 밝혔다. 후자의 전사 개선 효과는 이번 언어 판별 실험으로 측정한 것이 아니다. 실제 도입에서도 한 가지 전처리를 모든 단계에 적용하기보다 단계별 목표를 나눠 시험할 수 있다. 이 여섯 영상에서는 Whisper 원본이 높은 검수 점수를 보였고 VoxLingua107이 빨랐지만, 다른 회의나 강의 자료에서도 같은 순위일지는 별도 확인해야 한다.

공개 도구는 같은 음성 구간에 네 조합을 적용하고 구간별 결과와 시간 CSV를 내보내므로, 자신이 다루는 자료에서 비교를 시작하는 데 쓸 수 있다. MIT 라이선스 코드지만 내부 파일·모델·로그 경로가 남아 있어 환경에 맞게 고쳐야 하며, Python 3.11과 CUDA GPU 등 실행 조건도 있다. 중요한 것은 코드를 바로 돌리는 행위보다, 먼저 대표 자료의 언어 정답을 검수하고 틀린 구간과 전처리 전후 변화를 함께 살피는 절차다.