매출 개념을 알아도 숫자를 빠뜨린다: 다국어 금융 근거 추출의 빈틈

배경과 문제

여러 나라의 기업을 비교하려면 서로 다른 언어의 재무 보고서에서 같은 회계 개념을 알아보고, 그 개념을 표현하는 숫자를 빠짐없이 모아야 한다. 저자의 설명용 가상 예처럼 프랑스어 보고서에 올해 매출 2억 8천만 유로와 전년 매출 2억 5천만 유로가 있다면, 성장률 계산에는 두 값이 모두 필요하다. 모델이 매출이라는 개념은 맞혔지만 올해 값만 고르면 계산 근거가 불완전해진다. 이 논문은 개념 인식과 숫자 회수를 같은 다국어 문서 묶음에서 따로 시험해, 두 능력 사이의 차이를 직접 드러내려 한다.

기존 재무 벤치마크는 개념 연결(FiNER, FNXL, FinTagging), 수치 추론(FinQA, TAT-QA), 다국어 과제(MultiFin, MultiFinBen) 등을 다룬다. FinQA는 검색 재현율도 보고하고 MultiFinBen은 다국어 추출을 포함하므로 기존 연구가 근거를 전혀 평가하지 않았다는 뜻은 아니다. 이 연구의 차이는 동일한 문서 묶음에서 공통 개념을 알아맞혔는지와 그 개념의 모든 숫자를 회수했는지를 연결해 분석하는 데 있다. 이를 위해 개념 인식 T2a와 모든 관련 사실 선택 T2b를 짝지었다.

기존 접근의 한계

개념 연결 문제에서 높은 점수를 받더라도 실제 근거가 빠짐없이 모였는지는 별도로 확인해야 한다. 8개 참조 모델의 개념 인식 정확도는97.3~99.4%였지만, 그 개념을 맞힌 묶음 중26.6~41.9%에서는 숫자를 적어도 하나 놓쳤다. 이 수치는 모든 숫자의 오류율이나 환각률이 아니라, 개념을 제대로 알아본 경우에도 누락이 발생한 문서 묶음의 비율이다. 모델을 선택할 때 인식 점수 하나만 보면 이런 실패를 놓칠 수 있다는 것이 논문의 핵심 문제 제기다.

누락을 찾을 때는 전체 평균과 언어별 회수율을 함께 보아야 한다. 이 실험은 하나의 개념에 대해 영어·프랑스어·그리스어 문서를 묶고 각 문서의 숫자를 모두 찾도록 했다. 그리스어 재현율은8개 참조 모델 중7개에서 가장 낮았다. 다만 언어마다 회사·산업·문서 스타일도 다르기 때문에, 이 차이를 그리스어 능력 하나로 설명할 수는 없다. 번역된 동일 문장을 언어만 바꿔 비교한 시험과는 성격이 다르다.

연구방법을 단계별로

MULTIFINGROUND는 FY2025(회계연도 종료 2025-12-31) ESEF 보고서 90개로 구성된다. 영어·프랑스어·그리스어 각 30개 발행사이며, 각 언어 문서는 독립적으로 작성된 서로 다른 회사의 보고서로 번역 쌍이 아니다. 발행사가 iXBRL 태그로 숫자에 매핑한 IFRS 개념을 활용해 주석을 만들고, 공유 IFRS 개념으로 언어 간 발췌문을 연결한다. 모델 입력에서는 원래 iXBRL 태그를 제거하고 텍스트와 마크다운 표만 제공한다.

과제는 네 가지다. T1(사실 식별)은 금융 숫자를 다른 숫자와 구분하고 금액/주당/주식수 유형, 시점/기간, 정상 차변/대변 속성을 찾는다. T2a(개념 인식)는 표시된 숫자들의 공통 회계 개념을 4지선다로 고른다. T2b(철저한 사실 선택)는 정답 개념을 받은 별도의 무상태 호출에서 해당 개념의 모든 숫자를 선택한다. T2c(개념 변별)는 후보 개념명 없이 4개 문서 중 다른 개념 하나를 찾는다. T2a와 T2b는 같은 맥락을 공유하지만 독립 호출이며, T2b에 T2a의 모델 오답이 전달되지 않는다.

데이터 규모는 T2a/T2b가 187개 표준 IFRS 개념·521묶음이며, 묶음당 평균 40.6개 숫자 중 7.8개가 정답이다. T2c는 534문항·267개 개념이다. T1만 발행사 확장 개념을 포함한다. 전문가 2명이 과제별 10% 층화표본을 독립 검토·합의했고, T1 숫자 1.3%, T2b 사실 2.1%를 정정하고 T2a 선택지 5.1%의 모호성을 확인했다. 이 수정·제외를 반영한 결과가 보고되지만 나머지 90%는 자동 태그라 오류가 남을 수 있다.

결과와 숫자의 의미

주요 결과(Table 3)에서 8개 참조 모델(API 4개+공개가중치 4개)의 T2a 정확도는 97.3~99.4%다. 그러나 T2b의 concept-macro F1은 최고 90.4(Qwen3.5-122B-A10B), 완전정답집합(exact-set) 정확도는 최고 71.8%에 그친다. T2c 정확도는 35.6~95.1%로 모델 간 편차가 크다. 예를 들어 DeepSeek-V4.1-Flash는 T2a 98.3%인데 T2c는 35.6%로 급락한다. 다만 T2a와 T2c는 보기의 유무뿐 아니라 제시 근거와 문제 구조도 달라, 점수 차이를 개념명 보기에 기대는 정도만으로 해석할 수는 없다.

조건부 누락(Table 5)을 보면, T2a를 맞힌 그룹 중 Qwen3.5-122B는 26.6%, Gemini 3.8 Flash는 34.6%에서 정답 숫자를 하나 이상 놓쳤다. 같이 개념을 맞힌 묶음에서 계산한 언어별 재현율은 Gemini가 영어 81.7%, 프랑스어 82.2%, 그리스어 75.1%이고, Qwen3.5-122B는 79.6/80.9/77.7%다. 그리스어 재현율이 8개 중 7개 모델에서 가장 낮지만, 회사·산업·문서 스타일도 다르므로 언어 능력만의 차이로 해석하면 안 된다.

T1에서는 참조 모델이 사실 식별 후 유형 정확도 99.9% 이상, 기간 정확도 98.4% 이상을 보이지만 정상 차변/대변 속성의 정확도는 80.6~95.7%로 낮다. 특히 차변 성격의 기간 금액(현금 유입 등)이 가장 어려운 클래스다. 여기서 차변·대변은 회계 개념의 속성이며 표시된 숫자의 양수·음수와 같지 않다. 대부분 모델이 표보다 텍스트에서 성능이 떨어진다. 금융 특화 모델 4개는 T1, T2a, T2c에서 기반 모델보다 대체로 낮은 점수를 보였지만, Fin-R1은 T2b에서 기반 모델보다 9.9 F1점 높아 일률적 열세라고 단정할 수 없다.

구체적인 예시

부록 E의 설명용 가상 문서를 보면, 영어 발행사 A는 매출 420, 프랑스어 발행사 B는 올해 매출 280과 전년 250, 그리스어 발행사 C는 매출 130을 보고한다. 단위는 모두 백만 유로다. T2a에서 모델이 '매출'이라는 개념을 맞혀도, T2b에서 {N1, N3, N6}만 선택하고 프랑스어 전년 비교값 N4(250)를 빼면 완전 회수가 아니다. 반대로 이익 숫자 N2, N5, N7을 추가 선택하면 정밀도가 떨어진다. 이 예시는 저자가 만든 가상 문서이며 실제 회사 실적이나 벤치마크 문항 수치가 아니다.

이 예시는 'target coverage'와 'exact-set accuracy'의 차이를 보여준다. 모든 정답을 포함했지만 오답을 추가로 선택하면 coverage는 충족하지만 exact-set은 아니다. 논문의 T2b 평가는 재현율(정답 중 찾은 비율)과 정밀도(선택 중 정답 비율)를 함께 보고하며, 완전 정답 집합을 요구하는 exact-set 정확도는 오답 추가를 처벌한다. 따라서 '모든 숫자의 26~42%가 틀렸다'거나 '환각률'이라는 해석은 옳지 않다. 26.6~41.9%는 개념을 맞힌 그룹 중 정답 숫자를 하나 이상 누락한 그룹의 비율이다.

한계와 오해하기 쉬운 점

이 벤치마크는 실제 PDF 시각 인식이나 검색 도구 능력을 평가한 실험이 아니다. 모델에는 텍스트와 마크다운 표가 주어지며, iXBRL 태그는 정답 생성에만 쓰이고 입력에서 제거된다. 호출은 영어 지시·원어 근거, 시스템 프롬프트/검색/도구/이력 없음, 입력 평균 1.2k·최대 3.7k 토큰, 출력 예산 16,384토큰(추론 포함)이다. API 추론은 끄고 기본 디코딩을 사용하므로 계산량은 모델마다 동일하지 않다.

형식 오류·예산 소진·거절은 오답 처리된다. Qwen3.8은 일부 과제에서 23~34% 예산 소진, Plutus는 T1 출력 80%가 무효였다. 따라서 낮은 점수 전체를 금융 지식 부족으로만 해석하면 안 된다. 전문가 감사는 10% 층화표본만 검토했고, 감사 표본에서 주요 점수 변화가 최대 1.4%p라는 것은 전체 정답 검증을 보장하지 않는다. T1에서 태그 없는 금액 일부는 미채점이다.

T2 그룹이 회사를 공유해 독립이 아니며, 저자도 T2 부트스트랩 구간을 보고하지 않았다. McNemar p값은 회사 공유 의존성을 반영하지 않는 탐색적 값이다. C2 현지어 라벨은 언어뿐 아니라 개념 ID도 제거하므로 효과를 분리할 수 없다. 그리스어 재현율이 낮아도 회사·산업·문서 스타일이 달라 순수 언어 능력 차이라고 단정할 수 없다. 한국어는 평가하지 않았다.

실제로 어떻게 활용할까

이 벤치마크의 실무적 의미는 개념 매칭 정확도가 근거 완전성 검사를 대체하지 않는다는 점이다. 예를 들어 재무 분석 시스템에서 '매출' 개념을 인식했다고 해서 모든 기간·모든 언어의 매출 숫자를 다 찾았다고 보장할 수 없다. 따라서 모델 출력을 근거 목록에 연결해 기간·단위·회계 개념을 따로 검증하는 절차가 필요하다. 이 논문은 그런 검증을 위한 평가 프레임워크를 제공한다.

다만 이 연구는 추출 벤치마크이며 투자 수익, 법규 준수, 실제 감사 자동화 성능을 입증하지 않는다. 벤치마크 점수는 재무 보고 규정 준수 적합성을 나타내지 않으며 전문가 검토를 대체하지 않는다. 실제 활용 시에는 언어별 재현율 차이, 형식 오류 가능성, 발행사별 문서 스타일 차이를 고려해야 한다. 이 결과를 한국어 공시나 다른 회계 제도에 적용하려면 그 자료에서 기간별 누락과 오답 추가를 따로 측정해야 한다.