AI가 아는 것과 '안다'는 말의 차이를 잰 벤치마크 FinDendro

무엇이 문제였나

금융에서는 AI의 예측 실력을 과거 자료로 시험한다. 예를 들어 2022년까지의 정보만 주고 2023년 물가를 맞혀 보게 한 뒤 실제 값과 견준다. 이를 백테스트(backtesting)라고 한다. 그런데 대형 언어 모델(LLM)은 인터넷 글을 대량으로 읽고 만들어진다. 2023년 물가가 이미 학습 자료에 들어 있었다면, 모델은 예측한 것이 아니라 기억을 꺼낸 것일 수 있다. 저자들은 이를 사후 정보 누출(hindsight leakage)이라고 부른다.

지금까지는 세 가지 방법으로 이를 막으려 했다. 첫째, 개발사가 밝힌 지식 컷오프(knowledge cutoff, 학습 자료가 끝나는 시점) 뒤의 기간만 시험한다. 둘째, 모델에게 "이 결과를 아느냐"고 묻는다. 셋째, "오늘이 과거 어느 날이라고 생각하고 답하라"고 시킨다. 저자들은 이 세 방법이 믿을 만한지 따져 본 연구가 거의 없었다고 본다.

어떻게 했나

연구진은 FinDendro라는 시험 문제 묶음(벤치마크)을 만들었다. 1999년부터 2026년까지 날짜가 붙은 미국 금융 사실 2,226건이다. 물가·실업률·금리 같은 거시경제 지표 1,353건, 대기업 50곳의 월말 주가 540건, 연방준비제도(연준)의 금리 결정 333건으로 이뤄졌다. 정답은 나중에 고쳐진 값이 아니라 그때 처음 발표된 값으로 채점했다.

사실 하나마다 질문을 네 가지로 던졌다. 먼저 보기 가운데 값만 고르게 했다(과제 1). 다음에는 같은 보기에 '안다'와 '모른다, 짐작이다' 꼬리표를 붙여 두 번씩 보여 주고 하나를 고르게 했다(과제 2). 이 질문은 '기억해 보라'와 '예측해 보라' 두 말투로 물었다. 마지막에는 "오늘은 그 전달 말일이다"라는 문장을 앞에 붙여 예측을 시켰다(과제 3). 모델의 답과 '안다/모른다'는 말을 같은 사실에서 나란히 얻는 설계다.

찍어도 맞는 문제는 덜어 냈다. 숫자 문제의 47%는 '지난달과 가장 가까운 값'만 골라도 정답이 됐다. 이런 문제를 빼고 1,007건만 지식 점수에 썼다. 금리 결정은 78%가 '동결'이어서, 인상·인하·동결 세 경우의 정답률을 따로 구해 평균했다. 이렇게 남은 1,340건에서 아무것도 모르고 찍을 때 기대되는 정답률은 약 27%다.

결과와 숫자의 뜻

주로 시험한 대형 모델은 GPT-5, DeepSeek-V3.2, GPT-4o, Llama-3.3-70B 넷이다. 이 가운데 셋은 아는 것보다 적게 안다고 말했다. GPT-5는 정답률 76%에 '안다' 38%, DeepSeek-V3.2는 54%에 28%, GPT-4o는 50%에 20%였다. 정답률은 찍기 쉬운 문제를 걸러 낸 1,340건에서, '안다' 비율은 전체 2,226건에서 잰 값이다.

'모른다'고 한 사실만 남기면 누출이 사라질까. 가장 강한 모델에서는 그렇지 않았다. GPT-5의 지식이 닿는 기간 안에서 '모른다'고 한 사실은 46%였는데, 그 사실들의 정답률이 75%였다. 지식 경계 뒤의 33%와 견주면 차이가 크다. 전체 기간으로 보면 DeepSeek-V3.2도 '모른다'고 한 사실의 48%를 맞혔다. 반면 GPT-4o(34%)와 Llama-3.3-70B(29%)는 찍기 수준에 가까웠다. '모른다'는 말을 얼마나 믿을 수 있는지는 모델마다 달랐다. '안다'는 말에 정보가 없는 것도 아니다. GPT-5는 안다고 한 사실에서 95%, 모른다고 한 사실에서 61%를 맞혔다.

날짜를 선언하는 방법도 말만 바꿨다. '이미 안다'는 답이 GPT-5는 39%에서 1%로, Llama-3.3-70B는 63%에서 0%로, GPT-4o는 33%에서 4%로 줄었다. 정답률은 세 모델 모두 1%포인트 안에서만 움직였다. GPT-5는 지식 기간 안의 답 99%에 '예측'이라는 꼬리표를 붙였고, 그 답의 정답률은 82%였다. 지식 경계 뒤의 정답률은 39%였다. 넷 가운데 DeepSeek-V3.2만 '안다'는 답이 37%에서 46%로 늘었다. 이 모델도 정답률은 44%에서 43%로 거의 그대로였다.

모델과 사실 종류에 따라 달랐다

숨은 지식은 주가에서 가장 컸다. GPT-5는 주가 문제의 59%를 맞혔지만 안다고 한 것은 5%였다. DeepSeek-V3.2는 49% 대 2%, GPT-4o는 33% 대 0%였다. 연준 금리 결정에서는 아는 것과 안다고 말한 것의 차이가 훨씬 작았다. 저자들은 정밀한 숫자일수록 모델이 아는 것을 적게 말한다고 풀이한다. 반대로 아는 것보다 많이 안다고 말한 모델도 있다. Llama-3.3-70B는 안다고 한 비율(48%)이 정답률(43%)보다 조금 높았다. 작은 모델인 Qwen3-8B와 Qwen3.5-9B는 정답률이 36~37%로 찍기 수준에 가까운데 약 70%를 안다고 했다.

특정 시점까지의 글만으로 학습시킨 시점 고정 모델(point-in-time model) 세 계열도 시험했다. 매개변수가 10억~15억 개인 작은 모델들이다. 객관식 형식을 잘 따르지 못해 질문과 상관없이 첫 보기를 고르는 일이 잦았다. 그래서 고른 답 대신 보기마다 매긴 확률로 채점했다. 그래도 컷오프 앞뒤 모두 정답률이 25~30%로 찍기 수준이어서 비교 기준으로 쓰기 어려웠다.

쓸모와 주의할 점

저자들은 모델의 말이나 개발사가 밝힌 날짜에 기대지 말고, 날짜 붙은 사실로 모델을 직접 시험해 지식 경계를 잰 뒤 그 뒤 기간에서만 백테스트를 하라고 권한다. 개발사도 컷오프 날짜와 함께 이런 측정 결과를 내놓으면 좋겠다고 제안한다. 이 실험에서 컷오프를 밝힌 세 모델은 그 날짜가 측정한 경계와 같거나 더 늦었다. Llama-3.3-70B는 열 분기 늦었다.

주의할 점도 있다. 이 연구는 금융 숫자를 객관식으로 물은 결과다. 일상 대화에서 AI가 하는 "잘 모르겠다"는 말 전체에 그대로 들어맞는다고 볼 근거는 논문에 없다. 또 저자들은 이 벤치마크가 '이 기간은 누출이 없다'는 보증서처럼 쓰이는 것을 가장 큰 위험으로 꼽았다. 측정한 경계도 기준값에 따라 달라진다. GPT-5와 DeepSeek-V3.2는 많아야 한 분기 움직였지만, GPT-4o는 '안다'는 말이 지식보다 오래 간 기간이 1분기에서 6분기로 늘었다.