AI는 어떤 학습 자료에서 답을 배웠을까: CATT로 추적 방식 진단

배경과 문제

데이터 귀속은 모델의 특정 행동을 유발한 학습 예시를 찾아내는 작업이다. 이상적으로는 해당 예시를 제거하고 다시 학습했을 때 행동이 사라지는 반사실(counterfactual)을 예측해야 하지만, 대형 모델을 반복 재학습하는 비용이 너무 커서 직접 검증이 어렵다. 그래서 여러 근사 알고리즘이 개발되었지만, 어떤 방법이 실제로 잘 작동하는지 평가할 신뢰할 만한 기준이 부족했다.

기존 평가는 사실 검색 같은 하위 과제를 사용하지만, 벤치마크마다 학습 말뭉치, 질문 구성, 과제가 동시에 달라서 결과가 충돌한다. 예를 들어 BM25 같은 단순 어휘 검색이 영향 함수보다 나은 벤치마크도 있고 그 반대인 벤치마크도 있다. 이렇게 여러 축이 한꺼번에 변하면 알고리즘이 왜 실패하는지 진단 신호를 얻을 수 없고, 저자들은 알고리즘의 속도·확장성뿐 아니라 추적 품질 자체의 진단도 필요하다고 주장한다.

기존 접근의 한계

영향 함수 기반 방법은 질문 손실과 학습 문서 손실의 그래디언트를 비교하여 문서 점수를 매긴다. 그러나 표준 교차 엔트로피 손실은 모델이 정답 토큰을 이미 높은 확률로 예측할 때 그래디언트가 0에 가까워진다. 즉, 추적하려는 바로 그 정답 토큰이 자신 있게 예측될수록 귀속 신호가 사라지는 역설이 생긴다.

또한 문서 점수는 보통 모든 토큰의 기여를 평균내어 계산한다. 학습 문서에는 정답을 결정하는 소수의 핵심 토큰과 무관한 배경 토큰이 섞여 있는데, 평균을 내면 핵심 신호가 배경 잡음에 묻혀 희석된다. 같은 사실을 바꿔 말한 문서가 늘거나 질문 형식을 흉내내는 어휘 방해 문서가 추가되면 이런 희석이 더 심해져 기존 방법의 재현율이 급락한다.

연구방법을 단계별로

연구진은 먼저 통제된 귀속 벤치마크 CATT를 설계했다. 사전학습에 없는 완전히 가상의 사실을 Qwen3.5-4B 모델에 LoRA로 미세조정하여, 새 사실을 어느 문서 집합에 넣었는지 알고 평가할 수 있게 한다. 이는 개별 문서 하나의 독점적인 인과 기여까지 보장하는 말은 아니다. 벤치마크는 함수 바인딩과 라우팅 규칙 두 과제로 구성되며, 사실당 문서 수 N, 사실 수 F, 어휘 방해 문서 포함 여부를 독립적으로 바꿀 수 있다. 각 학습 구성은 3개 시드로 반복하며, 정답은 한 토큰이다. 재현율 Recall@N은 정답 사실을 담은 N개 문서 중 추적 점수 상위 N개 안에서 찾은 비율이지, 모델의 답변 정확도가 아니다.

다음으로 토큰 수준 귀속을 분석했다. 층별 그래디언트 분해를 통해 각 토큰의 기여를 분리하고, 문서 점수를 모든 토큰의 합이 아니라 상위 k개 토큰의 평균으로 집계하는 방식을 실험했다. 동시에 손실 함수를 교차 엔트로피에서 음의 로그 오즈로 바꾸었다. 음의 로그 오즈는 정답 확률이 높아도 그래디언트가 0으로 수렴하지 않아 자신 있게 예측된 핵심 토큰의 신호를 보존한다. 여기서 바꾸는 것은 귀속 점수의 계산식이며, 모델 학습의 목적함수를 바꾸는 것이 아니다.

마지막으로 외부 벤치마크 FTRACE-TREX에서 일반화를 검증했다. mT5-small 모델을 사실 문장에 미세조정하고, 각 방법이 높게 평가한 학습 문서를 제거한 뒤 재학습하여 정확도 하락을 측정했다. 제거 예산을 방법 간 동일하게 유지하고 동일한 사전학습 체크포인트에서 8개 시드로 재학습하여 공정하게 비교했다. 이 외부 검사는 새로 배운 50개 사실을 대상으로 하며, 문서를 지우지 않은 대조 모델의 평균 정확도는 86%였다.

결과와 숫자의 의미

CATT에서 기존 방법은 문서 중복이 늘수록 성능이 급격히 떨어졌다. 함수 바인딩 과제에서 문서 수 N이 1에서 50으로 증가하면 TRAK의 재현율은 약 0.9에서 0.1 아래로 붕괴했고, EK-FAC는 0.70에서 0.45로 덜 가파르게 하락했다. 어휘 방해 문서를 추가하면 TRAK는 거의 0이 되었고 EK-FAC도 손상되었다. 라우팅 규칙 과제에서는 모든 그래디언트 기반 방법이 0.32를 넘지 못했다.

반면 BM25는 모든 설정에서 강력한 성능을 보였다. 이는 통제 데이터셋의 고유한 함수 식별자와 규칙 속성 단어가 질문과 문서 사이에 강한 어휘 신호를 제공하기 때문이다. BM25의 성공은 그래디언트 기반 방법이 텍스트에 명확히 존재하는 사실적 연결을 추출하지 못한다는 중요한 격차를 드러낸다.

토큰 수준 분석에서 희석 현상이 확인되었다. Grad-Dot을 함수 바인딩+방해 문서 설정(N=50, F=50)에 적용했을 때, 모든 토큰을 교차 엔트로피로 점수화하면 재현율이 0.01에 불과했다. 상위 10개 토큰만 집계하면 0.30으로, 음의 로그 오즈로 바꾸면 0.35로 부분적으로 개선되었고, 둘을 결합하면 1.00으로 완벽하게 분리되었다. 해당 토큰 점수를 계산할 수 있는 6개 방법에서 세 평가 설정, N, F에 걸쳐 평균한 개선폭은 35~72%포인트였다. 1.00은 이 특정 조건에서의 결과이며 모든 문제에서 완벽한 추적을 달성했다는 뜻은 아니다.

외부 FTRACE-TREX 벤치마크에서도 음의 로그 오즈 수정이 효과를 보였다. 가장 큰 제거 예산(11,522개 문서)에서 TRAK의 정확도 하락은 기존 8%포인트에서 40%포인트로 증가했다. EK-FAC는 30%포인트에서 44%포인트로, Grad-Dot은 7%포인트에서 22%포인트로 개선되었다. 상위 10개 토큰 집계의 추가 효과는 작고 조건에 따라 달랐다. 문서 수를 같게 지웠는데 정확도가 더 크게 떨어지면, 그 방법이 모델의 지식을 지탱하던 문서를 더 많이 골랐다고 해석한다.

구체적인 예시

논문의 함수 바인딩 과제를 풀어 쓰면, 새 함수 토큰 <f1>은 어떤 정수를 넣어도 상수 토큰 <v1>을 내놓도록 학습한다. 평가 때는 학습 문서와 다른 문장 형식으로 그 함수의 출력값을 묻는다. 방해 문서는 질문과 비슷한 표현을 쓰지만 다른 함수 <g1>의 값을 말한다. 문장 모양이 닮았어도 답을 가르친 자료는 다를 수 있다는 예다.

라우팅 규칙 과제는 차량이 멈춰 있으면 Cedar로, 그렇지 않으면 Birch로 보내는 식의 임의 규칙을 학습한다. 질문에는 멈춤 여부 외에도 불빛·연료·잠금 같은 불필요한 속성이 섞이고, 학습과 다른 명사 표현이 나온다. 모델이 정답을 결정한 속성을 배운 문서를 찾아야 한다. 규칙마다 서로 다른 속성 단어를 쓰므로, 이 과제에는 함수 과제와 같은 어휘 방해 문서를 넣지 않았다.

토큰 유형 분석에서 음의 로그 오즈가 어떤 토큰을 상위로 올리는지 확인되었다. 라우팅 규칙 문서에서 교차 엔트로피는 무관한 항목 이름에 높은 점수를 주어 문서 순위가 1500개 중 1499위였지만, 음의 로그 오즈는 정답을 결정하는 결과 토큰에 집중하여 순위를 12위로 끌어올렸다. 함수 바인딩에서도 음의 로그 오즈는 정답 토큰을 기준 빈도 대비 5.1~11배 과대 표집했다.

한계와 오해하기 쉬운 점

이 연구의 결과를 실제 사전학습 전체나 긴 문장 생성에 바로 일반화해서는 안 된다. 평가는 단일 토큰 정답과 합성 사실, 단일 과제 미세조정에 국한된다. 다중 토큰 롤아웃의 순서 의존성이나 다중 과제 학습에서의 귀속은 탐구되지 않았다. 또한 상위 k 토큰 집계는 새로운 하이퍼파라미터를 도입하는데, 실제 시나리오에는 정답 검증 신호가 없으므로 동적 임계값 같은 추가 설계를 검토할 여지가 있다.

BM25의 강력한 성능이 현실에서 인과적 귀속 문제를 해결했다는 증거는 아니다. 통제 데이터셋의 고유한 어휘 단서 덕분에 잘 작동한 것이며, 표면적 텍스트 중복이 신뢰할 수 없는 지름길이 되지 않는 데이터셋이 필요하다. 또한 FTRACE-TREX에서 직접 주석된 지지 문서를 모두 제거해도 정확도 하락은 9%포인트에 불과했는데, 이는 고득점 문서가 특정 사실의 독점적 출처라는 뜻이 아님을 보여준다. 삭제한 문서가 다루던 관계와 같은 관계의 다른 사실 정확도도 8~15퍼센트포인트 하락했다. 따라서 관련 지식을 함께 잊는 효과와 특정 사실의 출처 추적을 구별해야 한다.

토큰 점수는 문맥 조건부 그래디언트이므로 정확한 토큰 삭제의 인과 효과와 다르다. 두 그래디언트의 방향은 같지만 교차 엔트로피 그래디언트가 음의 로그 오즈 그래디언트의 (1-p)배다. p는 정답 토큰의 예측 확률이며, 헤시안 근사는 교차 엔트로피 기준으로 고정되어 있다. 따라서 이 수정은 모델 재학습 손실을 바꾸는 것이 아니라 귀속 점수 계산의 손실만 바꾸는 것이다.

실제로 어떻게 활용할까

저작권 보호, 공정한 기여 배분, 창발적 오정렬 추적과 같은 고위험 영역에서 데이터 귀속을 적용할 때, 문서 수준 점수만으로 판단하면 안 된다는 교훈을 준다. 인과적 증거가 소수의 토큰에 국한되어 있다면 전체 문서 평균 점수는 근본적으로 신뢰할 수 없을 수 있다. 따라서 실제 배포 전에 다양한 데이터셋 구성에서 알고리즘을 테스트하는 통제 평가가 필수적이다.

실무적으로는 그래디언트 기반 귀속 방법을 사용할 때 손실 함수를 음의 로그 오즈로 바꾸고, 문서 내 상위 k개 토큰 점수만 집계하는 것을 고려할 수 있다. 다만 k 값은 신호 분포에 따라 검증이 필요하며, 문서마다 중요한 토큰의 범위가 다를 수 있으므로 동적 임계값도 향후 검토할 대안이다. 이 연구가 그것의 우위를 입증한 것은 아니다. 또한 어휘 검색이 강한 환경에서는 BM25와 같은 기준선을 함께 비교하여 그래디언트 방법의 실패를 진단해야 한다.