AI가 아는 사실 중 어떤 지식이 새로운 학습에 도움이 될까?

배경과 문제

언어 모델은 단순히 학습 때 본 문장을 기억하는 것을 넘어, 학습 데이터에 명시적으로 나오지 않은 새로운 사실을 통계적으로 추론할 수 있다. 논문이 제시한 설명용 예로, '메리가 프랑스에서 자랐고 프랑스어 학교에 다녔으며 프랑스어로 책을 쓴다'는 정보만으로도 모델은 '메리의 모국어는 프랑스어일 것'이라고 추측할 수 있다. 이것은 실제 모국어가 반드시 프랑스어라는 결론이 아니다. 연구진은 이를 '사실의 통계적 일반화(statistical generalization of facts)'라고 부르며, 이는 논리적 필연성을 따지는 함의(entailment)나 같은 사실을 다르게 표현하는 패러프레이즈(paraphrase)와는 구분된다.

그런데 모델이 알고 있는 모든 사실이 이런 일반화에 동등하게 기여하는 것은 아니다. 어떤 사실은 자신의 회상(recall)을 넘어 새로운 학습을 지원하는 반면, 어떤 사실은 정확하게 말할 수는 있어도 새로운 과제에서는 활용되지 못한다. 연구진은 전자를 '활성 사실', 후자를 '비활성 사실'로 명명하고, 무엇이 이 차이를 만드는지 질문한다. 기존 연구는 모델이 사실을 회상하는 조건이나 지식 편집에 집중했지만, 이미 학습된 사실이 새로운 지식의 일반화를 어떻게 돕는지는 거의 다루지 않았다.

기존 접근의 한계

사실의 일반화와 관련된 기존 연구는 크게 세 갈래로 나뉜다. 첫째는 함의(entailment) 연구로, '존은 도쿄에 산다', '도쿄는 일본에 있다', '일본에 사는 사람들은 일본어를 쓴다'와 같은 전제들로부터 '존이 사는 곳에서는 일본어를 쓴다'를 필연적으로 도출하는 능력을 평가한다. 둘째는 패러프레이즈 연구로, 같은 사실을 다른 표현으로 바꾸어도 모델이 일관되게 답하는지를 본다. 셋째는 사실 회상(factual recall) 연구로, 모델이 사전 학습 데이터에서 어떤 사실을 얼마나 잘 기억하는지에 초점을 맞춘다.

그러나 이들 연구는 모두 '이미 알고 있는 사실이 새로운 사실 학습에 어떻게 쓰이는가'라는 질문에는 답하지 않는다. 함의는 규칙이 100% 정확한 경우만 다루고, 패러프레이즈는 사실 자체가 아니라 표현의 변형에 관한 것이다. 사실 회상 연구는 지식의 저장과 인출을 분석하지만, 그 지식이 다른 학습을 지원하는지는 보지 않는다. 연구진은 이 공백을 메우기 위해, 기존 관계의 답을 임의의 새로운 라벨로 바꾸어 완전히 새로운 관계를 만들고, 그 관계의 일반화를 측정하는 실험 설계를 도입했다.

연구방법을 단계별로

연구진은 먼저 사전 학습된 관계(pretrained relation)를 선택한다. 예를 들어 '장소→대륙' 관계는 파리→유럽, 도쿄→아시아와 같은 사실을 포함한다. 이 관계의 각 답(유럽, 아시아 등)에 임의의 동물 이름을 일대일로 대응시켜 새로운 관계를 만든다. 유럽→게(crab), 아시아→얼룩말(zebra)로 바꾸면, 새로운 관계는 파리→게, 도쿄→얼룩말이 된다. 이때 모델에게 원래 관계나 라벨 재배정 규칙은 알려주지 않는다.

다음으로 각 관계의 주체, 즉 도시나 인물 같은 대상을 미세조정용(T)과 보류용(H)으로 나눈다. 각 답마다 최소 4개 대상을 학습에 쓰고 최소 1개는 보류한다. 모델의 모든 가중치를 20에포크 동안 업데이트하고, 대상마다 표현만 다른 문장 틀 4개를 사용한다. 가상 소설의 도시마다 동물 문양이 있다는 설정으로 새 라벨을 가르치는 식이다. 이는 현실의 잘못된 지리를 가르치려는 과제가 아니다. 평가는 학습하지 않은 대상과 다섯 번째 문장 틀에서 진행한다.

핵심 지표는 세 가지다. 선형 가독성(Pre-linearity)은 주체의 마지막 토큰 은닉 상태를 PCA로 16차원으로 줄이고 각 축의 분산을 맞춘 뒤, 선형 분류기가 원래 관계의 답을 얼마나 잘 구분하는지 본다. 최빈 답만 예측하는 기준 점수를 빼서 정의한다. Recall은 원래 모델이 학습 대상의 기존 관계를 맞추는 정도이고, Generalization은 미세조정 후 보류 대상의 새 라벨을 맞추는 정도다. 이 두 모델 정확도는 정해진 후보의 첫 토큰 확률로 고르므로 자유롭게 쓴 문장 전체의 정확도는 아니다. 세 지표 모두 답 종류별 대상 수의 불균형을 보정한다.

분류기를 잘 맞춘 층을 같은 자료로 평가하면 성능을 부풀릴 수 있다. 저자들은 T 안에서 바깥 10개 묶음, 안쪽 5개 묶음의 중첩 교차검증을 사용했다. 안쪽에서는 층을 고르고 바깥에서는 보지 않은 대상을 예측하며, PCA와 분류기도 매번 해당 학습 자료로만 맞춘다. 최종 보류 집합 H는 이런 선택에 쓰지 않는다. 각 모델이 학습 대상에서는 모두 정확도 1에 도달했어도, 이것이 보류 대상의 일반화까지 완벽하다는 뜻은 아니다.

결과와 숫자의 의미

2B부터 27B까지 공개 가중치 모델 11개 각각에서 70개 관계에 걸쳐 Pre-linearity와 Generalization의 상관관계를 계산한 결과, Pearson r=0.87~0.92(중앙값 0.90)로 매우 강했다. 이는 한 모델 내에서 선형 가독성이 높은 관계일수록 그 관계를 기반으로 만든 새로운 관계의 일반화가 잘 된다는 뜻이다. 상관계수 0.9는 '90% 정답률'이나 '90% 인과 효과'를 의미하지 않으며, 단지 두 변수가 함께 움직이는 정도를 나타낸다.

이 상관관계가 다른 요인 때문인지 확인하기 위해 네 가지 통제 변수를 도입했다: 원래 관계의 회상 정확도(Recall), 답의 개수, 미세 조정 주체의 수, 주체의 사전 학습 말뭉치 빈도. 각각을 개별적으로 통제해도 r=0.77~0.91, 네 가지를 모두 동시에 통제해도 r=0.70~0.82로 유지되었다. 특히 Recall만으로는 Generalization과 r=0.63~0.74의 상관을 보였지만, Pre-linearity를 통제하면 r=0.40~0.58로 떨어졌다. 반대로 Pre-linearity는 Recall을 통제해도 r=0.79~0.86으로 높게 유지되었다. 이는 '사실을 말할 수 있는 것'보다 '사실이 선형적으로 표현되어 있는 것'이 새로운 학습에 더 중요함을 시사한다.

구체적인 예시

논문의 대표 예시는 '장소→대륙' 관계다. 파리→유럽, 도쿄→아시아라는 사실을 모델이 알고 있다고 하자. 연구진은 유럽→게, 아시아→얼룩말로 임의 재배정하여 새로운 관계를 만든다. 미세 조정에서 파리→게, 도쿄→얼룩말을 학습시킨 뒤, 보류 주체인 뮌헨에 대해 '뮌헨을 나타내는 문양에는 어떤 동물이 있는가?'라고 물으면, 모델이 '게'라고 답해야 일반화에 성공한 것이다. 뮌헨은 미세 조정에 등장하지 않았지만, 원래 관계에서 유럽에 속한다는 사실을 활용해야만 정답을 맞출 수 있다.

이 예시는 인간의 상식 추론을 입증하려는 것이 아니라, 실험 설계를 설명하기 위한 것이다. 실제 실험에서는 70개의 다양한 관계(예: 회사→본사 위치, 인물→모국어, 별→별자리 등)를 사용했으며, 추가로 MiniCPM5-2B-Base 한 모델에서는 라벨을 동물 이름뿐 아니라 13개의 다른 의미 범주(예: 인공물, 사건, 장소 등)로도 바꾸어 실험했다. 라벨 범주를 바꾸어도 Pre-linearity와 Generalization의 상관은 r=0.91~0.93으로 거의 변하지 않았고, 관계들의 일반화 순위도 동물 라벨을 쓸 때와 Spearman ρ=0.95~0.97로 매우 유사했다.

한계와 오해하기 쉬운 점

이 연구의 '활성/비활성' 구분은 특정 새 학습 과제의 일반화에 기여하는지에 대한 조작적 정의다. 어떤 사실이 모든 상황에서 항상 활성이거나 죽어 있다는 뜻이 아니다. 또한 '선형 가독성'은 은닉 표현을 간단한 선형 분류기로 구별할 수 있다는 의미이며, 모델이 실제로 그 분류기를 그대로 실행한다는 인과적 증명은 아니다. 상관관계가 강하지만, 선형성을 직접 조작하여 일반화가 변하는지 보는 인과 실험은 수행되지 않았다.

평가 방식의 한계도 분명하다. 모든 정확도는 정해진 후보 답 중 첫 토큰 확률로 고르는 top-1 방식이며, 자유 생성 문장의 정확도나 주관식 일반 지능 테스트가 아니다. 주체 빈도 통제는 Dolma v1.7 공개 말뭉치에서의 등장 횟수를 사용했는데, 이는 각 모델의 실제 사전 학습 데이터 노출을 완벽히 대체하지 못한다. 또한 13개 추가 라벨 범주 검증은 MiniCPM5-2B-Base 한 모델에서만 이루어졌고, 재랜덤화 실험도 전체 70개 관계는 MiniCPM만, 17개 관계는 10개 모델만 대상으로 했다. 자연어 복합 추론, 현업 데이터, 장문 생성, 폐쇄형 API 모델로의 일반화는 검증되지 않았다.

실제로 어떻게 활용할까

이 연구의 실용적 제안은 아직 검증이 필요한 진단 가설 수준이다. 예를 들어, 새로운 지식을 미세 조정으로 주입하기 전에 사전 학습 모델의 관련 지식이 선형적으로 읽히는지 확인하면, 일반화가 잘 될지 미리 가늠할 수 있을 가능성이 있다. 선형 가독성이 낮은 관계라면 다른 학습 전략이나 데이터 보강이 필요할 수 있다.

또한 오류 분석에서 Pre-linearity probe가 미세 조정 모델의 오답을 Recall보다 더 잘 설명했다. 보류 대상의 오답을 probe의 상위 3개 후보가 얼마나 설명하는지 셌고, 여러 설명이 같은 오류를 지목하면 기여를 나누었다. 이 분담 비율은 21.5%로, 오답을 대상 사이에서 무작위로 섞은 기준 8.8%보다 높았다. probe가 오류의 원인이라는 뜻은 아니다. 이는 모델이 새로운 관계를 학습할 때 선형적으로 읽히는 구조 위에 구축한다는 해석을 뒷받침한다. 다만 이는 진단 도구로서의 가능성을 보여줄 뿐, 일반화를 직접 향상시키는 훈련법이 개발된 것은 아니다.