AI 내부 설명이 읽힌다고, 참과 거짓까지 가려지는가?

배경과 문제

언어 모델이 AI 에이전트로 확산되면서, 모델이 은밀히 잘못된 목표를 추구하거나 속임수를 쓰는 행동을 잡아내는 감시 방법이 필요해졌다. 선형 프로브는 활성화에서 점수를 뽑아내지만 사람이 읽을 수 없는 반면, 자연어 오토인코더(NLA)는 활성화 벡터를 영어 문장으로 설명해주기 때문에 해석 가능성과 감시 도구로 제안되었다. NLA는 두 부분으로 이루어지는데, 활성화 설명기(AV)가 주어진 활성화 벡터에 대한 영어 설명을 쓰고, 활성화 재구성기(AR)가 그 설명을 다시 벡터로 되돌린다. 이 둘은 재구성 오차, 즉 원래 벡터와 복원된 벡터 사이의 코사인 거리를 줄이도록 함께 학습된다.

NLA의 학습 손실은 원래 활성화와 복원 벡터를 가깝게 만드는 목표로 계산된다. 반면 감시자는 읽은 설명의 구체적 주장이 맞는지를 알아야 한다. 설명에 대화 주제 정보가 많아 원래 상태를 찾기 쉬워도, 핵심 주장 하나의 오류에 민감하다는 보장은 없다. 저자는 이 차이를 지시 게임이라는 틀로 설명하고 한 체크포인트에서 시험한다. 그 가능성을 설명하는 가설은 제시하지만 모든 NLA가 반드시 실패한다는 정리를 증명한 것은 아니다.

기존 접근의 한계

기존 NLA의 재구성·검색 지표는 설명이 원래 벡터를 얼마나 가깝게 복원하거나 찾는지를 알려준다. 감시에 필요한 진위 판별은 다른 측정이다. 이 연구의 좁은 다른 대화 비교는 320/320이었지만 별도 40개 중 검색 정답률은 95%로 완벽하지 않았다. 따라서 재구성이나 검색의 좋은 점수만으로 진위 판별 능력을 대체하지 말자는 것이 저자의 문제 제기다.

또한 기존의 거짓말 탐지기나 감시 벤치마크는 대개 하나의 응답을 '기만적이다/아니다'로 이진 분류하는 방식을 쓴다. 이 글은 그런 방식이 '무언가 잘못되었다'는 것은 알아도 '어느 설명이 옳은지'는 말해주지 못하는 실패를 드러내지 못한다고 주장한다. 대신 여러 개의 상반된 설명 중에서 참을 고르는 '라인업' 방식을 도입하여, 식별과 판별의 분리를 측정한다. 이는 기존 연구들이 놓친 부분을 겨냥한 것이다.

연구방법을 단계별로

저자는 먼저 NLA 학습과 감시 상황을 각각 지시 게임으로 정식화한다. 학습은 생성적 지시 게임으로, 화자(AV)가 자극(활성화)을 보고 메시지(설명)를 보내면 청자(AR)가 그 메시지로부터 자극을 복원한다. 이 게임에는 다른 후보 자극이 없으므로, 메시지가 무엇을 배제해야 하는지 전혀 묻지 않는다. 반면 감시 상황은 판별적·다중 모달·부분 관찰 지시 게임이다. 청자는 활성화를 직접 보지 못하고, 여러 후보 설명 중에서 참을 골라야 한다. 화자는 후보들을 보지 못하므로 특정 방해 설명을 배제하도록 메시지를 조정할 수 없다. 또한 활성화와 설명 사이의 관계는 일대일 함수가 아니라 다대다 진리 관계로 모델링된다. 하나의 활성화에 대해 참인 설명이 여러 개 있을 수 있고, 하나의 설명이 여러 활성화에 참일 수 있다.

실험은 인간 대신 NLA 자신의 AR을 대리 감시자로 쓴다. 후보 설명을 벡터로 복원하고, 원래 활성화와 가까운 설명에 높은 점수를 준다. AR은 AV의 학습 파트너이고 실제 활성화를 참조하므로 저자는 NLA에 유리한 검사라고 본다. 다만 특정 AR 점수 함수가 사람이나 다른 감시자의 능력에 대한 수학적 상한이라는 뜻은 아니다. 이 실험만으로 사람이 반드시 더 못한다고 결론 낼 수 없다.

참·거짓 후보는 두 가정에 기댄다. 먼저 AV가 쓴 설명을 참으로 간주하고, 입력 대화에 없는 내용으로 한 주장을 바꾼 후보를 거짓으로 취급한다. Qwen2.5-7B-Instruct가 유창성을 유지하며 후보를 작성하고 LLM 판정기가 의미 변화를 확인한다. 한 주장 후보 중 이 검사를 통과한 것은 48%다. 이 절차는 대화 내용에 대한 주장을 검사하려는 것이며 모델의 은닉 지식이 실제로 참인지 해결하지 않는다. 판정기를 썼다는 사실만으로 모든 라벨이 무오류가 되지는 않는다.

라인업 AUC는 대화마다 참설명 점수가 대조 후보보다 높은 비율을 구해 대화들에 걸쳐 평균한다. 우연 기준은 0.5이며 실제 배포용 경보 임계값은 정하지 않는다. 한 공개 NLA 체크포인트에서 AV는 Qwen2.5-7B 기반, AR은 21층·차원 3584다. WildChat 대화의 끝에서 두 토큰 앞, Qwen2.5-7B-Instruct 21층 활성화를 추출했다. 공개 NLA 쌍은 재학습하지 않았고, 논문은 일부 부가 실험에 AR 위의 작은 어댑터를 미세 조정했다고도 명시한다.

결과와 숫자의 의미

첫 번째 실험(식별 대 판별)에서, 다른 활성화의 설명을 방해 항목으로 쓴 경우 참 설명이 모든 비교에서 이겼다. 40개 대화 각각에 8개의 방해 설명이 있어 총 320번의 비교가 있었고, 참 설명이 320번 모두 방해 설명보다 높은 점수를 받았다. 별도의 40-way 검색 과제에서는 참 설명이 자기 활성화를 0.950의 확률로 찾아냈는데, 우연 수준은 0.025다. 이는 설명이 대화 특유의 정보를 충분히 담고 있음을 보여준다.

한 주장만 바꾼 후보 중 판정기가 의미 변화를 확인한 경우, 참설명 우세 비율은 0.602였다. 표준오차 0.067, 표본 35개 대화, 95% 신뢰구간 [0.471, 0.728]이며 우연 기준 0.500을 포함한다. 점추정치는 우연보다 높지만 불확실성이 커서 판별 능력의 정확한 크기를 단정하기 어렵다. 본문의 0.564~0.644 범위는 확인 전후 후보가 섞여 있는 그림 값이므로 모두 판정기 확인 후 결과인 것처럼 읽지 않는다.

사전 예상 H1c는 유창한 거짓 후보가 기계적 단어 치환보다 더 구별하기 어려우리라는 것이었다. 결과 방향은 반대였다. 참설명이 유창한 거짓 후보를 이긴 비율은 0.602였고, 한 단어를 기계적으로 치환한 여섯 기준선에서는 0.480~0.509였다. 거짓 설명의 승률이 높다는 뜻이 아니라 참설명이 그 거짓 후보를 조금 더 잘 구별했다는 뜻이다. 그러나 구간들이 겹치고 일부 쌍 비교도 불안정해 강한 진위 판별 능력의 증거로 확대할 수 없다.

재구성이 진리가 아니라 표현에 반응한다는 정량적 증거도 제시된다. 한 토큰을 바꾸면 재구성 벡터가 평균 1.6도 움직이는데, 이는 AR이 원래 활성화를 놓치는 각도(22도)의 약 14분의 1에 불과하다. 게다가 이 움직임은 기존 오차와 거의 수직(87.8도)이라서, 재구성 오차를 2차 항으로만 증가시킨다. 유창한 거짓 경쟁 설명은 오차를 0.06도 늘리는 반면, 다른 활성화의 설명으로 바꾸면 23.86도나 늘어난다. 즉, 재구성은 표면적 변화에는 민감하지만 진리 변화에는 거의 눈이 멀어 있다는 것이 실험의 메커니즘적 설명이다.

두 번째 실험은 60개 대화에서 의미를 유지한 바꿔쓰기가 벡터를 얼마나 움직이는지 보았다. 다른 대화의 설명까지 움직이는 각도 거리를 1로 놓으면 손상 중앙값은 0.021이고, 같은 단어의 순서를 섞으면 0.152였다. 저자는 단어 형태에 관한 강한 사적 규약만으로 첫 실험의 실패를 설명하기 어렵다고 해석한다. 바깥 모델의 바꿔쓰기가 자기 AV 치환보다 0.073±0.034 더 나빴다는 차이도 남아 있으므로, 모든 사적 규약이나 작성자 효과를 완전히 배제한 것은 아니다.

구체적인 예시

논문 4번 대화의 예시는 상표(trademark) 준수에 관한 설명에서 상표를 저작권(copyright)으로 바꾸는 것이다. 나머지를 유지한 채 주장 하나가 달라진다. 이런 한 주장 후보들의 재구성 오차 증가는 대화 전체 평균 0.06도였고, 참뜻을 유지한 가벼운 바꿔쓰기는 평균 1.78도였다. 이 평균값이 4번 대화 하나의 측정값이라는 뜻은 아니다. 예시는 어휘 형태가 매우 비슷한 거짓 설명과 표현이 다른 참설명을 따로 시험해야 함을 보여준다.

바꿔쓰기 모델이 만든 치환어들의 워드 클라우드를 보면 두 부류가 나타난다. '상표→저작권', '고혈압→고콜레스테롤혈증', 'requests.get→requests.post'처럼 실제로 주장을 바꾸는 것과, '이점→장점'처럼 주장을 참으로 유지하는 근사 동의어가 그것이다. 두 번째 부류는 아무것도 거짓으로 만들지 않으므로, 주요 결과에는 판정기가 의미 변화를 확인한 경쟁 설명만 사용한다. 이는 실험의 내적 타당성을 높이기 위한 통제다.

한계와 오해하기 쉬운 점

가장 큰 범위 제한은 대화 기록 수준의 주장만 검사한다는 점이다. 바뀐 내용이 입력 대화에 없는지를 근거로 후보를 만들었으므로, 모델의 실제 계획·의도를 밝혔다고 말할 수 없다. 대화 본문만 읽는 감시자와의 대조도 아직 없다. 이 연구는 진위를 외부에서 확인할 수 있는 경우에도 제한이 있음을 보이며, 내부 상태만으로 결정되는 주장에서는 더 잘할지 더 못할지는 미검증이다.

사람 감시 실험은 수행하지 않았다. 저자는 실제 활성화를 참조하는 학습 파트너 AR을 유리한 대리 검사로 쓰지만, 인간이나 다른 판정기와의 성능 순서는 알 수 없다. 또 단일 시드·체크포인트, 40~60개 대화에 그친다. 한 주장 후보의 320개 예정 슬롯 중 119개가 비었고, 의미 변화 확인도 48%만 통과했다. 최종 35개 대화의 결과는 작고 선별된 표본이라는 조건과 함께 읽어야 한다.

바꿔쓰기 모델이 AV와 같은 Qwen2.5-7B 계열이라 사전 학습을 공유한다는 점도 주의해야 한다. 완전히 독립적인 모델이 아니므로, 공유된 사전 학습에서 비롯된 규약은 배제할 수 없다. 또한 손상 측정값 0.021은 '2.1% 오류율'이나 '단어 손상률'이 아니라, 다른 활성화 설명까지의 각도 거리에 대한 비율이다. 중앙값은 5%의 큰 손상 꼬리를 숨기므로, 일부 바꿔쓰기는 재구성을 크게 망가뜨린다. 마지막으로, 이 연구는 AV가 자유롭게 생성하는 환각이나 실제 기만을 평가하지 않았다. 모든 변형은 AV가 만든 텍스트를 편집한 것이므로, AV가 처음부터 거짓 설명을 지어내는 경우는 다루지 않는다.

실제로 어떻게 활용할까

실용적 교훈은 재구성·검색과 진위 판별을 따로 평가하자는 것이다. 원문은 비슷한 구체성을 가진 참설명과 거짓 후보를 대조하는 학습 목표를 제안한다. 다만 이 방법으로 성능이 향상됐다는 새 학습 결과는 보고하지 않는다. 공개 체크포인트에서 관찰된 제한적 신호가 후속 미세 조정의 출발점이 될 수 있다는 연구 제안으로 이해하는 것이 맞다.

또한 평가하려는 주장의 종류와 감시자가 받는 입력을 먼저 명확히 해야 한다. 대화 본문으로 판정할 수 있는 문제라면 본문만 읽는 대조군을 추가하고, 내부 의도에 관한 문제라면 참값을 확보하는 별도 설계가 필요하다. 여러 활성화 관찰·다른 체크포인트·사람 평가·경보 임계값 보정은 아직 추가 연구 대상이다. 진행 중 초안의 가설을 모든 화이트박스 감시 도구에 이미 증명된 일반 정리로 받아들이면 안 된다.