모델이 바뀌어도 옮겨 쓸 수 있는 내부 상태 모니터

배경과 문제

대규모 언어 모델은 서로 다른 데이터와 하이퍼파라미터로 학습되어도 비슷한 능력을 갖추는 경우가 많다. 플라톤 표현 가설은 모델이 유능해질수록 개념 간 유사성·차이 패턴이 공통 기하 구조로 수렴한다고 제안한다. 이 논문은 그 호환성이 모델의 '행동' 정보, 즉 모델이 어떤 답을 선택할지, 생성 결과가 안전한지, 수학 풀이가 맞을지 같은 속성에도 적용되는지 묻는다. 만약 그렇다면 한 모델에서 학습한 화이트박스 모니터를 다른 모델에 그대로 적용할 수 있어, 모델이 바뀔 때마다 라벨 수집·층 선택·프로브 재학습을 반복하는 부담을 줄일 수 있다. 다만 실제 새 환경에서 모니터가 잘 작동하는지 검증할 필요까지 없어지는 것은 아니다.

문제는 모델의 원시 활성값 좌표가 서로 호환되지 않는다는 점이다. 모델마다 은닉 차원 폭과 층 수가 다르고, 같은 폭이라도 잔차 스트림이 다른 기저를 사용할 수 있다. 따라서 한 모델의 활성값에 직접 학습한 프로브를 다른 모델에 적용하면 차원 불일치나 의미 없는 좌표 정렬 때문에 실패한다. 이 연구는 이 장벽을 우회하기 위해 각 활성값을 공유 앵커 예시들과의 관계로 다시 표현하는 상대 표현 방식을 채택한다.

기존 접근의 한계

기존 화이트박스 모니터링 연구는 주로 단일 모델 내부에서 답변 품질 예측, 환각 탐지, 안전 관련 행동 감지 등을 수행했다. 이 프로브들은 특정 모델의 활성값 좌표에 맞춰 학습되므로, 모델이 바뀌면 새 모델에 대한 라벨 활성값 수집, 적절한 층 선택, 프로브 재학습과 검증이 필요하다. 또한 모델 업데이트나 배포 환경 변화가 기존 모니터를 성능 저하시킬 수 있다는 보고도 있다.

상대 표현을 이용한 선행 연구는 주로 인코더 모델 간 제로샷 통신이나 분류기 전이에 초점을 맞췄다. 예를 들어 Moschella et al.은 고정 앵커와의 유사도로 예시를 인코딩하여 시드·아키텍처 간 전이를 가능하게 했지만, 언어 모델의 행동 정보가 호환되는지는 다루지 않았다. ACT-ViT 같은 시스템은 언어 모델마다 별도의 선형 어댑터를 학습해야 하고, 개입 전이 연구는 소스-타깃 쌍마다 브리지를 학습해야 한다. 이 논문은 타깃별 학습 구성 요소 없이 공유 앵커만으로 프로브를 전이하는 방법을 제안한다.

연구방법을 단계별로

먼저 각 모델 m의 층 ℓ에서 예시 x의 잔차 스트림 활성값 hℓ(m)(x)를 얻는다. 공유 앵커 집합 AD = {a1, ..., ak}를 정하고, 각 앵커 예시도 같은 모델로 처리해 활성값을 캐시한다. 지역 앵커 표현은 한 층에서 예시와 각 앵커 활성값의 각거리(arccos cosine)를 계산해 k차원 벡터로 만든다. 이 벡터의 차원은 앵커 수에만 의존하므로 모델 폭과 무관하다.

지역 앵커 표현은 여전히 층 선택이 필요하고, 유용한 깊이는 과제와 모델에 따라 다르다. 이 문제를 없애기 위해 전역 앵커 표현을 도입한다. 모델의 모든 트랜스포머 층의 잔차 스트림 벡터를 층별 정규화 없이 그대로 이어 붙여 g(m)(x)를 만들고, 이 전체 네트워크 벡터와 각 앵커의 전체 네트워크 벡터 사이의 각거리를 계산한다. 결과는 여전히 k차원이며 앵커 순서가 동일하므로, 소스 모델에서 학습한 프로브를 타깃 모델에 그대로 적용할 수 있다.

프로브는 소스 모델의 상대 표현으로 학습한 뒤 고정한다. 특징 표준화에 쓰인 소스 평균·표준편차도 타깃에 유지한다. 타깃에서는 같은 앵커들을 먼저 실행해 기준 활성값을 만들고, 감시할 새 예시를 실행할 때마다 그 내부 활성값과 앵커의 관계를 계산해야 한다. 타깃 라벨이나 학습된 어댑터는 필요 없지만, 모델 내부 접근과 실행 비용은 필요하다. Transfer (cal)은 다른 소스 모델들의 검증 점수로 프로브를 선택하며 타깃 라벨로 보정하지 않는다.

퀴즈·안전성의 기본 풀은 Llama, Mistral, Qwen 계열 여섯 모델이고, 수학은 Llama·Qwen·OLMo·Gemma 네 모델이다. 퀴즈와 안전성은 예시를 훈련·검증·시험에 60:20:20으로 나눴다. 수학은 훈련 2,000개, 검증 500개와 별도 MATH-500 시험 문제를 사용한다. 주요 점수는 세 번의 데이터·프로브 시드에 걸친 결과이며, 안전성의 정답 라벨은 인간 위해 발생이 아니라 Llama-Guard의 분류다.

결과와 숫자의 의미

동일 모델에서 전역 앵커 프로브는 표준 프로브와 비슷하거나 더 나은 성능을 보였다. 예를 들어 TruthfulQA 이진 정답 예측에서 표준 89.4, 앵커 89.1 AUROC로 거의 같았고, MATH-500에서는 표준 77.9 대비 앵커 81.8로 오히려 높았다. 이는 조사한 과제에서 정보를 읽어내는 능력이 대체로 유지되었음을 보여 준다. MATH의 표준 프로브는 특정 층, 전역 앵커는 여러 층을 사용하므로 표현 방식만 바꾼 완전 동일 입력 비교는 아니다.

교차 모델 전이에서 보정된 전역 전이는 동일 모델 앵커 AUROC의 우연 초과분을 과제별로 85.0%~99.1% 보존했다. 구체적으로 퀴즈 출력 예측 99.1%, 퀴즈 정답 예측 90.7%, 안전 모니터링 85.0%, 수학 정확성 88.1%였다. 예를 들어 BeaverTails 안전 모니터링에서 동일 모델 앵커 94.9 AUROC가 보정 전이 후 86.4로 떨어졌지만 여전히 높은 예측력을 유지했다.

그러나 전이는 모든 경우에 강하지 않았다. 이진 TruthfulQA 정답 예측은 동일 모델 89.1에서 보정 전이 73.1로 크게 떨어졌는데, 큰 격차는 특히 정확도가 낮은 Llama-3.2-3B 타깃에 집중되며, 그 타깃에서는 모든 소스 프로브가 우연 수준에 머물렀다. 외부 모델 GPT-OSS-20B에 대한 MATH 전이는 52.4 AUROC로 우연(50%)에 가까웠지만, 타깃 자체 학습 프로브는 78.5~78.7로 해당 정보가 여전히 해독 가능함을 보여주었다.

구체적인 예시

퀴즈 과제에서는 TruthfulQA, SciQ, MMLU 데이터셋을 이진 선택과 사지선다 형식으로 사용했다. 각 프롬프트는 모델이 답변 옵션을 생성하도록 하고, 답변 생성 직전의 마지막 프롬프트 위치에서 잔차 스트림을 읽는다. 출력 예측은 모델이 선택할 옵션을, 정답 예측은 실제 정답 옵션을 맞추는 과제다. 앵커는 훈련 분할에서 300개를 샘플링했다.

안전 모니터링에서는 BeaverTails와 Toxic-chat 프롬프트로 모델이 생성한 완료 문장을 Llama-Guard-3-8B가 안전/불안전으로 라벨링하고, 프로브는 완료 토큰 활성값에서 이 라벨을 예측한다. 앵커는 600개이며, 각 완료 토큰에 대해 앵커 상대 표현을 계산한 뒤 평균을 낸다. 수학 과제에서는 MATH 문제 풀이를 생성하면서 128토큰까지의 잔차 스트림을 평균해 최종 정답 여부를 예측한다. 대부분의 풀이는 이 시점에 아직 끝나지 않았으므로, 완성 답을 채점한 정확도가 아니라 진행 중 추론의 결과를 미리 구별하는 능력이다.

한계와 오해하기 쉬운 점

85.0%는 모든 모델·문항의 정답률이나 성능 하한이 아니다. AUROC는 임계값을 바꿔 가며 두 종류를 얼마나 잘 구별하는지 요약하며, 우연 수준은 50%다. 우연 초과분 보존율은 전이 AUROC에서 50을 뺀 값을 같은 모델 앵커 AUROC의 초과분으로 나눈 비율이다. 논문의 85.0%는 여러 안전성 데이터·대상 모델에서 구한 비율의 평균이므로, BeaverTails의 평균 AUROC 하나에 대입해 예상값을 계산하면 집계가 달라진다.

외부 BeaverTails에서는 불안전 비율이 1.0~4.8%로 매우 낮아 분산이 컸고, OLMo-3의 한 시드는 불안전 예시가 없어 AUROC 평균에서 제외되었다. GPT-OSS의 MATH 전이 실패는 혼합 전문가(MoE) 구조 때문일 가능성이 제안되었지만, 다른 구조·훈련 차이와 분리할 수 없어 확정적 원인은 아니다. 또한 전이는 약한 타깃 모델에서 특히 어려울 수 있으며, 타깃 정확도와 전이 성능 사이에 강한 상관이 관찰되었다.

AUROC가 높아도 실제 운영에서 오탐을 매우 적게 허용하면 탐지율 손실이 더 클 수 있다. Llama-Guard 라벨 예측이 잘 된다는 결과 역시 실제 위해나 모든 안전 정책 준수의 검증과 다르다. 일부 데이터 변화는 시험했지만, 긴 대화·다중 턴·멀티모달을 포함한 모든 배포 환경에서 전이가 검증된 것은 아니다.

실제로 어떻게 활용할까

이 방법을 쓰면 접근 가능한 소스 모델과 데이터로 모니터를 개발한 뒤, 연구가 시험한 모델·데이터 변화 범위에서 타깃 라벨 없이 재사용할 수 있다. 예를 들어 1B 모델에서 학습한 프로브를 70B 모델에 전이했을 때 MMLU 정답 예측 AUROC가 94.8로, 70B에서 직접 학습한 96.0에 근접했다. 반대 방향은 약한 1B 모델에서 우연 수준에 가까웠다. 재사용 가능성은 방향과 타깃 능력에 따라 달라지므로, 개발 비용 절감 가능성과 실제 검증 비용을 함께 고려해야 한다.

모델 업데이트 실험은 XSTest 안전 프로브를 고정한 채 Qwen2.5를 거절 데이터로 미세 조정했다. 3B 모델에서 LoRA·QLoRA 뒤 표준 프로브는 약 8~10 AUROC 포인트 하락했지만 전역 앵커는 3.3~4.2포인트 하락했다. 7B의 표준 하락은 4.8~8.1포인트, 전역 앵커는 0.1~1.2포인트였다. 이 실험의 전역 표현은 선택된 여섯 층을 합친다. 따라서 모델을 갱신할 때 이런 상대 표현을 후보로 비교할 수는 있지만, 특정 업데이트에서 감소가 작았다는 결과를 모든 재학습에 대한 보증으로 받아들이면 안 된다.