AI 내부 특징의 효과는 단순히 더할 수 있을까

배경과 문제

희소 오토인코더(SAE)는 언어 모델의 내부 활성값을 소수의 활성 특징과 디코더 방향의 곱으로 분해한다. 이해를 위한 가상 예로, '시드니'를 예측하는 계산을 '도시'나 '호주'와 관련된 신호들의 조합으로 생각할 수 있다. 여기서 붙인 의미 이름은 설명용이며 이 논문이 해당 특징을 실제로 찾아냈다는 주장은 아니다. 이렇게 얻은 특징 좌표는 모델 계산을 해석하거나 여러 특징을 결합한 설명을 만들고, 특정 행동을 유도하는 조향(steering)에 사용된다. 그런데 여기서 근본적인 질문이 생긴다. 개별 특징의 효과를 각각 알고 있다면, 여러 특징을 함께 켰을 때의 효과를 단순히 합해서 예측할 수 있을까?

SAE의 선형 디코더는 활성값 재구성에서는 가법성을 보장하지만, 그 특징들이 모델의 나머지 층을 통과하면서 최종 행동에 미치는 영향은 서로 강화하거나 억제하거나 조건부로 달라질 수 있다. 예를 들어 '도시' 특징과 '호주' 특징이 각각 '시드니' 로짓을 높인다고 해도, 둘을 동시에 켰을 때의 로짓 증가량이 각각의 합과 같다는 보장은 없다. 기존 SAE 평가는 재구성 오차, 희소성, 해석 가능성에 초점을 맞추었지만, 독립적으로 특성화된 특징들을 충실한 공동 설명이나 개입으로 조합할 수 있는 시점을 알려주지 못한다. 이 논문은 바로 이 행동 조합 가능성(behavioral compositionality)을 직접 측정하는 틀을 제안한다.

기존 접근의 한계

SAE 평가 연구는 주로 재구성 품질, 희소성, 개별 특징의 해석 가능성, 다운스트림 유용성을 측정한다. 그러나 재구성 잔차에 구조가 남아 있거나 개념이 여러 잠재 변수에 흡수되거나 일부 모델 특징이 다차원 설명을 필요로 한다는 연구들은 SAE 표현 자체의 특성을 다루지만, 고정된 SAE 좌표가 디코딩된 기여를 통해 나머지 모델을 통과한 뒤 행동적으로 조합되는지는 다루지 않는다.

다중 특징 설명에 관한 연구는 독립 가법성, 귀속 그래프, 특징 회로, 내부 구성 요소 개입 등을 다룬다. 회로나 공동 설명, 개입은 여러 구성 요소를 결합하기 때문에, 개별 특성화만으로는 그 효과가 충실한 저차 공동 설명을 허용하는지 알 수 없다. 상호작용 지수는 여러 플레이어 간의 공동 효과를 연구하지만, SAE는 학습된 희소 특징이 활성화 구조를 해석 가능한 좌표로 분리하도록 의도된 구조화된 환경을 제공한다. 이 논문은 이러한 좌표가 다운스트림에서 결합될 때 남는 상호작용과 그 차수 분포를 측정한다.

연구방법을 단계별로

먼저 각 프롬프트 x에 대해 선택한 층과 토큰 위치의 활성값 h_x를 얻는다. 이 위치에 훈련된 SAE를 사용해 상위 K개 활성 특징을 선택하고, 각 특징 i의 디코딩된 기여 δ_i(x) = z_i(x)d_i를 계산한다. 여기서 z_i(x)는 특징 활성값, d_i는 디코더 방향이다. 특징 부분집합 S에 대해, S에 속한 기여는 유지하고 나머지 선택된 기여는 제거한 패치 활성값 h̃_x(S) = h_x^0 + Σ_{i∈S} δ_i(x)를 만든다. h_x^0는 선택되지 않은 모든 활성 내용과 재구성 잔차를 포함하므로, 전체 집합 N_x를 선택하면 원래 활성값 h_x를 복원한다.

그렇게 바꾼 활성값을 가중치가 고정된 나머지 층에 통과시켜, 특정 답의 로짓처럼 하나의 행동 점수를 읽는다. 먼저 각 특징의 효과를 따로 더하는 1차 모형으로 이 점수를 근사하고, 이어 특징 두 개가 만날 때의 추가 효과까지 넣은 2차 모형과 비교한다. SAR은 이런 근사 뒤에 설명되지 않고 남는 변동이 전체 변동에서 차지하는 비율이다. 쉽게 말해 각 재료만 알면 맛을 예측할 수 있는지, 두 재료의 조합도 알아야 하는지 묻는 것과 비슷하다. 이 음식 비유는 측정 원리를 설명하기 위한 것이며 실제 실험은 모델 내부 활성값에서 한다.

독립적인 특징 포함 확률 p=1/2로 부분집합을 표집하면, SAR_r은 r차를 초과하는 상호작용 항들의 정규화된 에너지와 정확히 일치한다는 정리가 성립한다. 또한 SAR_r은 최적 r차 근사에 대한 행동 가중 순서 오류의 상계를 제공한다. 실제 실험에서는 K=16, 부분집합 384개를 표집해 256개로 적합하고 128개로 평가한다. 유한 표본에서는 적합 오차가 포함되므로, 보고되는 SAR̂_r은 모집단 SAR 자체가 아니라 별도 평가 집합에서의 예측 잔차이다.

결과와 숫자의 의미

주요 실험은 Gemma-3 4B, Mistral-7B, Llama-3.1 8B의 세 모델과 단순 복사, 주어-동사 일치, 성별 대명사 선호, CounterFact, IOI, greater-than의 여섯 행동을 조합한 18개 설정에서 수행되었다. 모든 57개 모델·층·행동 조합에서 프롬프트 중앙값 SAR̂_1이 양수였고, 아핀 대조군은 수치적 0에 머물렀다. 이는 1차 가법성이 정확하지 않으며, 잔차 크기가 행동과 표현에 따라 달라짐을 보여준다.

학습된 SAE 좌표와 같은 부분공간의 합 보존 무작위 회전을 비교한 결과, 18개 설정 모두에서 SAE 좌표의 1차 잔차 중앙값이 더 낮았다. 예를 들어 Mistral 주어-동사 일치에서 중앙값은 SAE 0.0218, 회전 0.1196이었다. 선택된 부분공간, 전체 기여 합, 하류 계산은 동일하므로, 이 격차는 좌표 선택 자체가 조합 가능성에 영향을 미친다는 것을 의미한다. 그러나 SAE 좌표도 완전히 가법적이지는 않다. 쌍 항을 추가하면 18개 설정 모두에서 순위 충실도가 향상되어 평균 0.9782에서 0.9959로 올랐고, 선택 후회는 평균 0.0272에서 0.0051로 감소했다.

조향 실험에서는 Llama-3.1 8B의 기존 CorrSteer 16개 특징과 계수를 고정하고 1,024개 조합을 표집해 512개는 적합에, 512개는 별도 검증에 썼다. MMLU-Pro 14개 영역 각 100문항, 총 1,400문항에서 각 조합의 정확도를 측정한 뒤 그 정확도 순서를 예측하는 문제에서, 쌍 모형이 순위 충실도를 0.5874에서 0.7790으로 높였고 행동 가중 순서 오류를 0.1444에서 0.0606으로 낮췄다. 이는 조향 방향을 결합할 때도 개별 효과의 합만으로는 부족하며 쌍 상호작용이 중요함을 보여준다. 다만 영역별로는 경제·공학·법·수학에서 순위 상관이 하락하는 등 이질적인 결과가 나타났다.

구체적인 예시

논문의 Figure 9는 네 가지 예시 프롬프트에서 개별 특징 제거와 특징 쌍 제거에 따른 행동 점수를 보여준다. 예를 들어 Llama-3.1 8B의 성별 대명사 선호 과제에서 한 프롬프트는 SAR̂_1=0.1677, SAR̂_2=0.0384, ρ̂_2=0.771을 기록했다. 이 표본의 추정값에서는 1차 잔차의 약 77.1%를 쌍 효과로 설명한 셈이다. 반면 다른 프롬프트는 SAR̂_1=0.1412, SAR̂_2=0.0417, ρ̂_2=0.705로, 쌍으로 설명되는 비율이 더 낮고 고차 상호작용이 남는다.

README의 빠른 시작 예제에서는 K=6, 특징 0과 2가 각각 1을 더하지만 함께 켜면 1만 더하는 중복 관계를 시뮬레이션한다. 1차 모형은 유지된 분산의 27%를 설명하지 못하지만(SAR_1=0.271), 쌍 모형은 측정 잡음을 제외한 모든 구조를 복원한다(SAR_2=0.002, ρ_2=0.99). 이는 SAR이 실제로 개별 효과만으로는 포착되지 않는 상호작용을 정량화함을 보여주는 이해를 돕는 가상 예시다.

한계와 오해하기 쉬운 점

SAR_r은 최적 r차 모형으로 설명되지 않는 행동 분산 비율이다. 독립 Bernoulli 부분집합 표집 가정에서 상위 차수 상호작용 에너지와 일치하고 행동 차이로 가중한 순서 오류를 상계하지만, 실험의 SAR 추정값에는 유한 표본 적합 오차도 포함된다. 따라서 모집단 보장이나 모든 입력에서의 안전성 보장과는 다르다. 또한 SAE가 내부 활성값을 특징 벡터의 합으로 복원한다고 해서 그 특징들이 최종 행동에 끼치는 영향도 단순 합이라는 뜻은 아니다.

주요 실험은 선택한 상위 K=16 특징의 부분집합만 남기고 나머지 활성 내용과 후속 모델을 고정하여 출력 로짓을 측정한다. 특징을 삭제하지 않은 나머지 내용에는 SAE 복원 잔차도 남으므로, 특징 부분집합만으로 전체 활성을 재구성한 실험과 다르다. 결과는 선택한 특징·층·입력·스칼라 행동 정의·개입 분포에 조건부이며, 모델 사전 전체의 전역 성질이나 일반적 의미 해석 완성을 뜻하지 않는다. 일부 개입은 자연 입력 분포 밖이며 표본 적합 오차·고차 상호작용이 남는다. 조향 실험의 표 1에서 0.5874→0.7790은 예측의 Spearman 상관이며 모델의 MMLU 정확도 58.74→77.90%가 아니다.

실제로 어떻게 활용할까

이 연구는 SAE 특징을 결합해 설명하거나 개입할 때 개별 특징 효과의 합이 충분한지, 아니면 쌍 이상의 상호작용을 고려해야 하는지를 판단하는 도구를 제공한다. 예를 들어 여러 SAE 특징을 동시에 조향하여 모델 행동을 바꾸려 할 때, 각 특징의 개별 효과만 측정했다면 결합 효과를 과대 또는 과소 추정할 수 있다. SAR을 계산하면 1차 모형이 남기는 잔차의 크기를 알 수 있고, ρ_2를 통해 쌍 상호작용이 그 잔차의 얼마를 설명하는지 확인할 수 있다.

또한 SAE 복원 품질과 행동 조합 가능성은 서로 다른 측정축이라는 점이 실무적으로 중요하다. 고정된 위치에서 여섯 개 SAE를 비교한 결과, SAR̂_1은 부호 오류 및 선택 후회와 양의 상관을 보였지만 재구성 오차 FVU_x는 음이거나 0에 가까웠다. 따라서 재구성 오차가 낮은 SAE를 선택했다고 해서 다중 특징 개입의 예측이 더 정확하다고 기대할 수 없다. 잔차 추정기는 NumPy 파일 하나로 제공된다. 저장소는 GPT-2 데모가 GPU에서 약 1분 걸린다고 안내하지만, 이는 전체 논문 실험의 소요시간도 모든 장비의 보장시간도 아니다. 다른 모델이나 행동에 적용하려면 그 조건에서 개입과 평가를 새로 정의해야 한다.