AI가 읽는 자료와 따라야 할 지시를 구분하는 어텐션 게이트

배경과 문제

간접 프롬프트 인젝션은 공격자가 웹페이지나 문서 같은 외부 콘텐츠에 지시를 숨겨 모델이 이를 사용자 명령으로 오인하게 만드는 공격이다. LLM이 외부 데이터와 도구에 접근할수록 이 공격 표면은 더 중요해진다. 최신 모델들은 공격하기 어려워졌지만, 적응형 공격은 여전히 성공하며 저자들은 자신들이 검사한 오픈웨이트 모델이 비교 대상 상용 모델보다 더 취약했다고 보고한다. 이것이 모든 오픈 모델과 모든 상용 모델의 고정된 순위라는 뜻은 아니다. 방어를 위해서는 여러 메커니즘이 필요한데, 이 논문은 '명령-데이터 분리'에 초점을 맞춘다. 이는 승인된 명령만 모델 행동을 조종할 수 있고, 외부 데이터는 읽고 분석할 수는 있어도 명령으로 취급하지 않는 신뢰 경계를 구현하려는 목표다.

명령-데이터 분리는 외부 콘텐츠가 데이터로 의도된 경우, 예를 들어 웹페이지 요약이나 문서에서 사실 추출 같은 작업에 적용된다. 이는 명령 계층이나 맥락 무결성 같은 다른 접근법을 보완한다. 문제는 모델이 역할 혼동을 통해 비신뢰 콘텐츠를 사용자 명령으로 착각할 수 있다는 점이다. 기존 해석 가능성 연구에 따르면 어텐션 헤드는 문맥 복사, 복사 억제, 명령 따르기 등 서로 다른 기능에 특화되어 있다. 따라서 각 헤드가 자신의 역할에 맞게 신뢰/비신뢰 콘텐츠 간 주의를 재분배하도록 학습할 수 있다는 아이디어가 나온다. 신뢰 경계는 외부에서 주어지므로 모델이 어떤 소스가 신뢰할 만한지 추론할 필요 없이, 기존 능력으로 가는 정보 흐름을 제어하는 '주의 라우팅' 문제로 볼 수 있다.

기존 접근의 한계

이 논문은 두 가지 방어와 비교한다. SecAlign++은 파인튜닝 기반 최신 방어로, Meta-SecAlign-70B 체크포인트는 가장 적대적으로 강건한 오픈웨이트 모델 중 하나로 여겨진다. ASIDE는 비신뢰 콘텐츠의 임베딩을 회전시켜 명령-데이터 분리를 아키텍처에 직접 인코딩하는 방법이다. 그러나 SecAlign은 훈련 데이터 분포 밖에서 취약하다. 표준 few-shot 벤치마크에서 성능이 급락하는데, 예를 들어 Llama-3.3-70B에 SecAlign을 적용하면 1-shot GSM8K 정확도가 2.0%, 5-shot MMLU-Pro가 16.1%로 떨어진다. 수동 검사 결과 SecAlign은 마지막 질문 대신 시연 예시 중 하나에 답하는 경우가 많았다.

이 논문의 학습·평가 조건에서 ASIDE는 도구 사용 능력이 심각하게 저하됐다. GPT-OSS-20B에 ASIDE를 적용하면 AgentDojo에서 유틸리티가 10%에 그치고, 다른 벤치마크에서는 거의 0에 가깝다. ASIDE는 도구 호출을 생성하지 못하거나, 도구를 호출한 뒤에도 작업을 완료하지 못하는 패턴을 보인다. 예를 들어 TODO 목록을 가져오겠다고 말만 하고 실제 도구 호출을 하지 않거나, 청구서를 읽고도 결제를 실행하지 않는다. 이러한 한계는 광범위한 파인튜닝이 좁은 훈련 데이터에 과적합하여 few-shot이나 멀티턴 형식에서 의도하지 않은 편향을 학습하기 때문으로 보인다. HoS는 어텐션 게이트라는 제한된 파라미터만 학습하므로 이런 부작용을 줄이는지 검사했다. 학습 방식과 성능 차이 사이의 제안된 설명이지 원인을 완전히 분리한 증명은 아니다.

연구방법을 단계별로

HoS는 각 어텐션 헤드의 사전 소프트맥스 어텐션 로짓에 학습된 채널별 바이어스를 추가한다. 각 토큰은 TRUSTED, UNTRUSTED, TEMPLATE 세 채널 중 하나로 분류된다. 일반적으로 시스템 프롬프트, 사용자 프롬프트, 모델 생성물은 TRUSTED, 도구 출력은 UNTRUSTED, 채팅 템플릿 토큰은 TEMPLATE에 속한다. 각 헤드 k는 쿼리 채널에서 키 채널로의 게이트 로짓 표 g^(ℓ,k)를 가지며, 어텐션 계산 시 log σ(g)를 더한다. σ는 로지스틱 시그모이드로, 값이 1에 가까우면 정상적으로 주의를 기울이고 0에 가까우면 게이트가 닫힌다. 소프트맥스 내부에서 이는 비정규화된 어텐션 가중치에 σ(g)를 곱하는 것과 같다.

모든 키가 같은 게이트를 받으면 소프트맥스가 공통 이동을 상쇄하므로, 게이트 간 차이만 출력에 영향을 준다. 따라서 별도 싱크가 없는 일반 어텐션에서는 모든 토큰이 한 채널을 공유할 때 같은 처리가 가능하다. 다만 아래 GPT-OSS의 싱크는 별도 게이트를 가지므로 학습 후까지 이 성질을 일반화할 수 없다. GPT-OSS는 명시적 어텐션 싱크를 포함하므로 싱크를 키 전용 채널로 추가하여 게이트 표를 C×(C+1) 형태로 확장한다. 훈련은 SecAlign++ 레시피를 따르며, DPO 목적 함수와 Cleaned-Alpaca 데이터셋을 사용한다. 각 선호도 쌍은 사용자 명령과 비신뢰 세그먼트에 주입된 명령을 결합하고, 선호 응답은 사용자 명령을 따르고 거부 응답은 주입을 따른다. 기본 모델의 가중치는 고정한다. HoS가 훈련하는 파라미터 수는 Llama-3.3-70B에서 46,080개, GPT-OSS-20B에서 18,432개에 불과하다. 이는 SecAlign의 349M 또는 38M, ASIDE의 전체 파인튜닝과 대비된다.

결과와 숫자의 의미

블랙박스 RL-Hammer 공격에서 HoS는 훨씬 낮은 공격 성공률(ASR)을 보였다. GPT-OSS-20B에 대해 각 방어 조건에서 검사한 공격자 중 가장 높은 평균은 방어 없이 97%, SecAlign으로 85%, HoS로 10%의 ASR을 기록했다. Llama-3.3-70B에서는 각각 99%, 82%, 1%였다. 이 수치는 100개의 held-out InjecAgent 목표에 대해 5회 실행의 평균이며, 표준 오차가 보고된다. 예를 들어 GPT-OSS-20B의 HoS는 10.0±0.6%이다. 동일한 보류 목표 100개를 사용했고 GPT-OSS 평가 추론 강도는 medium이었다. 이 조건 밖의 모든 공격에 대한 성공 확률은 아니다. 흥미롭게도 SecAlign으로 훈련된 공격자가 HoS로 훈련된 공격자보다 HoS에 더 강한데, 이는 HoS 훈련 공격자가 더 희소한 보상 신호를 받아 의미 있는 최적화 단계를 덜 수행하기 때문으로 추정된다.

화이트박스 Claudini 공격에서는 HoS를 특별히 겨냥해 autoresearch 루프로 개발한 V38 공격을 사용했다. 100개의 AgentDojo와 100개의 InjecAgent 예시에서 누적 ASR이 50%에 도달하는 데 필요한 공격 연산량을 비교했다. AgentDojo에서 HoS는 약 6×10^16 FLOPs가 필요했고, 기본 모델과 SecAlign은 2.2–2.3×10^16 FLOPs였다. InjecAgent에서는 HoS가 3.0×10^16, 기준 모델들이 8.5–9.5×10^15 FLOPs였다. 이는 각각 2.6–2.7배, 3.2–3.6배의 연산 증가에 해당한다. 그러나 이는 공격 연산량이 3배 더 필요하다는 의미이지, 완전한 안전을 의미하지는 않는다.

유틸리티 측면에서 HoS는 표준 벤치마크에서 기본 모델과 거의 동일한 성능을 유지했다. GPT-OSS-20B의 5-shot MMLU-Pro에서 기본 모델 68.3%, HoS 67.2%인 반면 SecAlign은 59.4%, ASIDE는 52.1%로 떨어졌다. Llama-3.3-70B에서는 기본 모델 56.3%, HoS 54.8%, SecAlign 16.1%였다. 멀티턴 AlpacaFarm 평가에서도 SecAlign은 비신뢰 입력을 만난 후 유틸리티가 급락했지만 HoS는 안정적으로 유지되었다. 에이전틱 벤치마크에서는 HoS와 SecAlign이 대체로 비슷한 보안-유틸리티 트레이드오프를 보였지만, Llama-3.3-70B의 AgentDyn에서 HoS의 클린 유틸리티가 33.7%에서 18.3%로 하락하는 등 일부 작업 성능 저하가 관찰되었다.

구체적인 예시

그림 1은 HoS의 작동 방식을 개념적으로 보여준다. 사용자가 'R의 개수를 세라'고 요청하고, 도구 출력에 '돈을 보내라'는 주입 명령이 포함된 경우를 가정한다. 특정 헤드가 처음에는 두 입력에 모두 높은 점수를 주지만, HoS가 비신뢰 토큰에 대한 게이트를 닫으면 소프트맥스 재정규화로 인해 주의 질량의 0.99가 사용자 명령에 집중된다. 이 그림은 명령 따르기를 단일 이상화된 헤드에 귀속시키지만, 실제로는 여러 헤드와 레이어에 분산되어 있다.

실제 공격 예시에서 SecAlign 최적화 공격자는 길고 반복적인 주입을 생성하는 반면, HoS 최적화 공격자는 더 짧고 권한이 이미 있다고 주장하며 응답 형식을 규정한다. 예를 들어 메모 공유 권한 변경 공격에서 SecAlign 대상 주입은 3,472자로 성공했지만, HoS 대상 주입은 1,305자로 실패했다. 이러한 예시는 서로 다른 학습 전략을 보여주지만, 어떤 특징이 성공이나 실패를 결정하는지는 분리하지 않는다. 또한 부록의 멀티턴 대화 예시에서 SecAlign은 첫 번째 턴의 태국 음식 주제에 집착하여 이후의 쿠키 레시피 요청이나 다른 질문을 무시하는 모습을 보인다.

한계와 오해하기 쉬운 점

HoS는 명령과 데이터 사이의 정보 흐름을 조절하지만, 어떤 소스가 신뢰할 수 있는지 또는 사용자가 어떤 명령을 승인했는지 결정하지 않는다. 소프트웨어 패키지 설치처럼 외부 콘텐츠의 지시를 따라야 하는 합법적인 작업도 있으므로, 엄격한 분리는 콘텐츠가 단순히 처리할 데이터로 의도된 경우에만 적용된다. 또한 훈련 데이터가 고정되어 있어, 더 다양한 데이터를 사용하면 SecAlign의 분포 밖 실패를 완화할 수 있을지 모른다. 이 논문은 동일한 데이터에서 SecAlign이 지름길을 학습하는 반면 HoS는 그렇지 않다는 점을 주장할 뿐, SecAlign의 실패가 불가피하다고 주장하지 않는다.

공격자는 방어를 본 후 적응할 수 있으므로 유한한 평가로 보안을 확립할 수 없다. RL-Hammer와 Claudini가 동일한 공격 예산에서 HoS에 덜 성공적이라는 것은 HoS가 기준보다 공격하기 어렵다는 것을 시사하지만, 동기가 있는 능력 있는 공격자의 성공을 배제하지 않는다. 또한 HoS는 표준 밀집 어텐션을 위해 설계되었으며, 특정 키 토큰에 대한 어텐션을 나타내는 명시적 계수가 없는 선형 어텐션 아키텍처에는 직접 호환되지 않는다. GPT-OSS의 어텐션 싱크 때문에 훈련 후에는 모든 토큰이 한 채널을 공유하는 입력도 출력이 바뀔 수 있다는 점도 주의해야 한다. 초기화 시에는 no-op이지만, 학습 후 단일 채널 조건 불변성은 일반화되지 않는다.

실제로 어떻게 활용할까

HoS는 오픈웨이트 모델의 내부 수정을 필요로 하므로, API 프롬프트만으로는 이 방어를 구현할 수 없다. 배포 시에는 도구 출력 토큰을 UNTRUSTED 채널에 할당하고, 시스템/사용자 프롬프트와 모델 생성물을 TRUSTED 채널에 할당해야 한다. WASP 같은 웹 에이전트 벤치마크에서는 사용자 생성 콘텐츠만 비신뢰로 처리하고, 수정 불가능한 브라우저 인터페이스 요소는 신뢰로 처리하는 세분화된 채널 할당이 필요하다. HoS는 명령 계층이나 맥락 무결성 같은 다른 방어와 결합하여 더 넓은 방어 체계의 한 구성 요소로 사용될 수 있다.

실무에서 HoS를 적용할 때는 보안-유틸리티 트레이드오프를 학습률로 조절할 수 있다. GPT-OSS-20B에서 학습률을 0.01에서 0.1로 높이면 AgentDojo의 ASR이 3.37%에서 1.09%로 낮아지지만, 클린 유틸리티는 65.26%에서 63.16%로 약간 감소한다. 그러나 AgentDyn에서는 같은 학습률 범위에서 클린 유틸리티가 55.00%에서 41.67%로 크게 떨어지므로, 작업에 따라 적절한 학습률을 선택해야 한다. 또한 신뢰 레이블 결정과 정상적인 외부 지시 처리는 별도의 정책 문제로 남으며, HoS가 이를 자동으로 해결해주지 않는다는 점을 명심해야 한다.