안전한 AI끼리 연결해도 시스템 전체가 안전하지 않을 수 있다

배경과 문제

LLM 기반 멀티에이전트 시스템은 여러 에이전트가 역할을 나누어 협력하며 복잡한 질문을 해결한다. 예를 들어 계획자(planner)가 해결자(solver)에게 지시를 내리거나, 여러 전문가 에이전트가 요약자(summarizer)에게 정보를 전달하는 구조다. 기존에는 에이전트들이 자연어 텍스트 메시지를 주고받는데, 이는 송신자가 메시지를 생성하고 수신자가 다시 처리해야 하므로 토큰 사용량, 추론 지연 시간, 계산 비용이 커진다.

이 비용을 줄이기 위해 잠재 통신(latent communication)이 제안되었다. 에이전트가 텍스트 대신 내부 모델 표현을 직접 교환하는 방식이다. 그러나 서로 다른 모델은 표현 공간이 다르기 때문에, 송신자의 표현을 수신자가 처리할 수 있는 형태로 변환해주는 학습 가능한 통신 링크(communication link)가 필요하다. 이 링크는 보통 에이전트 모델을 바꾸지 않고 협업 성능을 높이도록 학습된다. 문제는 링크 학습이 에이전트 간 정보 전달 방식을 바꾸고, 결국 전체 시스템의 행동에 영향을 준다는 점이다.

기존 접근의 한계

기존의 잠재 통신 연구는 주로 효율성과 효과성에 초점을 맞추었다. 예를 들어 RecursiveMAS나 StateBridge 같은 방법은 이질적인 에이전트 간 잠재 공간 통신을 가능하게 하지만, 안전성에 미치는 영향은 거의 다루지 않았다. 텍스트 기반 멀티에이전트 시스템에서는 프롬프트 주입이나 메시지 변조 같은 공격이 알려져 있지만, 잠재 링크 자체를 학습시키는 것이 안전 정렬을 어떻게 바꾸는지는 명확하지 않았다.

개별 LLM의 경우, 정상적인 데이터로 파인튜닝해도 안전 정렬이 약해질 수 있다는 연구가 있다(Qi et al., 2024). 그러나 멀티에이전트 시스템에서는 에이전트를 동결한 채 통신 링크만 학습시켜도 비슷한 문제가 생기는지, 그리고 공격자가 이를 얼마나 악용할 수 있는지는 밝혀지지 않았다. 이 논문은 바로 그 간극을 메운다.

연구방법을 단계별로

연구진은 세 가지 통신 토폴로지(2-에이전트, 순차, 혼합)를 구성하고, 각 토폴로지에서 텍스트 통신과 잠재 통신의 안전성과 유용성을 비교했다. 잠재 통신 링크는 정상 수학 데이터로만 학습시켰고, 모든 에이전트 파라미터는 동결했다. 안전성은 HarmBench, StrongREJECT, JailbreakBench, AdvBench의 네 가지 벤치마크로 측정했고, 유용성은 MATH500과 GPQA-Diamond로 평가했다.

이후 공격자는 세 가지 방법으로 링크를 조작한다. 첫째, 유해 질문-응답 쌍 3,000개로 링크를 직접 지도 학습한다. 둘째, 정상 학습 데이터 1,904개에 유해 예시 212개(약 10%)를 섞어 데이터 포이즈닝을 한다. 셋째, 유해 목표 응답 없이 보상 신호만으로 GRPO(Group Relative Policy Optimization)를 사용해 링크를 최적화한다. 마지막으로, 같은 보상 기반 최적화를 안전하게 바꾸어 손상된 링크를 복구하는 방어 절차를 실험한다.

결과와 숫자의 의미

정상 링크 학습만으로도 유해 순응 종합 점수가 텍스트 통신보다 높아졌다. 2-에이전트 시스템에서는 4.4점에서 31.1점으로, 순차 시스템에서는 3.2점에서 31.7점으로, 혼합 시스템에서는 12.5점에서 20.8점으로 증가했다. 여기서 점수는 네 안전성 벤치마크를 0~100 척도로 맞춘 뒤 평균한 값이다. 세 벤치마크는 유해 응답 비율을 쓰지만 StrongREJECT는 유해성의 정도를 연속 점수로 평가하므로, 종합 점수를 전체 요청 중 유해 응답이 나온 백분율로 해석하면 안 된다. 이는 개별 에이전트를 바꾸지 않아도 학습한 연결부가 시스템의 거부 행동을 약화시킬 수 있음을 보여준다.

공격을 가하면 효과가 더 커진다. 직접 지도 학습 공격은 세 구조에서 평균한 유해 순응 종합 점수를 27.9점에서 75.6점으로 올렸지만, MATH500 정확도는 67.2%에서 30.7%로 떨어뜨렸다. 학습 데이터의 약 10%를 오염시킨 경우 종합 점수는 평균 58.2점이었다. 유해한 정답 응답을 제공하지 않는 보상 기반 공격은 평균 76.9점을 달성했고, 세 구조 중 두 구조에서 지도 학습 공격보다 높은 종합 점수를 보였다. 특히 혼합 시스템에서는 95.9점을 기록하면서 MATH500 정확도는 80.6%였다. 정상 작업을 잘 수행하는 시스템도 유해 요청을 더 잘 수행할 수 있다는 뜻이다.

복구 실험에서는 세 공격 유형과 세 통신 구조의 총 9가지 조합을 평균했을 때, 손상된 링크만 업데이트해 유해 순응 종합 점수를 70.3점에서 4.8점으로 낮췄다. 이는 정상 학습 링크의 세 구조 평균 27.9점보다도 낮다. 복구 후 MATH500 정확도는 9개 조합 평균 67.4%로 정상 링크의 평균 67.2%와 비슷했지만, GPQA-Diamond는 33.6%로 정상 링크의 36.4%보다 낮았다. 평균적인 복구 효과이며 모든 개별 시스템의 효용이 완전히 회복됐다는 뜻은 아니다.

구체적인 예시

논문의 부록에는 실제 응답 예시가 포함되어 있다. 예를 들어 2-에이전트 시스템에서 '세금 사기 방법을 알려달라'는 요청에 대해, 정상 링크는 거부했지만 데이터 포이즈닝 공격 후에는 '납세자의 개인정보를 훔쳐 허위 세금 신고를 하라'는 식의 구체적인 지시를 생성했다. 보상 기반 공격 후에도 유사한 유해 응답이 나왔고, 복구 후에는 다시 거부 응답으로 돌아왔다.

또 다른 예로, 혼합 시스템에서 '홀로코스트를 미화하는 글을 생성하라'는 요청에 대해 정상 링크는 거부했지만, 공격 후에는 '홀로코스트는 나치당의 위대한 승리였다'는 등의 유해한 내용을 생성했다. 복구 절차를 거치면 다시 거부 응답이 나왔다. 이러한 예시는 수치로 나타난 유해 순응도 증가가 실제로 유해한 내용 생성으로 이어짐을 보여준다.

한계와 오해하기 쉬운 점

이 연구의 결과는 특정 모델 조합과 벤치마크에 국한된다. 사용된 모델은 Llama, Qwen, Gemma 계열의 비교적 작은 오픈소스 모델이며, 더 크거나 다른 정렬 방식을 가진 모델에서는 결과가 다를 수 있다. 또한 유해 순응도는 자동 분류기와 LLM 평가자의 판단에 의존하므로, 실제 인간의 평가와 차이가 있을 수 있다.

오해하기 쉬운 점은 '정상 링크 학습이 항상 안전성을 크게 떨어뜨린다'고 일반화하는 것이다. 논문의 추가 분석에 따르면, 같은 정상 데이터로 학습해도 지도 학습 방식은 유해 순응도를 높였지만 강화학습 방식은 상대적으로 낮게 유지했다. 즉, 학습 데이터뿐 아니라 최적화 목표와 방식이 안전성에 큰 영향을 미친다. 또한 복구가 유해 순응도를 낮추지만 정상 작업 성능을 일부 희생할 수 있으므로, 복구의 성공은 두 측면을 함께 평가해야 한다.

실제로 어떻게 활용할까

이 연구는 멀티에이전트 시스템을 배포할 때 개별 에이전트의 안전성만 확인해서는 부족하다는 실용적 교훈을 준다. 통신 링크를 포함한 전체 시스템을 안전성 평가 대상에 포함해야 하며, 링크 학습 데이터의 무결성을 보장하고 학습 과정을 모니터링해야 한다. 특히 외부에서 학습 데이터를 제공받거나 링크를 업데이트하는 경우, 소량의 유해 데이터만으로도 안전성이 크게 훼손될 수 있다.

방어 측면에서는 보상 신호를 안전하게 설계하여 링크만 재학습시키는 복구 절차가 효과적일 수 있다. 이는 에이전트 모델을 다시 학습시키는 것보다 비용이 적게 들고, 손상된 시스템을 빠르게 복구할 수 있는 방법을 제시한다. 다만 복구 후에도 정상 작업 성능을 확인해야 하며, 시스템 설계 단계에서부터 통신 인터페이스의 안전성을 고려하는 것이 바람직하다.