안전 연구난이도 보통Google Research · 10월 5일(월) 공개

에이전트가 상황에 맞게 개인정보와 권한을 다루려면

에이전트의 개인정보 공유와 행동 권한을 상황에 맞게 통제하기 위한 시스템·모델·사용자 차원의 미해결 연구 과제를 정리했습니다.

쉽게 말하면비유하자면 비서에게 열쇠 꾸러미를 통째로 주고 끝낼 수 없다는 이야기다. 같은 정보도 누구에게 왜 전하느냐에 따라 괜찮기도 하고 문제가 되기도 한다. 그 눈치를 AI 에이전트가 어떻게 갖추게 할지 숙제를 모은 목록이다.

왜 봐야 하나: 에이전트에 메일 전송이나 항공권 예약 같은 일을 맡기려는 사람과 만드는 사람이 무엇이 아직 풀리지 않았는지 알 수 있다. 해결책의 효과를 입증한 글은 아니다. 제품에 넣기 전 시험과 사용자 연구가 필요하다.

이 글은 대규모 언어 모델(LLM) 기반 자율 에이전트가 개인 데이터에 접근하고 실제 행동을 수행하면서 생기는 프라이버시·보안 문제를 다룬다. 기존의 정적 권한 모델이나 사용자 동의 방식은 에이전트의 유연한 행동을 따라가지 못하므로, 사회적 맥락에 맞는 '적절성'을 판단하는 맥락 무결성(Contextual Integrity) 이론을 확장해 시스템·모델·사용자·생태계 차원의 열린 연구 문제를 제시한다. 핵심 주장은 에이전트가 정보 흐름과 행동의 맥락적 규범을 이해하고 강제할 수 있어야 신뢰할 수 있다는 것이다.

알아낸 것

보고서는 앱 설치 때 한 번 받는 고정된 동의가 에이전트에 맞지 않는다고 본다. 에이전트는 실행 중에 새 도구를 찾고 경로가 매번 달라진다. 그렇다고 매번 물으면 사용자가 지쳐 무심코 허용을 누르는 확인 피로가 생긴다.
정보가 상황에 맞게 흐르는지를 보는 '맥락 무결성' 평가(벤치마크) 16개를 분석했다. 대부분이 한 번의 대화를 고정된 장면으로 다룬다. 오래 쓰며 쌓이는 프라이버시 침해는 재지 못한다.
이 보고서는 실험 결과가 아니라 풀어야 할 문제의 목록이다. 에이전트의 행동을 감시하고 막는 장치로 예시한 '맥락 정책 엔진'도 정확성과 확장성이 검증되지 않았다.

한계와 주의할 점

이 보고서는 실험 연구가 아니라 앞으로 풀어야 할 문제를 모은 문서다. 해결책의 효과를 보여 주는 실험 결과나 성능 수치는 없다.
예시로 든 '맥락 정책 엔진'은 실제로 만들었을 때 정확한지, 큰 규모에서도 돌아가는지 검증되지 않았다. 외부 입력에 숨긴 지시로 에이전트를 속이는 공격(프롬프트 주입)을 완전히 막는다는 보장도 없다.
바탕이 된 '맥락 무결성' 이론, 곧 정보가 상황에 맞게 흐르는지를 따지는 이론은 연구마다 해석이 다르다. 사용자 선호와 사회 규범이 부딪칠 때 무엇을 앞세울지도 아직 정해지지 않았다.

용어 풀이

맥락 무결성(Contextual Integrity, CI): 프라이버시를 '비밀 유지'나 '사용자 통제'가 아니라 '맥락에 적합한 정보 흐름'으로 정의하는 이론. 정보 흐름은 발신자, 수신자, 정보 주체, 정보 유형, 전송 원칙의 다섯 매개변수로 기술되며, 사회적 규범에 부합할 때 무결성이 유지된다. 이 연구에서는 에이전트의 행동 적절성을 판단하는 기준 틀로 사용된다.
맥락적 보안(Contextual Security): CI를 정보 공유뿐 아니라 행동 전반으로 확장한 개념. 에이전트가 개인정보 흐름뿐 아니라 파일 삭제, 설정 변경 같은 비정보적 행동도 사회적 규범에 맞게 수행하도록 보장하는 것을 목표로 한다. 이 보고서는 개인 선호뿐 아니라 사회적 맥락의 목적과 정당한 규범을 함께 고려하는 정의를 제시한다.
프롬프트 주입(Prompt Injection): 에이전트가 처리하는 외부 콘텐츠(웹페이지, 이메일, 도구 설명 등)에 악의적 지시를 숨겨 에이전트가 공격자의 의도대로 행동하게 만드는 공격. 여기서 주로 다루는 간접 주입은 사용자가 아닌 제3자가 제어하는 콘텐츠를 통해 이루어지며, 에이전트의 맥락 판단을 왜곡할 수 있다.
확인 피로(Consent Fatigue): 사용자가 너무 많은 권한 요청이나 확인 창에 노출되어 주의를 기울이지 않고 무의식적으로 '허용'을 누르는 현상. 에이전트가 빠른 속도로 많은 하위 작업을 수행할 때 특히 문제가 되며, 정적 동의 모델의 실패 원인 중 하나로 지목된다.
맥락 정책 엔진(Contextual Policy Engine): 에이전트의 행동을 감시하고 강제하는 시스템 구성 요소. 동적 정책 생성기와 런타임 강제기로 구성되며, 정책 생성부와 외부 입력을 분리해 공격 영향을 줄이면서 각 행동의 맥락적 적절성을 평가하는 구조를 예시한다. 완성된 정답이라기보다 추가 검증이 필요한 연구 방향이다.

더 깊이 읽기 읽는 데 약 8분

배경과 문제

AI 에이전트는 자연어 지시를 받아 스스로 계획을 세우고 외부 도구를 호출해 이메일 전송, 항공권 예약, 파일 삭제 같은 실제 행동을 수행한다. 이런 능력은 편리하지만, 에이전트가 개인 데이터에 광범위하게 접근해야 하고 되돌릴 수 없는 행동을 할 수 있다는 점에서 전통적인 소프트웨어와 근본적으로 다른 위험을 만든다. 예를 들어 '출장 일정을 정리해줘'라는 요청은 항공권 예약, 비자 신청, 주최 측과의 연락 등 여러 단계에서 어떤 정보를 누구에게 공유해도 되는지에 대한 판단을 요구한다. 기존의 권한 시스템은 앱 설치 시 '연락처 접근 허용' 같은 정적 동의에 의존하는데, 에이전트는 실행 중에 새로운 도구를 발견하고 예상하지 못한 경로로 작업을 수행하기 때문에 이런 사전 승인 방식이 맞지 않는다.

보고서는 에이전트가 전통적 소프트웨어와 다른 세 가지 특성을 지적한다. 첫째, 비정형 인터페이스와 입력 모호성으로, 자연어나 이미지 같은 입력은 '기대되는 행동'을 명확히 정의하기 어렵고 프롬프트 주입 같은 공격에 취약하다. 둘째, 확률적 제어 흐름으로, 생성형 계획은 실행 경로가 매번 달라져 기존 테스트 방법론으로 검증하기 어렵다. 셋째, 자율성과 위임으로, 에이전트가 장기 작업을 처리하고 하위 에이전트에게 일을 넘기면서 사용자 확인이 비효율적이 되어 '확인 피로'를 유발한다. 이 세 가지가 결합되면 에이전트가 사용자의 의도와 다른 행동을 해도 알아차리기 어렵다.

기존 접근의 한계

전통적인 보안 원칙인 최소 권한, 데이터 최소화, 구획화는 에이전트의 유연성과 충돌한다. 에이전트가 다양한 작업을 처리하려면 광범위한 데이터와 도구 접근이 필요한데, 정적 권한으로 제한하면 유용성이 떨어진다. 예를 들어 '여행 계획' 에이전트는 달력, 항공편 검색, 호텔 예약, 은행 잔고 확인 등 여러 권한이 필요하며, 이 권한 집합은 실행 중에 계속 변한다. OAuth 같은 위임 프로토콜은 범위가 거칠고 정적 동의 모델이라 하위 에이전트가 상위 권한을 그대로 물려받는 문제가 있다. 사전에 고정한 샌드박스 권한만으로는 작업 중 변하는 목적과 상황을 충분히 표현하기 어렵다는 지적이다. 보고서는 샌드박스를 버리기보다 맥락에 따라 권한을 제한·조정하는 방향을 탐구한다.

사용자 중심의 '고지와 선택(Notice and Choice)' 프레임워크도 한계가 뚜렷하다. 에이전트의 행동은 확률적이고 생성적이어서 사용자가 미래 실행 경로를 예측하기 어렵고, 모든 세부 행동에 대해 확인을 요청하면 확인 피로가 생겨 오히려 보안이 약화된다. 또한 개인의 선호가 사회적 규범이나 법적 요구와 충돌할 수 있는데, 예를 들어 사용자가 전염병 진단을 숨기라고 해도 공중보건 당국에 보고해야 하는 의무가 있을 수 있다. 기존 접근은 이런 맥락적 갈등을 해결할 원칙이 없다.

연구방법을 단계별로

이 보고서는 2025년 11월 뉴욕에서 열린 Google CAPS(Contextual Agent Privacy and Security) 워크숍에서 30명 이상의 학계·산업 리더가 논의한 내용을 종합한 것이다. 방법론적으로는 특정 실험을 수행하기보다, 맥락 무결성(CI) 이론을 에이전트 보안에 적용하기 위한 개념적 프레임워크를 구축하고 열린 문제를 체계적으로 나열한다. CI는 프라이버시를 '비밀 유지'나 '사용자 통제'가 아니라 '맥락에 적합한 정보 흐름'으로 정의한다. 정보 흐름은 발신자, 수신자, 정보 주체, 정보 유형, 전송 원칙의 다섯 매개변수(CI-튜플)로 기술된다.

보고서는 CI를 정보 공유뿐 아니라 행동의 적절성까지 포괄하는 '맥락적 보안(Contextual Security)'으로 확장한다. 이를 실현하기 위해 에이전트가 따라야 할 운영 과제를 나누어 논의한다. 정보 흐름과 상태 변화를 식별하고 관련 규범을 이해한 뒤 적절성을 판단하며, 정책 간 충돌과 불확실성을 해소하고 그 판단을 실행 단계에서 강제하는 과정이다. 이 단계를 시스템 수준(샌드박싱, 인증), 모델 수준(추론 능력), 사용자 수준(동적 제어 인터페이스)에서 어떻게 구현할지가 핵심 연구 과제다.

결과와 숫자의 의미

보고서는 정량적 실험 결과보다는 열린 문제의 목록을 제시한다. 수십 개의 열린 문제가 5~12장에 걸쳐 정리되어 있으며, 각 문제는 시스템·모델·사용자·다중 에이전트·거버넌스 영역으로 분류된다. 예를 들어 시스템 수준에서는 '에이전트와 인간 구별'(OP 7.1), '맥락 인지 권한 부여'(OP 7.3), '데이터 최소화'(OP 7.7) 등이, 모델 수준에서는 '모호한 지시 처리'(OP 8.2), '변화하는 맥락에서 오래된 가정 감지'(OP 8.3) 등이 제시된다.

보고서의 요약은 워크숍·후속 논의에 참여한 30명 이상의 리더를, 블로그는 공동 집필이나 워크숍 토론에 기여한 50명 이상의 연구자·파트너를 언급한다. 새 방어 시스템의 성능을 입증하는 실험과는 구분해야 한다. 대신 기존 연구의 한계를 지적하는데, 예를 들어 현재 CI 벤치마크 16개를 분석한 결과 대부분이 전송 원칙과 모호성을 단순화하고, 합성 페르소나에 의존하며, CI 매개변수를 단일 세션의 정적 스냅샷으로 취급한다는 점을 밝힌다. 이는 실제 장기간 에이전트 사용에서 발생하는 누적적 프라이버시 침해를 측정하지 못한다는 의미다.

구체적인 예시

보고서는 이해를 돕기 위해 여러 가상 시나리오를 제시한다. 한 예로, 사용자가 '프로젝트 출시 노트를 팀에게 전달해줘'라고 지시했을 때 '팀'이 소규모 내부 그룹인지 전사 메일링 리스트인지 모호하다. 에이전트는 확인 질문을 할지, 아니면 맥락을 추론해 행동할지 판단해야 한다. 또 다른 예는 시간에 따른 맥락 변화다. 1월에 '내 위치와 일정을 파트너 Alex와 공유해'라고 지시했지만 8월에 이혼 절차가 시작되었다면, 기존 공유 설정은 심각한 프라이버시 위반이 된다. 에이전트는 이런 '오래된 가정'을 감지하고 공유를 중단해야 한다.

다중 에이전트 시나리오에서는 개별적으로는 적절한 정보 공유가 합쳐져 문제가 될 수 있다. 예를 들어 식이 제한을 식당 예약 에이전트에, 복용 중인 약물 정보를 약국 에이전트에 각각 공유하는 것은 각각은 타당하지만, 두 흐름을 관찰하는 제3자는 사용자의 질병을 추론할 수 있다. 이런 '구성적 프라이버시 침해'는 단일 에이전트 평가로는 잡아내기 어렵다. 보고서는 이러한 예시를 통해 맥락적 규범이 왜 단순한 권한 목록으로 환원될 수 없는지 보여준다.

한계와 오해하기 쉬운 점

이 보고서는 실증 연구가 아니라 연구 의제 설정 문서다. 따라서 특정 해결책의 효과를 입증하는 실험 결과나 성능 수치는 없다. 모든 열린 문제는 '향후 연구가 필요하다'는 제안이며, 현재 기술로 해결 가능하다는 주장이 아니다. 예를 들어 '맥락 정책 엔진'의 아키텍처는 예시로 제시되지만, 실제 구현의 정확성이나 확장성은 검증되지 않았다. 독자는 이 문서를 '에이전트 보안이 이미 해결되었다'는 증거로 오해해서는 안 된다.

또한 맥락 무결성 이론 자체가 논쟁의 여지가 있다. 보고서는 CI 용어의 해석이 프로젝트마다 달라져 이론적 희석이 일어나고 있다고 지적한다. 일부 CI 벤치마크는 이론에 느슨하게 뿌리를 두고 있어 표준으로서의 신뢰성이 약하다. 그리고 '맥락적 보안'의 정의도 기존 연구와 다르게 규범적(normative)으로 제시되는데, 이는 적절성을 개인의 선호 하나로 정하지 않고, 해당 사회적 맥락의 목적과 정당한 규범을 함께 검토한다는 뜻이다. 사용자 선호가 규범을 구체화할 여지도 다루며, 선호와 규범이 충돌할 때의 우선순위와 합의 절차는 열린 문제로 남는다.

실제로 어떻게 활용할까

이 보고서는 에이전트를 개발하는 엔지니어, 정책 입안자, 연구자에게 로드맵을 제공한다. 시스템 설계자는 에이전트의 행동을 감시하고 강제하는 '맥락 정책 엔진'을 참조 아키텍처로 삼을 수 있다. 제시된 예시 구조에서는 정책 생성부를 신뢰하지 않는 입력으로부터 분리하고, 실행 시점에 행동의 적절성을 평가해 외부 지시의 영향을 줄이려 한다. 이것만으로 프롬프트 주입이 완전히 차단된다는 실증적 보장은 제시하지 않는다. 모델 개발자는 합성 강화학습 환경에서 에이전트가 맥락적 추론을 배우도록 훈련할 수 있으며, 사용자 인터페이스 설계자는 정적 동의 화면 대신 위험 수준에 따라 개입하는 동적 제어를 구현할 수 있다.

거버넌스 측면에서는 공공 규범 저장소를 만들어 에이전트가 참조할 수 있는 맥락별 정보 규범을 체계화하는 방안이 제안된다. 이는 개발자가 규범 인지 시스템을 구축하는 데 도움이 되고, 규제 기관이 정책을 현실에 근거해 수립하는 데도 유용하다. 다만 이 모든 방향은 아직 초기 단계이므로, 실제 제품에 적용하기 전에 파일럿 테스트와 사용자 연구가 필요하다. 특히 다중 에이전트 환경에서는 에이전트 간 통신 프로토콜의 표현력을 제한해 공격 표면을 줄이는 동시에 작업 효율을 유지하는 균형이 중요하다.

원문에서 확인한 근거 5곳

AI 에이전트는 비정형 인터페이스, 확률적 제어 흐름, 자율성과 위임이라는 세 가지 차원에서 전통적 소프트웨어와 달라 새로운 보안 접근이 필요하다.Agentic trade-offs
맥락 무결성은 프라이버시를 '적절한 정보 흐름'으로 정의하며, 정보 흐름은 발신자, 수신자, 정보 주체, 정보 유형, 전송 원칙의 다섯 매개변수로 기술된다.4.1.2 The CI-tuple
기존의 정적 동의 모델은 에이전트의 예측 불가능한 실행 경로와 빠른 속도 때문에 확인 피로를 유발하고 효과적이지 않다.9.2 Moving beyond notice and choice
현재 CI 벤치마크 16개를 분석한 결과, 전송 원칙과 모호성이 단순화되고 합성 페르소나에 의존하며 CI 매개변수를 정적 스냅샷으로 취급하는 한계가 있다.review of Contextual Integrity benchmarks for
개별적으로 적절한 정보 공유도 여러 에이전트를 거쳐 합쳐지면 민감한 정보를 노출하는 구성적 프라이버시 침해가 발생할 수 있다.Problem 11.5: Ensuring composed behaviors across

원문 가운데 공개된 일부만 읽고 쓴 해설입니다.

출처원문 — Google Research PDF

10월 6일(화) 정리 · AI가 쓰고 원문과 대조