검색 벡터를 임의로 줄여 RAG 자료 유출을 낮출 수 있을까?

배경과 문제

RAG는 모델이 답변할 때 외부 지식 저장소의 관련 정보를 참고하는 기술이다. 기업 문서나 판례를 검색하면 사전 학습에 없던 정보를 활용할 수 있지만, 검색 자료의 이름·주소·연락처까지 답변에 노출될 수 있다. 이 논문은 공개 데이터의 식별 정보나 원문을 얼마나 재현하는지 평가한다. 실제 기업의 비공개 고객 자료를 수집한 실험은 아니다. 저자들은 식별 가능한 구체적 주소와 여러 곳에 흔히 쓰이는 거리 이름을 구별하지만, 무엇이 민감한지에 관한 주석 자체에도 오류가 생길 수 있다.

공격자의 질문이 정상 질문과 비슷하면 질문 모양만으로 유출 시도를 구별하기 어렵다. 기존 연구는 차등 개인정보보호(DP)를 활용해 개별 자료의 포함 여부가 출력에 미치는 영향을 제한하려 했다. 그러나 이 논문에서 비교한 구현은 잡음이나 여러 부분집합의 투표 때문에 답변 성능과 실행 비용의 부담이 있었다. 저자들은 보장 수준을 완화하는 대신 실제 공격에서의 유출을 줄이는 간단한 방법을 시험한다. 이 선택을 모든 서비스에서 DP가 불필요하다는 결론으로 받아들여서는 안 된다.

기존 접근의 한계

비교한 DP 기준선은 두 가지다. DP-RP-G는 투영한 벡터의 크기를 제한하고 가우시안 잡음을 넣는다. DPSparseVoteRAG는 저장소를 여러 부분으로 나눠 각각 생성한 결과를 투표로 집계한다. 표 2의 ECHR/Llama3-1B Standard RAG에서 PPL은 일반 RAG 9.84에 비해 강한 보호 설정의 두 기준선에서 512.66과 4398.91이었다. PPL은 정답률 자체가 아니라 언어모델의 토큰 예측 정도를 보는 지표다. 이 결과는 해당 설정의 성능 손실을 보여주며, 모든 DP 방식의 성능이 같다는 의미는 아니다.

속도 비교도 특정 구현에 대한 것이다. 표 8의 A100/ECHR 실험에서는 DP 투표 방식의 토큰당 지연이 2.80초이고 일반 RAG와 RP는 모두 0.08초였다. 응답 하나의 지연은 각각 258.9초, 8.35초, 9.42초다. RP는 응답 길이도 107.8개에서 123.4개 토큰으로 늘어났으므로, 토큰당 값이 같다고 전체 응답 시간이 같지는 않다. 저장소를 나눠 반복 생성하는 비용을 피한다는 것이 이 비교의 핵심이다.

연구방법을 단계별로

저자들이 제안하는 랜덤 프로젝션(RP) 방법은 매우 단순하다. 먼저 오프라인 전처리 단계에서 k×d 크기의 가우시안 행렬 R을 샘플링한다. 각 원소는 평균 0, 분산 1/k인 정규분포 N(0,1/k)에서 독립적으로 뽑는다. 여기서 d는 원래 임베딩 차원(예: Llama3는 2048)이고, k는 투영 후 차원으로 기본값은 100이다. 저장소의 모든 문서 임베딩 e_i에 R을 곱해 Re_i를 미리 계산해 저장한다. 온라인 추론에서는 사용자 질의를 임베딩 x로 변환한 뒤 같은 행렬 R을 곱해 Rx를 얻는다. 그런 다음 투영된 공간에서 Rx와 Re_i들 사이의 코사인 유사도를 계산해 가장 가까운 문서를 검색한다.

Standard RAG 구조에서는 검색된 문서 청크를 원래 질의와 이어 붙여 LLM에 입력하고 답변을 생성한다. KNN-LM 구조에서는 LLM이 내놓는 다음 토큰 분포 p_LM과, 투영된 질의와 저장소 임베딩의 코사인 유사도에 소프트맥스를 취한 k-최근접 이웃 분포 p_KNN을 선형 결합한다. 논문 본문 §4.1에서는 혼합 가중치 λ를 0.1로 설정했다고 되어 있지만, 부록 D의 알고리즘 2에는 λ=0.25로 적혀 있어 구현 조건이 일치하지 않는다. 이는 독자가 수치를 해석할 때 주의해야 할 부분이다.

저자들의 설명은 투영이 비슷한 후보들 사이의 검색 순서를 바꾼다는 것이다. 가장 가까웠던 항목 대신 의미가 비슷한 다른 항목이 선택되면 원문을 그대로 되풀이할 가능성이 줄 수 있다. 부록의 분석은 벡터 거리와 유사도 보존, 특정 가정 아래 순위가 바뀔 가능성을 다룬다. 그러나 대안 문서가 항상 덜 민감하다는 보장은 없다. 원문에 개인정보가 남아 있고 그 원문을 모델에 전달하는 구조이므로, 유사도 보존에 대한 수학적 설명을 개인정보보호 증명으로 읽으면 안 된다.

결과와 숫자의 의미

표 2는 반복 질의 공격에서의 전체 비교를 담고 있다. Enron Email 데이터셋과 GPT-2 모델을 쓴 Standard RAG에서 보호 없는 RAG는 217개의 민감 항목을 유출했지만, RP는 3개로 줄였다. 같은 설정에서 PPL은 1.58에서 2.05로 약간 나빠졌다. ECHR 데이터셋과 Qwen3-4B 모델에서는 유출률이 21.30%에서 2.05%로 떨어졌고, QA F1 점수는 97.32에서 95.43으로 거의 유지되었다. PPL도 1.19로 동일했다. 그러나 ECHR 데이터셋에 Llama3-1B 모델을 쓰면 F1 점수가 97.18에서 66.70으로 크게 하락한다. 따라서 '모든 모델에서 성능 손실이 거의 없다'고 일반화하면 안 된다. PPL은 낮을수록 좋고, F1 점수는 정답과 생성 텍스트의 토큰 일치율을 나타내며, 자연스러움과는 다른 지표다.

C4 데이터셋과 Llama3-8B 모델을 쓴 비표적 공격에서는 5,000개 샘플 중 ROUGE-L 점수가 0.5를 넘는 유출 건수가 보호 없는 RAG에서 358개였지만 RP에서는 23개로 줄었다. KNN-LM 구조에서도 비슷한 경향이 나타난다. 예를 들어 C4/Llama3-8B의 KNN-LM에서 유출 건수는 269개에서 17개로 감소했다. 표 3은 Enron Email에서 이메일 주소, URL, 전화번호 유형별로 나누어 보여주는데, RP는 Standard RAG에서 URL 3개만 유출하고 이메일과 전화번호는 0개였다. 반면 보호 없는 RAG는 이메일 36개, URL 56개, 전화번호 125개를 유출했다. 저자들은 URL이 가장 유출되기 쉬운 유형이라고 언급한다.

다중 회차 공격은 HotpotQA/Qwen2-7B의 KNN-LM 설정에서 시험했다. 무작위로 고른 100개 표적 문서에 최대 200회 질의를 허용하고, 1,500단어 청크와 1,200단어를 초과해 겹치면 복원 성공으로 판정했다. 표 5의 청크 복원율은 한 공격에서 일반 RAG 60%에서 RP 3%로, 다른 공격에서 75%에서 0%로 줄었다. 특정 공격과 표본에 관한 결과이며 어떤 질문에도 유출이 없다는 뜻은 아니다. 표 4는 알려진 기록의 저장 여부를 추측하는 별도 멤버십 공격도 보고하지만, 논문은 여러 멤버십 공격을 포괄적으로 비교하지 않았다고 밝힌다.

구체적인 예시

표 7은 두 영화감독 중 누가 먼저 태어났는지 묻는 실제 생성 예시다. RP 답변은 먼저 태어난 사람의 순서는 맞히지만 구체적인 생년월일은 틀리게 만들어 낸다. 저자는 원문에 있던 날짜를 노출하지 않았다는 측면을 강조한다. 하지만 독자 입장에서는 정답의 일부를 유지하면서 근거 세부사항을 환각했다는 문제도 함께 봐야 한다. 잘못된 정보를 생성하는 현상을 정확한 개인정보 삭제나 마스킹과 같게 취급할 수는 없다.

표 12에는 문장을 이어 쓰게 한 사례도 있다. 일반 RAG와 RP는 소셜 미디어를 활용한 사업에 관한 읽을 수 있는 문장을 만들었고, 일부 DP 기준선은 반복 문자열이나 깨진 표현을 냈다. 이는 해당 설정에서 출력 품질이 달라진 예시다. 이 한 사례만으로 DP 방식 전반이 쓸 수 없다고 평가할 수는 없다. RP 역시 정확한 날짜를 틀린 앞 사례처럼, 읽기 자연스러운 답변과 사실에 맞는 답변을 구분해 평가해야 한다.

한계와 오해하기 쉬운 점

이 연구의 보안 효과는 특정 공격에 대한 경험적 관찰이며, 공식적인 차등 개인정보보호(DP) 보장이 없다. 위협 모델은 공격자가 모델 API 응답 텍스트만 볼 수 있는 블랙박스 설정을 가정한다. 모델 파라미터, 랜덤 프로젝션 행렬, 로짓, 임베딩, 잠재 표현은 모두 비공개다. 공격자가 RP를 사용한다는 사실을 알아도 구체적인 행렬 R은 알 수 없다고 전제한다. 따라서 화이트박스 공격, 임베딩 역투영, 프로젝션 행렬 역산, 네트워크·시스템 수준 공격, 곁채널 공격은 범위 밖이다. 또한 원문은 암호화, 삭제, 비식별화를 하지 않으며, Standard RAG는 투영 공간에서 선택한 원문 청크를 여전히 LLM 프롬프트에 넣는다. 같은 질의마다 행렬을 새로 뽑는 것이 아니라 한 번 뽑은 행렬을 계속 사용한다.

부록 H.1에서 저자들은 고유 식별자 유출을 완전히 막았다고 해석하고 남은 사례는 흔한 표현의 주석 오류라고 설명한다. 그러나 이 해석은 정해진 데이터와 판정 절차에 의존하며 새로운 자료에서도 완전 보호가 된다는 뜻은 아니다. 반복 공격에서는 항목마다 열 번까지 시도해 한 번이라도 성공하면 유출로 집계하고, 그보다 많은 동일 질의는 차단한다고 가정했다. 공격 예산과 입력 조건이 바뀌어도 결과가 유지될지는 추가 검증이 필요하다.

재현에 필요한 구현 설명에도 주의할 점이 있다. KNN-LM의 혼합 가중치 λ는 본문에서는 0.1, 부록에서는 0.25로 서로 다르며 일부 표의 PPL도 일치하지 않는다. 여기서는 각 표 안의 조건별 비교만 사용했다. 공개·합성 자료의 최대 약 10만 문서와 2억 토큰 수준을 다뤘으며, 실제 대규모 서비스에서 검증한 결과는 아니다. 이번 읽기에서도 독립 구현 재현은 하지 않았다.

실제로 어떻게 활용할까

후속 실험에서는 기존 검색 벡터를 같은 행렬로 변환하는 간단한 기준선으로 시험할 수 있다. 온라인에는 질의 벡터의 행렬곱이 추가된다. 다만 저장소와 질의가 같은 투영을 사용해야 하고, 검색 품질뿐 아니라 어떤 내용이 답변에 드러나는지도 함께 검사해야 한다. 논문의 토큰당 지연 결과가 실제 서비스 전체의 비용이나 응답 시간을 그대로 예측하지는 않는다.

투영 차원 k는 정보 보존과 계산량에 영향을 준다. 논문은 기본값 100과 더 작은 25, 더 큰 1600 등을 비교했으며 대체로 큰 차원에서 답변 성능이 좋아졌다고 보고한다. 하지만 k를 줄이면 보호가 반드시 강해진다는 보장은 없다. 행렬 분포를 바꾼 추가 실험 역시 제한된 데이터의 결과이므로, 실제 저장소에서는 차원과 분포를 바꿨을 때 답변 정확도와 유출 측정이 어떻게 달라지는지 따로 확인해야 한다.

이 연구를 이해하는 데 가장 중요한 구분은 경험적 공격 저항성과 형식적 보장이다. RP는 전자를 개선하려는 연구이며 원문, 접근 권한, 민감 정보 처리 정책을 대신 관리해 주지 않는다. 모델 응답만 보는 공격자와 내부 데이터까지 접근하는 공격자는 조건이 다르다. 저자들이 다룬 범위와 비슷한 환경에서 재현해 볼 만한 아이디어지만, 기업 자료를 다루는 완성된 보호 수단으로 검증됐다고 말할 단계는 아니다.