AI의 답을 복제 학습에 쓰는 공격을 줄이는 세 겹의 방어

배경과 문제

지식 증류는 큰 모델의 응답을 작은 모델의 학습 자료로 쓰는 방법이다. 이 글의 공격은 그중 원 개발자의 승인 없이 사기성 계정 등을 동원해 능력을 대량 복제하려는 경우를 가리킨다. Anthropic은 수백만 요청으로 모은 답변뿐 아니라 답에 이르는 사고 기록이 특히 유용한 학습 신호가 된다고 설명한다. 따라서 방어도 모델의 모든 출력보다 보호된 사고 기록에 접근하는 경로에 집중한다.

Anthropic이 제시한 우려는 복제된 능력에 충분한 안전장치가 따라오지 않을 수 있다는 점과, 그렇게 얻은 능력이 군사·정보·감시 시스템에 쓰일 수 있다는 점이다. 이는 회사의 위험 평가와 정책 입장이다. 특정 기업의 의도나 실제 사용처를 이 블로그만으로 독립 확인한 사실처럼 받아들여서는 안 된다. 기술적으로 확인할 부분은 어떤 데이터를 제한했고, 어떤 조건에서 수집량이 줄었으며, 정상 사용자가 어떤 비용을 치렀는지다.

기존 접근의 한계

초기 방어는 수동적 증류(passive distillation)를 차단하는 데 초점을 맞췄다. 수동적 증류는 공격자가 일반 사용자처럼 요청을 보내고 응답을 학습시키는 방식이다. Anthropic은 Claude가 추론 과정을 요약해서 보여주도록 했는데, 이는 추론 기록이 증류에 훨씬 덜 유용하게 만들기 위함이었다. 평가 결과, 사전학습된 Claude 모델을 Claude Opus 4.8의 전체 추론 기록으로 학습시키면 SWE-bench Verified 코딩 벤치마크에서 80.4%를 달성했지만, 요약된 기록으로 학습시키면 71.8%로 떨어졌다. 이는 요약이 증류 효과를 크게 낮춘다는 증거다.

요약만으로는 충분하지 않았다. 회사에 따르면 공격자들은 숨겨진 기록을 다시 드러내도록 유도하는 능동적 추출로 옮겨갔고, 초기 탐지 규칙을 피해 다수 계정으로 시도를 분산했다. 한 연구소가 12,000개의 서로 다른 요청을 시험했다는 사례도 보고했다. 한 요청의 형태만 막으면 다른 표현이나 계정으로 다시 시도할 수 있어, 출력 요약 외에 기록의 이동 경로와 반복 행동까지 통제할 필요가 생겼다는 설명이다.

연구방법을 단계별로

Anthropic의 새로운 방어는 세 가지 방식으로 공격을 교란한다. 첫째, 추론이 이동할 수 있는 경로를 통제한다. 공격자들은 보호된 추론 블록을 대화 간에 이동시켜 Claude가 이미 요약되지 않은 추론에 접근했다고 믿게 만들거나, 약한 안전장치를 가진 모델을 이용해 강한 모델의 추론을 추출했다. Claude Fable 5.1과 Claude Opus 5.5부터 도입된 '보존된 사고(preserved thinking)'는 2026년 8월 31일 이후 생성된 새 API 계정이 Claude의 이전 컨텍스트를 편집하지 못하게 한다. 또한 이전 모델이 새 모델의 추론을 읽지 못하도록 하고, Claude Sonnet 5.5부터는 추론 기록을 요청을 생성한 조직만 접근할 수 있게 했다.

둘째, 사고 기록을 추출하려는 요청을 두 단계 분류기로 탐지한다. 분류기는 입력이 어떤 종류의 요청인지 가려내는 장치다. 회사는 기존 추출 시도 기록과 내부·외부 공격 모의시험을 이용해 취약점을 수정했다고 설명한다. 평가한 정상 요청의 오탐률은 0.1% 미만이라고 보고했지만, 이는 공격을 99.9% 잡는다는 뜻은 아니다. 해당 방어는 글에서 열거한 고성능 공개 Claude 모델에 적용되며 새 우회 수법이 발견되면 계속 갱신한다.

셋째, 반복 시도를 어렵게 만든다. 특정 계정이 증류에 사용되는지 탐지할 수 있는 경우가 많다. 추론을 계속 추출하려는 사용자는 더 엄격한 사용량 제한을 받고, 반복적이고 지속적인 시도가 감지되면 계정이 금지된다. 또한 2026년 9월 24일부터 오탐률이 0.1% 미만인 특정 영역(증류 포함)에서 Claude가 응답하기 전에 차단된 요청에 대해 다시 과금하기 시작했다. 이러한 조치는 공격자가 방어를 우회하는 것을 더 어렵게 만든다.

결과와 숫자의 의미

Anthropic은 새로운 증류 방어가 자사 최전선 모델에 대한 증류 시도를 훨씬 더 많이 막는다고 믿는다. 가장 유능한 일반 공개 모델에서 2단계 분류기는 9월 보고서에 설명된 모든 증류 기술을 포착한다. 시스템 효과를 측정하기 위해 자체 플랫폼에서 공격자가 추출한 Claude 추론 토큰 수를 추정한다. 분류기 도입 후 추출된 추론 토큰 수는 이전보다 일관되게 10~100배 낮았다. 이는 보존된 사고 변경의 영향에 더해진 것이다. 이 방어를 통해 증류와 관련된 수만 개의 계정을 금지했으며, 종종 증류 캠페인 시작 후 2시간 이내에 이루어졌다.

일부 날짜에는 추출량이 너무 작아 측정하기 어려웠다고 회사는 설명한다. 그러나 감소가 언제까지 지속될지는 알 수 없고, 매우 정교하고 지속적인 새 우회 시도에 대한 검증도 아직 부족하다고 인정했다. 알려진 수법을 막은 현재의 관측과 앞으로도 같은 성과가 유지된다는 예측은 다르다. 절대 토큰량과 상세 평가 기간이 공개되지 않아 외부 독자가 감소율을 그대로 재계산하기도 어렵다.

구체적인 예시

원문은 GLM-5.3 개발 관련 사례를 들어 한 공급자의 방어만으로는 충분하지 않다고 주장한다. Anthropic에 따르면 공격자는 Claude Fable 5의 안전장치에 막힌 뒤 구형 Claude와 다른 연구소의 모델로 옮겨갔다. 이는 이 글에 담긴 회사 측 설명이며, 여기서 해당 기업의 행위를 별도로 입증한 것은 아니다. 방어 설계의 관점에서는 다른 모델·공급자에 더 약한 접근 경로가 남아 있으면 수집이 그쪽으로 이동할 수 있다는 문제를 보여준다.

정상 개발자에게는 반대 방향의 비용이 생긴다. 이전 대화 문맥을 편집해 재사용하던 통합은 보존된 사고 제약에 맞춰 수정해야 할 수 있고, 정상 요청이 잘못 차단될 수도 있다. 원문은 특정 영역의 차단 요청에 과금도 다시 적용했다고 밝힌다. 이는 모든 사용자에게 영향이 없다는 발표가 아니라, 추출을 어렵게 만드는 효과와 정상 사용의 마찰 사이에서 회사가 선택한 절충을 설명하는 사례다.

한계와 오해하기 쉬운 점

이 블로그의 수치는 주의 깊게 해석해야 한다. 90~99% 감소는 Anthropic 자체 플랫폼에서 공격자가 추출한 것으로 추정한 사고 토큰량의 변화다. 모델 복제 정확도나 전 세계 공격 수, 모든 클라우드 제공자의 총량 감소율을 의미하지 않는다. 원시 절대량, 상세 분모와 평가 기간은 충분히 공개되지 않았다. SWE-bench Verified 80.4%와 71.8%는 사전학습된 Claude 모델을 Opus 4.8의 전체 사고 기록 또는 요약된 기록으로 각각 학습시킨 비교다. 기존 모델 자체의 성능 저하가 아니며 차이는 8.6%포인트다.

오탐률 0.1% 미만은 회사가 평가한 두 단계 분류기의 정상 요청 오차로, 공격 탐지율 99.9%나 모든 요청 무해성 보장이 아니다. 비교용 전체 데이터셋·표본 수·신뢰구간이 공개되지 않았다. 공격 전술 차단은 9월 보고서에 알려진 수법에 관한 결과이며, 새로운 매우 정교하고 지속적인 공격에는 아직 검증이 충분하지 않다고 회사도 인정했다. 또한 정상 이용자도 통합 수정·오탐·차단 요청 과금의 영향을 받는다. 일반적인 지식 증류 전체가 악의적이라는 의미로 확대해서는 안 된다.

실제로 어떻게 활용할까

이 방법은 다른 모델 개발자와 플랫폼이 증류 공격을 줄이는 데 참고할 수 있다. Anthropic은 모든 최전선 모델 개발자의 노력과 협조가 필요하다고 강조한다. 공격자가 유사하게 유능하지만 견고한 증류 방지 안전장치가 없는 모델에 쉽게 접근할 수 있다면 자사의 노력이 약화될 수 있기 때문이다. 플랫폼은 남용을 신속하게 탐지·교란하고 사기성 계정을 해지함으로써 증류를 실질적으로 늦출 수 있다.

이 방식의 운영 비용도 함께 봐야 한다. 탐지 시스템을 개발·유지해야 하고, 대량으로 비용을 지불하던 계정을 차단하면 매출이 줄 수 있다. 회사는 이런 비용에도 방어가 필요하다는 정책 판단을 제시한다. 독자는 지식 증류 자체의 유용성과 무단 수집 문제를 구별하고, 수집량 감소라는 운영 지표가 모델 복제 불가능성이나 사회 전체의 위험 감소를 곧바로 증명하지는 않는다는 점을 기억할 필요가 있다.