보고서난이도 보통OpenAI · 10월 5일(월) 공개

AI 문장에 통계적 흔적을 남기는 textGrain과 탐지의 한계

OpenAI가 textGrain 워터마크의 원리와 도입 범위를 공개하고, 짧은 글·수정된 글에서 탐지 정확도가 크게 떨어지는 한계를 설명했습니다.

쉽게 말하면비유하자면 AI가 낱말을 고를 때 눈에 띄지 않게 일부러 심어 둔 손버릇 같은 표시다. 글이 길면 그 버릇이 잘 드러난다. 글이 짧거나 누가 낱말을 바꿔 쓰면 버릇이 흐려져 알아보기 어렵다.

왜 봐야 하나: 글에 OpenAI 워터마크가 있는지 가려내는 탐지기의 결과를 어디까지 믿을지 알려 준다. 짧은 글과 고친 글에서는 놓치는 일이 많다. 탐지 결과 하나로 글의 출처나 저자를 단정하면 위험하다.

이 글은 OpenAI가 EU AI법의 텍스트 출처 규정에 대응해 도입하는 텍스트 워터마킹 기술 textGrain의 작동 원리와 한계를 설명한다. textGrain은 언어 모델의 단어 선택에 보이지 않는 통계 신호를 심고, 탐지기가 그 신호를 찾아 텍스트에 OpenAI 시스템이 생성하거나 처리한 흔적이 있는지 평가한다. 그러나 짧은 텍스트나 수학처럼 단어 선택의 유연성이 낮은 내용에서는 탐지율이 크게 떨어지고, 동의어 치환 같은 편집에도 신호가 약해진다. OpenAI는 이런 한계 때문에 탐지기 접근을 연구자와 전문 기관으로 제한하고, EU의 적격 출력에 향후 수 주에 걸쳐 도입하는 단계적 접근을 발표했다.

알아낸 것

OpenAI 평가에서 워터마크가 없는 글을 있다고 잘못 판정하는 비율(거짓 양성률) 1%를 목표로 했을 때, 심리학 같은 내용의 200토큰 문단은 약 80%, 400토큰 문단은 약 95%를 탐지했다. 수학 같은 내용은 탐지율이 훨씬 낮았다.
400토큰 영어 문단에서 단어의 10%를 동의어로 바꾸면 탐지율이 약 92%에서 66%로 떨어졌다. 25%를 바꾸면 17%까지 내려갔다.
탐지되지 않았다고 사람이 쓴 글이라는 증거는 아니다. 탐지됐다고 사람의 기여도, 저자, 소유권, 사실 여부를 알 수 있는 것도 아니다.

한계와 주의할 점

EU 도입 방침과 탐지기 접근 지침을 동반한 기술 보고서입니다. 탐지 결과만으로 인간 기여·저자·소유권·사실 여부를 판정할 수 없습니다.
탐지율은 정해진 텍스트 길이·주제·편집 조건의 평가이며 일반 텍스트 전체에서의 정확도가 아닙니다.
기술 보고서 PDF의 일부 수식 글꼴은 텍스트 추출 경고가 있어 수식을 원본 PDF로 확인해야 합니다.

용어 풀이

텍스트 워터마킹: 언어 모델이 텍스트를 생성할 때 보이지 않는 통계적 신호를 심어 나중에 그 텍스트가 특정 모델에서 나왔는지 추정하는 기술. textGrain은 단어 선택에 신호를 넣는다.
엔트로피 예산: 워터마킹이 제거할 수 있는 평균 샘플링 무작위성의 최대 분율. textGrain은 이 예산을 β로 설정해 텍스트 다양성 손실을 제한한다.
최적 수송: 두 확률 분포 사이의 결합 분포를 비용을 최소화하며 찾는 수학적 방법. textGrain은 블록 분포와 균등 열 분포를 결합해 워터마크 신호를 만든다.
KL 발산: 두 확률 분포가 얼마나 다른지 측정하는 정보이론적 척도. textGrain에서 독립 결합과의 KL 발산은 평균 엔트로피 손실과 같아 예산 제약으로 사용된다.
Gumbel 난수: 극값 분포에서 추출한 난수로, textGrain에서 블록-열 쌍의 비용을 만드는 데 쓰인다. 탐지기는 이 값을 재구성해 워터마크 신호를 검정한다.

더 깊이 읽기 읽는 데 약 7분

배경과 문제

OpenAI는 EU AI법의 기계 판독 가능한 생성 텍스트 식별 요구에 대응하는 자사 방침으로 이 글을 발표했다. OpenAI는 이미 이미지와 오디오에 대해 검증 도구를 공개했지만, 텍스트는 이미지나 오디오보다 훨씬 쉽게 다시 쓰거나 번역·편집될 수 있어 별도의 기술이 필요하다. 텍스트 워터마킹은 모델이 문장을 생성할 때 특정 통계적 패턴을 심어두고, 나중에 그 패턴을 검사해 생성 여부를 추정하는 방법이다. 그러나 이 기술은 아직 초기 단계라 이상적인 조건에서의 성능이 실제 사용 환경에서 그대로 재현되지 않는다.

워터마킹의 핵심 어려움은 탐지 오류와 편집 취약성이다. 탐지기는 워터마크가 없는데 있다고 잘못 보고하는 거짓 양성과, 워터마크가 있는데 놓치는 거짓 음성이라는 두 가지 오류를 낼 수 있다. 또한 텍스트가 짧거나 단어 선택의 폭이 좁은 주제에서는 신호가 약해지고, 동의어 치환 같은 간단한 편집만으로도 신호가 크게 손상된다. 이런 한계 때문에 워터마크 탐지 결과만으로 텍스트의 출처나 저작자를 단정하는 것은 위험하다.

기존 접근의 한계

초기 텍스트 워터마킹은 완성된 문장을 통사적으로 변형하거나 동의어로 바꾸는 방식이었지만, 현대 생성형 워터마킹은 모델이 토큰을 하나씩 생성하는 순간에 개입한다. 대표적인 방법 중 하나인 그린리스트 방식은 키에 따라 선택된 토큰 부분집합을 편향시켜 탐지 가능성을 높이지만, 키를 평균해도 원래의 다음 토큰 예측 분포가 보존되지 않아 텍스트 품질에 영향을 줄 수 있다.

반면 분포 보존형 워터마킹은 키를 평균하면 원래 분포를 회복하도록 설계된다. 그러나 분포 보존만으로는 고정된 키 아래에서 샘플링의 무작위성이 충분히 남아 있는지 보장되지 않는다. 예를 들어 Gumbel-max 방식은 같은 프롬프트에 대해 항상 같은 토큰을 선택해 반복 생성 시 동일한 응답만 나올 수 있다. textGrain은 이런 문제를 해결하기 위해 키에 대한 의존성을 만들면서도 샘플링 엔트로피의 손실을 명시적으로 예산으로 제한한다.

연구방법을 단계별로

textGrain은 언어 모델의 어휘를 키와 문맥 창에 따라 여러 블록으로 나누고, 블록 확률 분포를 균등한 열들에 결합하는 최적 수송 문제를 푼다. 각 블록-열 쌍에는 키에서 유도된 Gumbel 난수로 비용을 부여하고, 비용이 작은 쌍을 선호하되 KL 발산으로 독립 결합에서 벗어나는 정도를 벌점화한다. 이 KL 벌점은 정확히 평균 엔트로피 손실과 같아서, 목표 엔트로피 손실 분율 β를 직접 예산으로 설정할 수 있다.

생성 단계에서는 키가 열 하나를 선택하고, 그 열의 조건부 블록 확률에 따라 블록을 고른 뒤, 블록 내에서는 원래의 상대적 토큰 확률을 유지한 채 토큰을 샘플링한다. 이렇게 하면 키를 평균했을 때 원래의 다음 토큰 예측 분포가 복원된다. 탐지 단계에서는 동일한 키와 문맥 창 규칙으로 각 위치의 비용을 재구성하고, 관찰된 토큰이 비용이 작은 쌍에 자주 나타나는지 검정한다. 탐지기는 생성에 사용된 결합이나 엔트로피 예산을 알 필요가 없다.

결과와 숫자의 의미

OpenAI의 평가에서 textGrain은 SynthID for text를 포함해 테스트한 다른 방식과 비슷하거나 더 나은 성능을 보였다. 그러나 이상적 조건의 성능이 일상적 사용의 신뢰성을 보장하지는 않는다. ELI5 질문에 대한 워터마크 응답 평가에서 거짓 양성률 1%를 목표로 했을 때, 심리학 같은 내용의 200토큰 문단에서는 약 80%를 탐지했지만 400토큰 문단에서는 약 95%로 올라갔다. 수학처럼 단어 선택의 유연성이 낮은 내용에서는 탐지율이 훨씬 낮았다.

편집은 워터마크 신호를 크게 약화시킨다. ELI5 질문에 대한 영어 응답의 400토큰 문단을 편집한 평가에서 단어의 10%를 동의어로 바꾸면 탐지율이 약 92%에서 66%로 떨어졌고, 25%를 바꾸면 17%까지 하락했다. 이는 해당 편집 조건에서 탐지기가 워터마크를 놓치는 비율이 크게 증가한다는 뜻이다. 원문의 사실성이나 무결성을 보호한다는 뜻은 아니다. 출력 품질 측면에서 OpenAI는 Astra 모델의 여러 벤치마크에서 의미 있는 차이를 관찰하지 못했다고 보고한다. 개별 점수는 오르내리며, 모든 조건의 품질 동등성이 증명되었다는 뜻은 아니다.

구체적인 예시

기술 보고서의 그림 1은 'The morning was ___'라는 문장에서 다음 토큰을 고르는 과정을 보여준다. 어휘는 warm, cold, mild, calm, sunny, bright 등으로 나뉘고, 키와 문맥 창이 이들을 세 블록으로 묶는다. 각 블록은 속한 토큰들의 확률 합을 가지며, 최적 수송이 이 블록 확률을 네 개의 균등한 열에 결합한다. 키가 열 하나를 선택하면 그 열의 정규화된 항목이 블록 확률을 결정하고, 블록 안에서는 원래 상대 확률로 토큰을 뽑는다.

탐지 예시에서는 'The morning was cold and bright.'라는 문장에서 각 토큰의 블록을 식별하고, 해당 블록-열 쌍의 비용을 점수로 변환한다. 이 점수들을 합산해 워터마크가 없는 텍스트에서 기대되는 분포와 비교한다. 점수 합이 임계값을 넘으면 워터마크가 있다고 판정한다. 이 과정은 생성에 사용된 모델이나 엔트로피 예산 없이도 키와 텍스트만으로 재현할 수 있다.

한계와 오해하기 쉬운 점

워터마크 탐지 결과는 인간의 기여도를 측정하지 않는다. OpenAI 시스템이 문단의 일부를 생성하거나 처리했음을 나타낼 수 있지만, 얼마나 많은 인간의 판단·편집·창의성이 들어갔는지는 알 수 없다. 또한 소유권이나 책임을 확정하지 않으며, 사용자를 식별하지도 않고, 텍스트의 정확성이나 유해성을 검증하지도 않는다.

워터마크가 탐지되지 않았다고 해서 인간이 쓴 글이라는 증거도 아니다. 텍스트가 너무 짧거나 편집·번역되었거나, 지원되지 않는 모델에서 나왔거나, 워터마킹 도입 이전에 생성되었거나, 다른 회사의 도구로 만들어졌을 수 있다. 기술 보고서는 이상적인 독립성 가정 하에서 거짓 양성률을 계산하지만, 고정된 키와 유한 정밀도 연산에서는 실제 오류율이 응용마다 다를 수 있으므로 경험적 보정이 필요하다고 명시한다.

실제로 어떻게 활용할까

10월 5일 발표에 따르면, OpenAI는 향후 수 주 동안 EU의 ChatGPT·Codex 적격 텍스트 출력에 워터마크를 도입할 예정이다. 전 세계 API 고객은 일부 모델에 대해 워터마크를 선택적으로 켤 수 있다. 탐지기는 처음에는 승인된 연구자와 전문 기관에만 제공되어 신뢰성과 책임 있는 사용을 평가하도록 한다. 이 도구는 OpenAI 워터마크의 존재 여부만 보고하며 사용자나 프롬프트를 드러내지 않는다.

이런 단계적 접근은 기술의 한계를 인정하면서 규제 요구를 충족하려는 시도다. 텍스트 워터마크는 이미지·오디오의 Content Credentials나 SynthID와 같은 다른 출처 기술과 함께 계층적으로 사용될 때 더 유용하다. OpenAI는 탐지 성능을 개선하고, 편집·번역에 대한 견고성을 연구하며, AI 지원과 AI 저작을 더 의미 있게 구분하는 방법을 탐색하겠다고 밝혔다.

원문에서 확인한 근거 5곳

textGrain은 평가에서 SynthID for text를 포함한 다른 접근법과 비슷하거나 더 나은 성능을 보였다.How our watermarking works and performs
ELI5 심리학 등 주제의 평가에서 거짓 양성률 1%를 목표로 할 때 200토큰 문단의 탐지율은 약 80%, 400토큰 문단은 약 95%였고, 수학 내용에서는 훨씬 낮았다.Shorter or more constrained text is harder to
ELI5 영어 응답의 400토큰 문단에서 단어의 10%를 동의어로 바꾸면 탐지율이 약 92%에서 66%로, 25%를 바꾸면 17%로 떨어졌다.Editing can weaken the watermark.
textGrain의 KL 벌점은 평균 엔트로피 손실과 같아서 엔트로피 예산이 샘플링 무작위성 제거를 직접 제한한다.Information and entropy
탐지기는 생성된 텍스트와 비밀 키만 필요하며 생성에 사용된 예산이나 모델을 알 필요가 없다.Watermark detection

출처원문 — OpenAI PDF

10월 6일(화) 정리 · AI가 쓰고 원문과 대조

AI 목록