Deep Review: AI가 쓴 긴 기술문서도 나눠서 검증하기

배경과 문제

생성형 AI가 논문 작성, 코드 실행, 실험 설계까지 가속하면서 기술 문서의 생산 속도는 크게 빨라졌다. 그러나 복잡한 과학 논문이나 법률 계약을 검토하려면 전문 지식과 깊은 주제 이해가 필요하고, 사람의 검증 능력은 거의 고정되어 있다. 이 불균형이 '검증 병목'이다. 정보가 엄밀하게 검토되는 속도보다 빠르게 생성되는 상황을 뜻한다.

학술 동료심사에서 이 병목은 뚜렷하다. ICLR, NeurIPS, ICML 세 주요 AI 학회의 제출 논문 수는 2023년 약 2만 3천 건에서 2026년 7만 4천 건 이상으로 늘었다. 각 제출물은 여러 건의 고품질 심사를 필요로 하므로 인간 전문가의 부담이 커진다. 수학·이론컴퓨터과학 논문은 증명을 줄 단위로 확인해야 해서 심사에 며칠이 걸리기도 한다.

기존 접근의 한계

가장 단순한 방법은 언어 모델에 논문 전체를 한 번에 입력해 평가를 생성하는 것이다. 그러나 복잡한 수학적 주장을 검증하려면 많은 '생각 토큰'이 필요하고, 이는 단일 모델의 문맥 용량을 쉽게 초과한다. 긴 문서의 여러 절에 걸친 의존 관계를 놓치거나, 미묘한 주장을 비판 없이 받아들일 위험도 있다.

같은 모델을 여러 번 독립적으로 호출해 결과를 합치는 Pass@k 방식은 재현율을 높일 수 있지만 정밀도가 크게 떨어진다. 논문이 든 설명용 가정에서는 모델이 한 번에 10개의 잠재적 문제를 출력하고 실제로 중요한 오류를 찾을 확률이 10%라면, 10번 실행하면 유효한 오류 하나를 찾기 위해 약 100개의 제안을 검토해야 한다. 또한 독립 호출은 같은 절에 계산 예산을 중복 사용해 다른 절이 충분히 검증되지 않을 수 있다.

연구방법을 단계별로

Deep Review의 바탕이 된 Paper Assistant Tool(PAT)은 네 단계 파이프라인으로 이 한계를 해결한다. 첫 단계는 문서 분할이다. 분할 에이전트가 논문을 서론, 방법론, 실험처럼 논리적 주제를 공유하는 구간으로 나눈다. 구간은 겹치거나 연속되지 않을 수 있으며, 입력 문서의 모든 내용을 포함해야 한다.

둘째는 적응형 예산 배분이다. 모든 절이 같은 인지적 깊이를 요구하지 않으므로, 정보 밀도와 복잡도를 검사해 구간별 계산 예산을 동적으로 할당한다. 수학적 증명이 밀집한 절은 서론이나 관련 연구보다 더 많은 계산을 받는다. 배경 논문 Figure 1은 이를 'Light Thinking', 'Medium Thinking', 'High Thinking' 트랙으로 구분한다.

셋째는 심층 병렬 검증이다. 전문화된 추론 에이전트가 각 구간을 병렬로 정밀 검토한다. 각 에이전트는 교차 참조를 추적하기 위해 문서 전체 문맥에 접근하지만, 추론 능력은 자신이 맡은 구간 검토에 집중한다. 이렇게 하면 개별 검토 작업이 관리 가능해지고 병렬 작업이 조정된다.

넷째는 전역 종합과 에이전트 기반 근거 확인이다. 종합 에이전트가 구간별 보고서를 통합하고 절 간 일관성을 최종 점검하며 필요하면 논리 검사를 다시 실행한다. 환각 방지를 위한 마지막 예방 조치로 외부 근거 확인과 도구 호출도 수행한다. PAT 논문은 이 단계에서 구글 검색을 사용해 존재하지 않는 논문이나 정리를 걸러낸다고 설명한다.

결과와 숫자의 의미

PAT 논문은 SPOT 벤치마크에서 수학·컴퓨터과학 범주의 '식/증명' 오류를 포함한 26개 논문, 29개 오류로 평가했다. 단일 모델 호출인 Gemini 3.1 Pro 제로샷은 55.2%의 탐지 정확도를 보였고, PAT는 89.7%를 기록했다. 이 34.5%포인트 차이가 '34% 개선'으로 소개된다. 원래 SPOT 최고 성능은 21.1%였지만, PAT 논문은 채점 방식이 달라 직접 비교할 수 없다고 명시한다.

STOC 2026 파일럿은 220개 논문에 서비스를 제공했고, 응답 저자의 97%가 피드백이 도움이 되었고 다시 사용하겠다고 답했으며 81%가 논문 명확성이 개선되었다고 보고했다. ICML 2026은 4,500건 이상의 제출을 대상으로 했고, 응답자의 92.1%가 재사용 의향을 밝혔다. 이론 논문 저자의 35.4%는 해결에 1시간 이상 걸리는 중대한 이론 공백을 보고했고, 경험 논문 저자의 31.0%는 제출 전에 완전히 새로운 실험을 설계·실행했다고 답했다.

NeurIPS 2026과 ICLR 2027 파일럿에서는 모델 업그레이드와 문맥 캐싱, 문헌 검색 에이전트가 추가되었다. 피드백을 '매우 도움이 됨' 또는 '대체로 도움이 됨'으로 평가한 비율이 73%에서 86%로 올랐고, 도움이 되지 않았다는 평가는 9.3%에서 2.9%로 줄었다. 응답자의 94.0%는 피드백 기반 변경이 명확성·가독성을 직접 개선했다고 답했고, 97.2%는 피드백의 대부분이 사실이라고 답했다. ICLR 응답자의 58.5%는 새 실험을 실행했고 43.37%는 중대한 이론 공백을 보고했다. 이 수치들은 각 조사 대상의 자기보고이며 전체 학계 성과로 일반화할 수 없다.

구체적인 예시

PAT 논문은 쌍대 바나흐 공간에 관한 논문에서 제로샷 기준 모델이 복소 최소 작용소 공간 사이의 실선형 사상에 대한 완전수축성 주장을 거짓임에도 받아들였다고 보고한다. 반면 PAT는 그 주장을 액면 그대로 받아들이지 않고 구체적인 반례를 구성해 주 정리를 무효화하는 치명적 공백을 드러냈다.

논문에 실린 저자 의견에는 도구 적용 방식의 치명적인 버그나 무한 시간 구간 분석의 모순을 찾아 고쳤다는 사례가 나온다. 이는 저자들이 보고한 경험이지 독립적으로 모든 수정 결과를 재검증한 실험은 아니다. 중대한 오류가 없는 원고에서도 절댓값 기호 누락, 부등호 방향 오류, 표기법 중복, 하나 차이 오류 같은 수학적으로 중요한 오타가 발견됐다고 한다.

한계와 오해하기 쉬운 점

블로그의 STOC 표에서 '명확성 개선 81%'와 6월 PAT 논문 Table 3의 '85.1%'는 서로 다른 수치다. 평가 시점이나 표본 차이에 대한 설명이 없으므로 두 값을 동일한 지표로 합쳐서는 안 된다. 마찬가지로 '재사용 의향 97%'와 다른 도움됨 지표를 혼동하지 말아야 한다. 97.2%는 '피드백의 대부분이 사실'이라고 답한 비율이지 모든 지적의 정확도가 97.2%라는 뜻이 아니다.

SPOT 평가는 수학·컴퓨터과학의 식·증명 오류 26개 논문, 29개 오류로 한정된다. 55.2%에서 89.7%로의 상승은 34.5%포인트 차이이며, 일반 과학 논문의 정확도나 인과적 생산성 효과를 입증하지 않는다. 기존 SPOT 최고 성능과는 채점 방식이 달라 직접 순위 비교가 불가능하다. 파일럿에서 PAT는 공식 동료심사의 합격·불합격 결정과 분리된 제출 전 저자 지원 도구였다. 법률·재무 문서 활용은 적용 범위 소개일 뿐, 그 분야 성능이 같은 조건으로 검증되었다는 증거는 아니다.

파일럿 테스트에서 가장 자주 보고된 한계는 날짜 환각과 오래된 지식 마감, PDF 파싱 문제, 추론 실패나 모델 오해로 인해 증명이나 논증이 틀렸다고 거짓 주장하는 것이었다. 처음 두 문제에는 검색 도구와 파싱 개선으로 대응했다고 밝혔지만, 세 번째 문제는 모든 LLM 기반 시스템의 산물이며 추론 능력 개선으로 대응 중이다. 공개 서비스는 업로드 문서를 1년간 보관하지만 과거 파일럿은 프로그램 종료 후 삭제했다는 점도 정책 차이다.

실제로 어떻게 활용할까

Deep Review는 공개 출시와 함께 주당 2회 무료 문서 리뷰를 제공한다. 대량 작업이 필요한 사용자는 Gemini API 키를 연결해 더 높은 사용 한도와 프로그램적 통합을 이용할 수 있다. 초기 입력 형식은 PDF와 일반 텍스트이며, 여러 파일 입력 지원은 곧 제공될 예정이다. 업로드된 문서는 모델 학습이나 파인튜닝에 사용되지 않으며, 사용자 인터페이스에 표시할 목적으로만 1년간 저장된다.

학술 논문 외에도 설계 문서에서 드러나지 않은 아키텍처 가정을 찾고 경계 사례를 발견하며, 프레젠테이션에서 슬라이드 전환의 논리적 흐름과 도표 일치를 확인하는 데 쓸 수 있다. 법률·재무 문서에서는 조항과 데이터 표 사이의 내부 일관성을 점검하고 모호한 용어나 하위 결과를 표시하며 주장을 뒷받침 증거와 대조한다. Antigravity의 Teamwork 다중 에이전트 프레임워크를 사용하는 'Teamwork Deep Document Review Pattern'도 연구 논문과 기술 제안서를 평가하도록 설계되었다.