AI 연구 보고서는 서로 다른 근거를 얼마나 지나치게 단정할까

배경과 문제

LLM 기반 '딥 리서치' 에이전트는 여러 출처를 검색하고 분석하여 인용이 포함된 긴 보고서를 생성한다. 이런 보고서는 문장이 유창하고 정리되어 있어 마치 권위 있는 종합처럼 읽히지만, 실제로는 인용된 문서가 뒷받침하지 못하는 결론을 담는 경우가 많다. 저자들은 이를 '평활화(smoothing)'라고 부르는데, 다양한 증거의 '들쭉날쭉함(jaggedness)'을 하나의 서사로 무너뜨리면서 근거가 허용하는 것보다 더 결정적인 주장을 만들어내는 현상이다.

이 연구는 이러한 과장을 환각의 특수한 사례로 본다. 출처가 전혀 없는 날조만 문제가 되는 것은 아니다. 일부 인용 문서가 결론의 일부를 지지해도, 같은 문서에 있는 반례와 조건을 지우면 종합 결론은 잘못될 수 있다. 예를 들어 이미지 토큰 모델링이 Stable Diffusion 중심 구조보다 더 유망하다는 주장은 일부 결과로 뒷받침되지만 다른 결과에는 예외가 있다. 개별 인용의 지지 여부와 종합 결론의 범위·강도를 따로 살펴야 한다.

기존 접근의 한계

기존의 장문 사실성 평가 방법(FActScore, VeriScore 등)은 보고서를 원자적 주장으로 분해한 뒤 각각이 인용 문서에 의해 지지되는지 이진 판정한다. 그러나 평활화된 주장은 모든 인용 문서에서 '지지됨'으로 판정될 수 있다. 예를 들어 'A 방법이 B보다 낫다'는 주장이 A의 우수성을 보여주는 논문들로 지지되지만, 같은 문서들 안에 B가 특정 조건에서 더 낫다는 결과가 함께 있다면 이진 판정은 이를 놓친다.

ConflictScore와 같은 최근 연구는 문서별 지지/모순/무관을 집계하여 갈등을 측정하지만, 주장이 생략한 조건이나 범위 확장을 모두 포착하기는 어렵다고 저자들은 지적한다. 저자들은 Kargupta et al.의 '측면(aspect)' 개념을 차용하여, 지지 증거와 반박 증거를 같은 측면 아래 나란히 놓고 비교함으로써 주장이 증거의 이질성을 얼마나 뭉개는지 평가한다. 이는 단순한 지지 여부가 아니라 '증거에 대한 보정(calibration)'을 측정하는 접근이다.

연구방법을 단계별로

SMOOTHSCORE는 5단계로 구성된다. 1단계에서는 보고서에서 결론을 담은 주장(claim)을 추출한다. 이때 주장의 방향, 확신도, 범위, 단서를 원문 그대로 보존한다. 2단계에서는 각 주장에 대해 두 개의 에이전트를 실행한다. 지지 에이전트(support agent)는 주장을 뒷받침하는 증거를, 회의 에이전트(skeptic agent)는 주장을 제한하거나 모순되는 증거를 인용 문서에서 추출한다. 회의 에이전트는 단순 반례뿐 아니라 주장이 이미 인정한 한계를 확인하는 증거와 대안 접근법의 성공 사례도 수집한다.

3단계에서는 문서별로 제안된 측면(aspect)을 통합하여 주장별 측면 계층을 만든다. 측면은 '성능과 효율성', '확장성'처럼 주장을 평가하는 차원이다. 4단계에서는 추출된 모든 증거를 해당 측면에 할당한다. 이때 증거가 지지하는지 반박하는지는 고려하지 않고 내용만으로 분류한다. 5단계에서는 GPT-5 판정기가 질문, 주장, 측면별로 정리된 증거를 받아 1~5점의 SMOOTHSCORE를 매긴다. 점수가 높을수록 평활화가 심하다. 1점은 합리적 압축, 2점은 사소한 누락, 3점은 중요한 조건 누락, 4점은 중대한 왜곡, 5점은 핵심 결론 교체가 필요한 경우다. 최종 판정 이전의 주장·근거 추출과 측면 정리에는 GPT-5-mini를 사용한다. 따라서 증거를 모으는 단계의 오류도 최종 점수에 영향을 줄 수 있다.

결과와 숫자의 의미

Table 1은 시스템과 벤치마크별로 뽑은 결론의 점수 분포를 보여준다. ResearcherBench에서 Gemini Deep Research는 보고서 64개의 주장 434개로 평균 3.27점(95% 신뢰구간 3.21~3.34)을 기록했다. 표의 3·4·5점 비율을 더하면 93.4%, 4·5점만 더하면 35.3%다. Luna 5.6은 보고서 65개·주장 443개, 평균 1.95점이고 3점 이상은 28.9%였다. Sol 5.6은 보고서 64개·주장 430개, 평균 1.93점이고 3점 이상은 27.4%다. 이는 이 조건에서 추출한 결론의 과장 정도이며, 전체 보고서의 오답률이나 모델 자체의 고정된 성질은 아니다.

공개 연구 에이전트 DR Tulu와 QUEST도 같은 문제를 보였다. ResearcherBench에서 평균은 각각 2.57점과 2.50점으로 Sonnet 5의 2.52점과 비슷했다. 심각한 과장을 뜻하는 4점 이상은 반드시 4점과 5점을 합쳐야 하므로 DR Tulu는 6.9%+0.2%=7.1%, QUEST는 10.1%+1.5%=11.6%이며 Sonnet 5는 6.2%였다. 별도의 DeepResearch Bench II에서 QUEST의 95개 주장 중 5점 비율은 7.4%였다. 이 결과를 모든 질문으로 확대할 수는 없다. QUEST의 방문 도구는 원문 전체 대신 별도 GPT-5-mini가 목표에 맞춰 뽑은 자료를 반환한다는 설정 차이도 있다.

구체적인 예시

Table 2는 반복되는 평활화 패턴을 보여준다. '지지되지 않는 조합(unsupported composition)'은 개별적으로는 지지되지만 함께 결합하면 지지되지 않는 주장이다. 예를 들어 토큰 가지치기, 전문가 혼합, 적응적 중단을 동시에 배치하면 추론 지연 시간이 폭발하지 않는다는 주장은 각 기술의 개별 효과는 입증되지만 동시 배치의 이점은 증거가 없다. '범위 확장(scope expansion)'은 특정 조건에서의 결과를 일반적인 결론으로 확대하는 경우다. 자기 주의 모델이 계산 효율적이고 과적합에 덜 취약하다는 주장은 일부 ViT의 특정 비교에서는 맞지만 모든 모델과 체제로 일반화할 수 없다.

'조기 종결(premature closure)'은 '근본적으로 해결한다', '엄격히 보존한다'와 같은 단정적 언어를 사용하는 패턴이다. 연합 증류가 통계적 이질성 문제를 근본적으로 해결하고 개인정보 경계를 엄격히 보존한다는 주장은 실제로는 이질성이 증가하면 성능이 계속 저하되고 이론적 분석에 잔여 편향이 남으며 개인정보 공격이 여전히 가능하다는 증거를 무시한다. Table 7은 문서 접근과 보정 지침을 제공했을 때 동일한 결론이 어떻게 개선되는지 보여준다. 웹 검색만 한 경우 '보호는 소프트하고 확률적이어야 하며 영구적으로 동결되어서는 안 된다'는 주장이 4점을 받았지만, 전체 문서와 지침을 준 경우 '이전에 유용했던 매개변수나 하위 네트워크를 파괴적 갱신으로부터 보호해야 한다'는 주장이 1점을 받았다.

한계와 오해하기 쉬운 점

분모는 보고서에서 추출한 결론이며 모든 문장이나 모든 실제 사용 사례가 아니다. 질문도 문헌 종합에 맞게 선택했다. ResearcherBench 65개와 CS2 전문가 질문 25개는 전부 사용했지만, DeepResearch Bench II는 영어 질문 66개 중 18개, ResearchRubrics는 101개 중 17개를 골랐다. 보고서가 인용한 문서 안에서 과장을 검사하므로, 애초에 검색하지 못했거나 인용에서 빠진 문헌의 반례까지 전수 확인하는 방법은 아니다.

사람 검증은 저자 두 명이 시스템 이름을 보지 않고 같은 73개 주장을 평가했다. 두 사람의 점수가 정확히 같은 비율은 58%, 한 점 이내 차이는 96%였다. GPT-5 판정기와 첫 평가자의 일치는 각각 56%, 93%였다. 판정기가 3점 이상을 준 주장 중 사람도 3점 이상을 준 비율은 62%여서 자동 판정을 그대로 정답으로 받아들이면 안 된다. 이는 전체 정확도나 놓친 과장의 비율을 뜻하지 않는다. 판정자에 따른 주관성이 남고, 사람 검증 표본도 작다.

ResearcherBench에서 Luna의 기록상 원문 열기 비율은 인용 링크 496개 중 95개인 19.2%, Sonnet 5의 별도 fetch 비율은 1,458개 중 34개인 2.3%다. URL은 정규화하고 중복 제거했다. 다만 Anthropic 검색 결과 내용은 암호화돼 저자들이 모델에 전달된 문서량을 관찰할 수 없으므로, 낮은 fetch 비율만으로 본문을 전혀 읽지 않았다고 단정할 수 없다. QUEST의 방문은 별도 모델의 발췌를 받는 것이고 Gemini는 탐색 기록 자체가 공개되지 않았다. 이 수치는 도구별 관측 차이를 가진다.

실제로 어떻게 활용할까

SMOOTHSCORE는 연구 에이전트가 생성한 보고서의 신뢰성을 감사하는 도구로 사용할 수 있다. 특히 비교 질문이나 주제 개요 질문에서 평활화가 두드러지므로, 이런 유형의 질문에 대한 보고서를 검토할 때 주장의 범위와 조건을 확인하는 데 유용하다. 예를 들어 'A가 B보다 유망하다'는 결론이 특정 벤치마크에서만 성립하는지, 아니면 여러 조건에서 반례가 있는지 측면별로 정리된 증거를 통해 판단할 수 있다.

61개 ResearcherBench 질문에서 원문을 읽을 수 있게 하고 근거에 맞춰 표현하라는 지침을 함께 제공하자, Luna의 평균 점수는 1.95에서 1.52로 낮아졌다. 3점 이상 비율은 표의 각 구간을 합하면 29.4%에서 12.1%로 줄었다. Sonnet 5도 평균 2.54에서 1.78로, 해당 비율은 60.9%에서 25.1%로 줄었다. Luna의 추출 주장은 416개에서 378개, Sonnet은 407개에서 367개로 달라졌다. 같은 주장별 수정률이 아니라 새로 생성한 보고서의 분포 변화다. 문서만 주거나 지침만 더할 때보다 이 실험에서는 둘을 함께 제공한 효과가 컸다.

실무에서는 핵심 결론마다 무엇이 지지되고 어떤 조건에서 반례가 생기는지 나누어 확인하는 검토 틀로 쓸 수 있다. 실제 사용자 분야의 자료에서도 검증해야 하며, 자동 점수만으로 보고서를 통과시키는 것은 이 연구가 입증한 활용법이 아니다. 원문과 평가 지침을 제공해도 과장이 완전히 사라지지 않았다는 점을 함께 기억해야 한다.