보고서를 매번 새로 쓰지 않고, 바뀐 근거만 갱신하는 AI 연구 방식

배경과 문제

대규모 언어 모델(LLM)의 발전으로 단순 질의응답을 넘어, 스스로 연구 전략을 세우고 웹을 검색해 증거를 모은 뒤 종합 보고서를 작성하는 개방형 심층 연구(OEDR)가 현실화되었다. 기존 OEDR 시스템은 크게 두 갈래로 나뉜다. 하나는 미리 정해진 파이프라인을 따라 개요를 만들고 증거를 검색한 뒤 보고서를 생성하는 '워크플로' 방식이고, 다른 하나는 LLM 에이전트가 중간 결과에 따라 계획을 바꾸고 검색과 작성을 반복하는 '에이전트' 방식이다. 이 논문은 ModelScope의 ms-agent라는 오픈소스 에이전트 기반 OEDR 시스템을 기반으로 삼는다.

그런데 실제 업무에서는 보고서가 한 번 작성되고 끝나는 것이 아니라, 새 정보가 나올 때마다 주기적으로 갱신되어야 하는 경우가 많다. 예를 들어 AI 산업 분석 보고서는 새로 출시된 모델과 기술을 반영해야 하고, 경제 보고서는 새로운 통계와 지표를 담아야 한다. 이런 '증분 시나리오'에서 기존 OEDR을 그대로 다시 실행하면 두 가지 문제가 생긴다. 첫째, 기존 보고서의 대부분 내용은 여전히 유효한데도 전체 검색과 생성을 반복하므로 검색 호출과 모델 계산이 낭비된다. 둘째, 독립적으로 다시 생성하면 지식 변화가 미미해도 보고서의 구조와 내용이 크게 달라져 일관성이 떨어진다.

기존 접근의 한계

논문이 비교한 기존 OEDR은 질문에서 출발해 독립적인 보고서를 만드는 방식이다. 지속적인 갱신 업무에서는 보고서와 근거를 다음 실행에서도 꺼내 쓸 수 있도록 보존해야 하는데, 단순 재실행에는 그런 기능이 부족하다.

Structured Harness는 이전 보고서를 에이전트가 검색하고 편집할 수 있는 구조로 바꾼다. 새로운 언어 모델을 학습시키는 연구가 아니라, 기존 모델 주변의 실행 도구와 저장 상태를 설계하는 연구다. 따라서 효과를 볼 때도 모델 자체의 능력 향상과 반복 작업 방식의 개선을 구분해야 한다.

연구방법을 단계별로

이 연구의 핵심 아이디어는 보고서를 '개요(outline), 섹션(section), 증거(evidence)'의 구조화된 컬렉션으로 표현하는 것이다. 수식으로는 Rt = ⟨ot, st, et⟩로 나타내는데, 여기서 ot는 보고서 개요, st는 섹션 단위, et는 관련 증거를 뜻한다. 이 구조화된 표현을 바탕으로 세 가지 능력이 제공된다. 첫째, '구조화 검색(Structured Retrieval)'은 에이전트가 보고서의 일부(관련 개요, 특정 섹션, 그 섹션의 인용 증거)만 선택적으로 가져올 수 있게 한다. 둘째, '구조화 증거 풀(Structured Evidence Pool)'은 이전에 사용한 증거를 후속 갱신 단계에도 유지하며 필요할 때 갱신한다. 셋째, '구조화 생성(Structured Generation)'은 에이전트가 기존 보고서 구조 위에서 영향을 받는 섹션만 선택적으로 보존·수정·확장하도록 제약한다. 구현은 연구를 조율하는 Researcher, 웹 근거를 찾는 Searcher, 보고서를 편집하는 Reporter로 역할을 나눈다.

구조화 증거 풀의 작동 방식을 더 자세히 보면, 각 증거 조각에 대해 출처 URL, 제목, 원시 내용, 갱신 시각을 기록한다. '오래된 증거 갱신(Old Evidence Update)'에서는 배치 새로고침 도구가 관련 웹페이지를 다시 가져와 이전 저장 버전과 문자 수준 유사도를 계산한다. 유사도가 미리 정한 임계값 τ(이 논문에서는 0.9) 아래로 떨어지면, 즉 소스 내용이 크게 바뀌었을 가능성이 있으면 LLM을 호출해 주장 수준 차이 분석(claim-level diff analysis)을 수행한다. '새 증거 발견(New Evidence Discovery)'에서는 에이전트가 새 검색을 할 때 새로 얻은 증거를 메타데이터와 함께 자동으로 증거 풀에 저장하여 이후 갱신 단계에서 직접 재사용할 수 있게 한다.

구조화 생성은 보고서 작성을 구조화된 편집 과정으로 바꾼다. 에이전트는 원래 질문에서 독립적으로 새 보고서를 생성하는 대신, 기존 보고서 구조 위에서 작업한다. 각 섹션은 기존 지식이 여전히 유효하면 보존되고, 오래되었거나 불완전하면 수정되며, 새로 발견된 정보가 관련 있지만 이전 보고서에 없으면 확장된다. 이렇게 하면 영향을 받지 않는 내용과 확립된 보고서 구조가 유지된다.

평가를 위해 2016년부터 2025년까지 10년 기간을 설정하고, 각 시점을 해당 연도의 12월 31일로 고정했다. Tavily 검색 API의 end_date 파라미터를 사용해 검색 결과를 해당 시점까지 게시된 자료로 제한했다. 두 가지 보완적 과제를 도입했다. '단일 단계 과제(SST)'는 이전 시점의 OEDR 초기화 보고서에서 다음 시점 보고서로 한 번 갱신하는 것을 평가한다. '장기 체인 과제(LCT)'는 OEDR 초기화 보고서에서 시작해 여러 번 연속 갱신하면서 지식 유지 능력을 평가한다. 평가 지표는 보고서 품질, 보고서 연속성, 연구 비용의 세 관점에서 측정한다. OC는 Researcher에 Qwen3.5-397B-A17B, 다른 역할에 Qwen3.5-122B-A10B를 쓴다. PC는 Researcher에 GPT-5, 다른 역할에 Qwen3.5-397B-A17B를 쓴다. 따라서 PC도 모든 구성 요소가 상용 모델이라는 뜻은 아니다.

결과와 숫자의 의미

보고서 품질 측면에서, 증분형 OEDR은 두 벤치마크(DeepResearch Bench, DeepConsult)와 두 모델 구성(오픈소스 OC, 상용 PC)에서 기준선과 비슷하거나 약간 더 나은 점수를 유지했다. DeepResearch Bench에서 OC 구성의 평균 RACE 점수는 SST 49.11, LCT 49.20으로, ms-agent 기준선 48.75보다 높았다. PC 구성에서도 SST 51.07, LCT 51.25로 기준선 51.05와 거의 같았다. 이는 이전 연구를 재사용해도 시험한 여러 시점의 반복 갱신에서 품질 점수가 크게 떨어지지 않음을 보여준다.

보고서 연속성은 증분형 OEDR의 가장 큰 장점이다. DeepResearch Bench OC에서 콘텐츠 수준 ROUGE-L F1은 기준선 0.17에서 SST 0.57, LCT 0.68로 상승했다. 개요 수준 EM F1은 기준선 0.04에서 SST 0.60, LCT 0.67로 상승했다. 즉, 독립적으로 다시 생성하는 기준선보다, 증분형 방식에서 이전 보고서와의 구조·문장 유사도가 높았다. 이 수치는 사실 정확도가 아니라 연속 보고서 간 유사도를 나타낸다는 점에 유의해야 한다.

연구 비용도 크게 줄었다. DeepResearch Bench OC에서 보고서당 총 토큰은 기준선 3.78M에서 SST 2.96M, LCT 2.52M으로 감소했다. 이는 각각 약 22%, 33% 절감이다. 보고서당 평균 검색 호출 횟수는 기준선 45.19회에서 SST 18.62회, LCT 17.85회로 줄어 약 59%, 61% 감소했다. 다만 DeepConsult OC에서는 SST 2.79M, LCT 2.81M으로 LCT가 SST보다 토큰이 약간 많아, LCT가 항상 토큰을 줄이는 것은 아니다. 본문의 'reductions' 표현과 표의 수치가 일치하지 않는 부분이 있다.

DeepResearch Bench OC에서는 LCT가 SST보다 보고서당 토큰과 검색을 더 줄였다. 그 이유는 구조화 증거 풀의 초기화와 재사용 방식 차이에 있다. SST에서는 각 갱신이 이전 시점의 OEDR 생성 보고서에서 시작하는데, 이 보고서에는 구조화 증거 풀이 초기화되어 있지 않다. 반면 LCT에서는 각 갱신이 이전 증분형 OEDR 단계의 보고서와 그동안 유지한 증거 풀에서 시작하므로, 이전 근거를 유지하면서 출처를 다시 가져와 비교하고, 변경 여부에 따라 주장 분석과 보고서 갱신을 줄일 수 있다. 이 차이로 DeepResearch Bench OC에서 토큰이 2.96M에서 2.52M으로 14.9% 추가 감소하고, 검색은 18.62회에서 17.85회로 4.1% 감소했다.

구체적인 예시

Figure 3은 기존 증거를 갱신하는 과정의 개념도다. 예를 들어 AI 서비스 소개 페이지를 근거로 쓴 보고서가 있다고 하자. 증거 풀에는 그 URL, 제목, 본문, 확인 시각이 저장된다. 다음 갱신 때 같은 페이지를 다시 가져와 저장본과 비교하고, 문자 유사도가 0.9 아래로 떨어질 만큼 바뀌면 LLM이 어느 주장이 달라졌는지 분석한다. 변경이 없으면 저장된 근거를 재사용한다. 전체 페이지를 다시 가져오는 일은 필요하지만, 모든 내용을 LLM이 매번 처음부터 분석하는 비용을 줄이려는 구조다.

새 검색으로 별도의 시스템 설명 문서를 발견하면 그 문서도 출처와 확인 시각을 붙여 증거 풀에 추가하고, 관련 섹션의 갱신에 활용한다. 이는 Figure 3의 기존 증거 갱신과 새 증거 발견을 풀어 쓴 설명용 예시다. 그림에 그려진 특정 서비스의 문구·일정 자체를 이 연구의 실측 사례로 확인한 것은 아니다.

한계와 오해하기 쉬운 점

이 연구의 시간적 평가는 Tavily의 end_date 파라미터에 의존한다. 이 파라미터는 특정 시점 이전에 발행된 웹페이지만 접근하도록 제한하지만, 기존 웹페이지의 내용이 시간에 따라 어떻게 변하는지는 시뮬레이션하지 못한다. 즉, 2016년 시점에서 2020년에 업데이트된 웹페이지의 과거 버전을 복원할 수 없다. 또한 현재 LLM의 내재 지식을 과거로 되돌린 것도 아니다. 평가는 2016~2025년 각 12월 31일을 설정한 10개 시점이며, 실제 10년 동안 시스템을 운영한 것이 아니다.

RACE는 포괄성, 통찰과 깊이, 지시 준수, 가독성을 가중 합산한 보고서 품질 점수이며 정답률 퍼센트가 아니다. 이 논문의 DeepResearch Bench 비교에는 GPT-5.5 판정, DeepConsult에는 GPT-4.1 판정을 사용했다. 표 1의 외부 비교 결과 중 별표는 Gemini-2.5-Pro, 십자표는 GPT-5.5로 평가되어 판정 모델과 평가 시점·출처가 섞인다. 따라서 작은 평균 점수 차이를 근거로 모든 상용 연구 제품보다 우수하다고 일반화할 수는 없다.

표 3의 연속성 수치는 사실 정확도 상승률이 아니다. 콘텐츠 수준 ROUGE-L F1 0.17→0.68은 연속 보고서 간 문장 유사도가 높아졌다는 뜻이지, 보고서의 사실이 더 정확해졌다는 뜻이 아니다. 문장 유사도는 오류까지 보존할 수 있으므로, 최신 사실의 정확성이나 전용 갱신 벤치마크는 별도의 과제로 남는다. 또한 LCT의 약 33% 토큰 절감과 61% 검색 절감은 기준선(3.78M, 45.19회) 대비이며, API 요금, 벽시계 시간, 모든 환경에서의 비용을 측정한 수치가 아니다.

갱신 간격의 효과도 조건에 따라 다르다. 표 4에 따르면 10년 갱신 간격은 기준선 대비 비용 1.446배, 품질이 기준선의 0.984배로 불리했다. 반면 1년, 1개월 간격은 유리했다. 갱신 주기와 축적 증거의 조건이 중요하다. 이 논문은 1년 갱신 간격을 기본으로 사용했다. 또한 이 연구는 기존 OEDR 벤치마크에서 평가되었는데, 이 벤치마크는 증분 보고서 유지 관리를 위해 특별히 설계되지 않았다. 시간에 따라 진화하는 연구 시나리오와 명시적으로 업데이트된 소스를 가진 전용 증분형 OEDR 벤치마크 개발이 향후 과제로 남는다.

실제로 어떻게 활용할까

증분형 OEDR은 보고서가 일회성 생성이 아니라 지속적인 유지 관리가 필요한 시나리오에 특히 적합하다. 논문은 기술 및 산업 인텔리전스, 금융 및 경제 연구, 과학 문헌 모니터링을 예로 든다. 이러한 응용 분야는 축적된 지식을 보존하면서 새로 이용 가능한 정보를 선택적으로 통합해야 한다는 공통점이 있다.

실험 결과가 아닌 활용 예시로, 어떤 기업이 분기별로 경쟁사 동향 보고서를 갱신해야 한다고 하자. 기존 OEDR을 사용하면 매번 전체 웹 검색과 보고서 작성을 반복해야 한다. 하지만 Structured Harness를 적용하면, 이전 보고서의 개요와 섹션을 재사용하고, 이전에 인용한 소스를 다시 확인한 뒤 바뀐 주장에 분석을 집중하며, 새로 발견된 정보만 해당 섹션에 추가할 수 있다. 이렇게 하면 보고서의 구조와 문장이 크게 바뀌지 않아 독자가 변경 사항을 쉽게 파악할 수 있고, 검색과 토큰 사용을 줄이는 효과를 기대할 수 있다. 다만 이 연구의 평가는 특정 벤치마크와 모델 구성에 한정되므로, 실제 도입 시에는 자체 데이터와 갱신 주기에 맞는 검증이 필요하다.