검색 AI에게 정답뿐 아니라 새로 알아낸 사실도 보상하는 KnowGPO

배경과 문제

딥서치 에이전트는 한 번 검색하고 끝나는 일반 RAG와 달리, 여러 차례 검색하고 문서를 읽고 질문을 바꾸며 언제 멈출지 스스로 결정한다. 이런 장기간의 순차적 의사결정에서는 최종 정답이 맞았는지 틀렸는지만으로는 중간의 어떤 검색이 유용했고 어떤 검색이 불필요했는지 알기 어렵다. 예를 들어 정답을 이미 찾았는데도 계속 검색하다가 잘못된 정보에 휩쓸려 답을 바꾸는 경우, 최종 보상만으로는 여러 행동 가운데 어느 검색이 특히 해로웠는지 정확히 가려내기 어렵다.

기존 강화학습 방법인 GRPO는 궤적 전체에 하나의 최종 보상을 모든 단계에 동일하게 나누어 주기 때문에, 중간 단계의 기여를 구분하지 못한다. GiGPO는 같은 표면 상태를 다시 방문한 단계끼리 묶어 비교하려 하지만, 딥서치에서는 검색 결과와 추론 내용이 매우 다양해서 같은 상태가 거의 반복되지 않는다. IGPO는 모델이 정답을 예측하는 확률의 변화를 단계 보상으로 쓰지만, 이는 모델 내부의 신뢰도에 의존하므로 길고 잡음이 많은 검색 문맥에서 왜곡될 수 있다.

기존 접근의 한계

GRPO는 질문당 여러 검색 경로를 시도하고 마지막 답의 성공 여부로 경로들을 비교한다. 이 때문에 좋은 중간 검색과 나쁜 후속 검색이 한 경로 안에 섞이면 공로와 책임을 나누기 어렵다. GiGPO는 같은 상태에서 출발한 행동을 비교하지만, 검색 문서의 표현이 다양해 같은 사실을 얻은 경로도 서로 떨어질 수 있다. KnowGPO가 바꾸려는 부분은 모델의 크기보다 무엇을 같은 진행 상태로 보고 학습할지에 관한 기준이다.

또한 학습된 보상 모델이나 루브릭 기반 보상 모델을 쓰는 방법도 있지만, 이는 학습된 대리 신호에 의존하며 보정 자체가 연구 문제가 된다. KnowGPO는 이러한 한계를 피하기 위해 외부에서 검증 가능한 지식 조건의 충족 여부를 기준으로 삼는다. 즉, 모델의 자신감이나 표면적 유사성이 아니라 검색 증거를 외부 LLM 검증기가 확인한 결과로 단계별 기여도를 판단한다. 검증기가 오류를 낼 수 있으므로, 객관적 사실을 완벽하게 자동 판정한다는 뜻은 아니다.

연구방법을 단계별로

KnowGPO는 먼저 각 질문에 대해 정답을 도출하는 데 필요한 정보를 '원자적 지식 조건'의 집합으로 분해한다. 각 조건은 하나의 사실만 담고, 조건들을 모두 합치면 정답에 이르는 추론 사슬을 완성하며, 질문·정답·검색 궤적 사이에 개체 표현이 일관되도록 구성한다. 이 조건 집합은 두 단계로 만든다. 첫 단계에서는 질문만 보고 추론의 뼈대를 세우되 개체는 자리표시자로 둔다. 두 번째 단계에서는 정답과 성공한 참조 궤적을 이용해 자리표시자를 실제 개체로 채운다.

각 궤적의 단계마다 LLM 검증기가 새로 들어온 관찰을 보고 어떤 지식 조건이 새로 충족되었는지 이진 벡터로 판단한다. 이 벡터를 이전 상태와 OR 연산으로 누적하여 현재 지식 상태를 만든다. 지식은 한번 획득하면 잃지 않는다는 가정을 반영하며, 저자들은 일시적인 검증기 잡음을 줄이는 데 도움이 된다고 설명한다. 다만 잘못 충족됐다고 판정한 조건까지 계속 남길 수 있다. 이렇게 만든 지식 상태는 서로 다른 궤적에서 같은 사실을 획득한 단계들을 의미적으로 동일한 그룹으로 묶는 기준이 된다.

보상은 두 수준으로 나뉜다. 에피소드 수준에서는 기존 GRPO처럼 최종 정답 보상을 그룹 내에서 정규화한 이점을 사용한다. 단계 수준에서는 같은 지식 상태에서 출발한 단계들을 모아 그룹을 만들고, 각 단계의 보상으로 '새로 충족된 지식 조건의 수'를 사용한다. 이 보상을 그룹 내에서 정규화하여 단계 이점을 얻는다. 마지막으로 두 이점을 혼합 계수 ω로 결합하고 PPO 스타일의 클리핑 목적함수로 정책을 최적화한다. 본문의 식 5와 부록 A의 알고리즘에는 표기 불일치가 있으나, 부록 A의 의사코드는 이전 상태를 기준으로 그룹을 형성한다. 실제 소스 코드를 독립 검증했다는 뜻은 아니다.

실험은 Qwen3-8B를 공통 출발점으로 삼았다. 약 8,100개의 검색 경로로 지도 미세조정한 뒤, 초기 모델이 적당히 성공하는 649개 질문을 골라 강화학습했다. 질문당 16개 실행 경로를 뽑고 64대의 H20 GPU에서 학습했으며, 문맥은 YaRN으로 128K까지 늘렸다. GRPO·GiGPO·IGPO와는 초기 모델, 학습 데이터, 도구 환경을 맞췄다. 일반 챗봇에 프롬프트만 덧붙이는 방법과는 다르다.

결과와 숫자의 의미

표 1에서 KnowGPO는 BrowseComp-ZH에서 38.8%로 GRPO 32.9%, GiGPO 37.3%, IGPO 32.2%보다 높고, GAIA 텍스트 부분집합에서 40.2%로 GRPO 35.0%, GiGPO 35.0%, IGPO 37.9%보다 높다. GRPO 대비 각각 +5.9%p, +5.2%p이며, 가장 강한 단계 기반 기준선 대비 +1.5%p, +2.3%p다. 표 2의 Xbench-2505에서는 48.0%로 GRPO 46.0%, GiGPO 44.0%, IGPO 46.0%보다 높고, Xbench-2510에서는 36.0%로 GRPO 34.0%, GiGPO 35.0%, IGPO 34.0%보다 높다. 결과는 3회 독립 실행의 평균이며 GPT-4o가 정답을 판정했고, 신뢰구간은 제시되지 않았다.

초록의 '3.8~4.2포인트 향상'은 모든 데이터셋에 일괄 적용되는 수치가 아니다. 실제 표에서는 데이터셋별로 차이가 있으며, 예를 들어 Xbench-2505에서는 GRPO 대비 +2.0%p에 그친다. 또한 본문은 Xbench-2505에서 MiroThinker-8B보다 12.6포인트 우세라고 쓰지만, 표 2를 보면 KnowGPO 48.0% < MiroThinker 60.6%로 반대다. GAIA에서도 KnowGPO 40.2%는 WebSailor-32B 51.5%, DeepMiner-32B 58.7%보다 낮다. 따라서 8B 모델이 모든 또는 대부분의 32B 시스템을 앞선다고 일반화해서는 안 된다. 다른 기관 모델은 데이터·도구 조건이 달라 통제된 비교가 아니다.

구체적인 예시

부록 G의 사례는 KnowGPO가 왜 더 나은 종료 결정을 내리는지 보여준다. 질문은 Emily Midkiff의 2014년 논문에서 두 저자가 인용한 단어를 묻는다. 두 방법 모두 8단계까지 정답 'fluffy'를 찾았지만, KnowGPO는 지식 상태가 포화되었다고 판단하고 검색을 멈춘다. 반면 GRPO는 추가로 4턴을 더 검색하며 'soften', 'satirize' 같은 의역된 표현을 발견하고, 결국 원래 정답을 'softened'로 덮어써 오답을 낸다. 이는 저자가 제시한 개별 사례로, 추가 검색이 늘 도움이 되지는 않는다는 점을 보여준다. 실서비스에서 지식 조건을 완전히 채우면 반드시 종료하도록 하는 별도 규칙의 성공률을 측정한 결과는 아니다.

표 5는 지식 기반 그룹화가 표면 관찰 기반보다 얼마나 효과적인지 수치로 보여준다. 500개 질문, 5,922개 유효 궤적, 55,571개 단계에서 관찰 기반 그룹화는 비교 가능한 단계 비율(ESR)이 51.8%에 그치고 싱글톤 그룹 비율이 79.4%에 달한다. 반면 지식 기반 그룹화는 ESR 97.8%, 싱글톤 비율 19.0%로 대부분의 단계가 의미 있는 비교에 포함된다. 두 수치는 분모가 각각 단계와 그룹으로 다르므로, ESR 97.8%가 정답률 97.8%를 의미하지는 않는다.

한계와 오해하기 쉬운 점

KnowGPO는 과제 진행을 유한한 검증 가능한 지식 조건으로 표현할 수 있다고 가정한다. 이는 지식 집약적 검색에는 적합하지만, 진행을 이산화하기 어려운 개방형 에이전트 과제에는 맞지 않을 수 있다. 지식 상태의 충실도는 LLM 검증기에 의존하며, 강한 외부 모델과 단조 누적을 사용해도 잔여 오류가 단계 이점에 전파될 수 있다. 또한 지식 조건을 만들려면 질문당 최소 하나의 성공한 참조 궤적이 필요하므로, 성공 롤아웃을 합리적 비용으로 얻기 어려운 환경에서는 적용이 제한된다.

표 6의 검색 횟수 감소는 KnowGPO만 성공한 질문에서 11.55회에서 9.83회로 줄었지만, 이는 결과로 선택된 하위집합에 대한 사후 비교다. 전체 검색 비용이 16% 절감된다고 보장할 수 없다. 그림 4의 학습 비용 분석에서 검증은 356.19초의 유효 오버헤드를 가지며, 전체 7676초/단계(64 H20, 11단계 평균) 중 일부를 차지한다. 텍스트는 병렬화로 숨겨진다고 하지만, 장부상 0.08% 미만이라는 수치를 전체 검증·API·라벨링 비용이 0이라는 의미로 해석해서는 안 된다. 또한 그림 3의 제목은 BrowseComp-ZH이지만 본문은 Xbench 학습 곡선으로 설명하므로, 그림 3의 수치를 특정 벤치마크에 혼용하지 말아야 한다.

실제로 어떻게 활용할까

활용을 생각한다면 정답이 명확하고 필요한 사실을 나눌 수 있는 검색 과제부터 시험할 수 있다. 설명용 가상 예로, '어떤 행사에서 발표된 제품을 만든 회사의 창립자는 누구인가'라는 질문은 행사와 제품의 연결, 제품과 회사의 연결, 회사와 창립자의 연결로 나눌 수 있다. 학습 중 이 사실을 새로 확보한 검색에 보상을 주는 것이다. 다만 질문별 지식 조건, 성공한 참조 경로, 외부 LLM 검증기가 필요하므로 별도의 보상 모델을 훈련하지 않는다는 말이 모든 추가 준비가 없다는 뜻은 아니다.

실무에서는 검증기의 오류가 학습에 전파될 수 있으므로, 검증기 성능을 주기적으로 평가하고 사람 주석과의 일치율을 확인하는 것이 중요하다. 표 7에서 DeepSeek-v3.2 검증기는 200개의 보류 질문-경로 쌍에서 사람 주석과 94.7% 일치했지만, 이는 전체 AI 정답률이 아니라 조건별 판정 일치율이다. 또한 이 연구는 Qwen3-8B 단일 모델 크기에서만 실험했으므로, 다른 크기나 추론 특화 모델로의 전이는 검증되지 않았다. 열린 창작이나 모호한 질문까지 같은 효과가 있을지는 별도로 검증해야 한다.