RECAST: 검색한 자료를 계산 가능한 근거로 바꾸는 AI 라우터

배경과 문제

대규모 언어 모델이 문서 모음, 데이터베이스, 표, 반정형 기록, 사용자 이력처럼 서로 다른 형태의 외부 자료를 바탕으로 질문에 답해야 하는 상황이 늘고 있다. 전체 자료를 모델 입력에 그대로 넣으면 토큰 비용이 커질 뿐 아니라, 모델이 과제에 필요한 정보를 제대로 찾아 쓰리라는 보장도 없다. 그래서 검색 증강 생성(RAG)이 널리 쓰이는데, 이는 질문과 관련된 작은 조각을 먼저 찾아서 그 조각만을 조건으로 답을 생성하는 방식이다. 기존 RAG는 보통 생성 전에 검색을 한 번만 수행하고, 반복형·에이전트형 변형은 질문을 다시 쓰거나 여러 차례 검색하면서 추가 증거가 필요한지 판단한다.

그러나 이런 검색 중심 공식은 유용한 증거가 원본 자료 안에 직접 들어 있다고 가정한다. 실제 응용에서는 필요한 증거를 단순히 찾는 것이 아니라 여러 자료 항목을 걸러내고, 합치고, 계산해서 파생해야 하는 경우가 많다. 예를 들어 원본에 월별 매출과 영업이익이 있다면, 영업이익률을 계산하고 기간별 변화를 비교해야만 '2022년에 영업이익률 증가가 가장 컸던 연속 3개월'을 답할 수 있다. 필요한 연산은 어휘 검색, 의미 검색, 관계형 필터링·집계부터 과제에 맞춰 새로 합성해야 하는 코드까지 다양하다. 따라서 맥락 구성은 관련 정보가 '어디' 있는지뿐 아니라, 그것을 유용한 증거로 '어떻게' 변환할지도 결정해야 한다.

기존 접근의 한계

반복형·에이전트형 검색 방법은 검색을 더 적응적으로 만들지만, 주로 시스템이 원본 내용을 '어떻게 찾는가'만 바꿀 뿐 파생 증거를 구성하는 지원은 제한적이다. 예를 들어 IRCoT는 문장 수준 추론과 검색을 번갈아 수행하고, Interact-RAG는 계획자·추론자·실행자 워크플로로 검색 행동을 만들고 멈출 때를 정한다. 하지만 이들도 결국 원본에 이미 있는 정보를 선택하거나 다듬는 방식으로 증거를 만든다.

도구 증강·프로그램적 추론 계열은 언어 모델에 구조화된 연산이나 실행 가능한 프로그램을 붙여 계산 능력을 넓힌다. 그러나 이런 방법들은 대체로 과제 답을 직접 만드는 프로그램을 생성하거나, 특정 자료 유형에 맞춰 설계된 연산에 의존한다. RECAST는 이와 달리 최종 답을 내기 전에 이질적인 자료들에 걸쳐 과제 관련 증거를 반복적으로 선택·구성·평가하는 정책을 학습한다. 원문은 기존 방법들이 '검색 중심'이거나 '단일 전략'에 머문다는 점을 RECAST의 동기로 제시한다.

연구방법을 단계별로

RECAST는 증거 구성을 이질적인 검색·계산 연산에 대한 순차적 의사결정 문제로 본다. 먼저 규칙 기반 전처리기가 원본 자료를 통일된 레코드 목록으로 바꾸고, 자료의 규모·구조·형식·관찰된 필드를 요약한 '소스 프로필'을 만든다. 이 프로필 덕분에 RouterLM은 전체 원본을 프롬프트에 받지 않고도 이질적인 자료를 다룰 수 있다. 초기 증거 집합과 상호작용 이력은 비어 있다.

각 라운드에서 RouterLM은 과제, 소스 프로필, 지금까지 보유한 증거, 상호작용 이력을 보고 행동을 고른다. 행동은 세 가지다. CALL_PRIMITIVE는 어휘(BM25), 의미(BGE-M3 코사인 유사도), 관계형(읽기 전용 SQLite 질의) 중 하나를 선택하고 검색어나 SQL을 구체적으로 만든다. SYNTHESIZE는 원시 연산으로 표현할 수 없는 변환을 요청하는데, RouterLM이 수행할 변환, 반환할 증거와 원본 식별자, 원시 연산이 부족한 이유를 명시하면 고정된 CompilerLM이 이를 실행 가능한 Python 코드로 번역한다. ACCEPT_CONTEXT는 보유 증거가 충분하다고 판단하고 증거 구성을 끝낸다.

연산 실행 후에는 실행 상태, 결과 개수, 오류를 담은 피드백이 돌아온다. 성공한 연산이 새 증거를 반환하면 기존 증거 집합에 중복을 제거하고 더하고, 행동과 결과를 이력에 추가한다. RouterLM이 ACCEPT_CONTEXT를 선택할 때까지 이 과정을 반복하며, 이후 고정된 AnswerLM이 원래 과제와 수락된 증거를 받아 최종 답을 한 번만 생성한다. 학습은 RouterLM만 업데이트하고, 원시 연산은 결정적이며 CompilerLM과 AnswerLM 파라미터는 고정된다.

학습 과정과 보상 설계

학습은 지도 미세조정(SFT)과 그룹 상대 정책 최적화(GRPO) 두 단계로 나뉜다. SFT에서는 사전학습된 RouterLM으로 각 훈련 질문에 대해 여러 궤적을 생성하고, 각 궤적이 실제로 증거 연산을 실행한 뒤 AnswerLM을 호출한다. 고정된 LLM 판정기가 답을 평가해서, 정답이고 실행 가능하며 구조적으로 유효한 궤적 중 더 정확하고 효율적인 것을 전문가 궤적으로 고른다. 과소대표 벤치마크와 난이도를 최대 2회까지 반복 업샘플링해 3,368개의 SFT 궤적을 만든다. SFT는 각 라운드에서 그 시점에 이용 가능한 증거와 피드백을 조건으로 RouterLM의 모든 결정을 지도한다.

GRPO는 SFT 궤적 수집 중 일관되게 풀리지 않은 질문에서 데이터를 구성한다. 각 질문은 유효한 전문가 궤적이 하나 이상 있고 실패한 궤적도 하나 이상 있어야 한다. SFT 체크포인트에서 질문당 4개의 완전한 궤적을 새로 샘플링한 뒤, 성공과 실패가 섞인 그룹만 남기는 혼합 결과 필터링을 적용한다. 보상은 최종 답 정확도에 0.90, 토큰 수준 F1에 0.08, 구조적 유효성에 0.02의 가중치를 준다. 정확도가 지배적이지만, 같은 정오 결과를 가진 궤적들을 구분하는 신호는 F1과 구조 점수뿐이다. GRPO는 그룹 내 상대적 이점을 계산해 성공한 행동을 강화한다.

결과와 숫자의 의미

6개 영역 내 벤치마크에서 SFT+GRPO를 거친 RECAST는 평균 성공률 75.6%를 기록했다. 가장 강한 대형 모델 비교군인 Gemini 기반 Interact-RAG는 59.7%였으므로, 그 차이는 15.9%p다. 학습 없이 쓴 Qwen3.5-9B RouterLM은 64.1%, Gemini 3.5 Flash RouterLM은 70.6%였고 학습된 Qwen 라우터는 75.6%로 Gemini 라우터보다 5.0%p 높았다. 이는 코드 생성기와 답변기를 공유하는 같은 프레임워크 안에서, 증거 라우팅을 전문적으로 학습한 작은 모델이 더 좋은 선택을 했다는 결과다.

영역 내 평균이 가장 높지만 모든 개별 데이터셋에서 최고는 아니다. 예를 들어 DataBench에서는 학습된 RECAST가 83.3%로 Gemini 기반 Direct Code의 88.0%보다 낮다. 반면 FinQA에서는 68.3%로 가장 높고, HiTab 76.3%, HotpotQA 92.0%, MultiHiertt 65.3%로 대부분의 비교군을 앞선다. LaMP에서는 68.3%로 Direct의 69.7%보다 약간 낮다. 따라서 RECAST의 강점은 특정 벤치마크의 압도적 우위보다 여러 이질적 과제에서 균형 잡힌 성능을 내는 데 있다.

학습에 쓰지 않은 3개 벤치마크에서 RECAST는 평균 79.3%로 가장 강한 비교군 64.3%보다 15.0%p 높았다. 벤치마크별로는 2WikiMultiHopQA에서 83.0% 대 77.0%, TAT-QA에서 81.0% 대 73.0%, WikiTableQuestions에서 74.0% 대 59.0%였다. 이는 위키피디아 문단, 재무 보고서의 텍스트·표 혼합, 반정형 표로 라우팅 정책이 전이될 가능성을 보여준다. 별도로 Table 6의 영역 내 600문항 3회 반복에서, 학습된 RECAST 평균 성공률의 표준편차는 0.5%p였다. 이 반복 변동 수치를 영역 외 3개 벤치마크의 안정성 측정으로 읽으면 안 된다.

구체적인 예시

논문의 Figure 1은 작동 원리를 보여주는 예시다. '2022년에 영업이익률 증가가 가장 컸던 연속 3개월은?'이라는 질문에서, 1라운드 RouterLM은 관계형 질의로 월별 매출과 영업이익을 가져오는 SQL을 만든다. 2라운드에서는 모든 3개월 구간의 이익률 변화를 계산하고 가장 큰 증가를 찾는 코드 합성을 요청한다. CompilerLM이 명세를 Python 코드로 바꾸고, 3라운드에서 RouterLM은 그림에 제시된 '2022년 4~6월, +4.7%'라는 계산 근거를 수락해 AnswerLM에 넘긴다. 이 수치는 방법을 설명하는 그림의 예시이며 별도의 실험 성능 지표가 아니다.

이 예시는 원본에 '4~6월'이라는 답이 직접 없고, 매출과 영업이익에서 이익률을 계산하고 구간별 차이를 비교해야만 얻을 수 있음을 보여준다. 기존 검색 기반 방법은 관련 재무 기록을 찾아줄 수는 있어도 이 계산을 수행하지 않으면 정답을 도출할 수 없다. RECAST는 검색과 계산을 상호 보완적인 증거 연산으로 두고, 과제마다 필요한 조합을 라우터가 고르게 한다.

한계와 오해하기 쉬운 점

첫째, 75.6%와 59.7%의 차이는 15.9%p이지 상대 향상률 15.9%가 아니다. 원문은 '15.9% improvement'라고 쓰지만, 이는 백분율 포인트 차이로 읽어야 한다. 둘째, 9B Qwen 라우터만 SFT+GRPO로 학습하며, 기본 코드 생성기·최종 답변기·공통 판정기는 Gemini 3.5 Flash다. 따라서 '작은 모델 단독으로 Gemini 전체를 대체했다'는 결론은 부정확하다. 학습된 라우터는 Gemini 라우터보다 나았지만, 코드 생성과 답변 생성은 여전히 Gemini에 의존한다.

셋째, 영역 내 6개 벤치마크는 각각 보지 않은 문제 100개를 3회 반복해 평균을 낸 것이고, 영역 외 3개는 학습·검증 선택에서 제외한 각 100개다. 영역 내 평균이 가장 높지만 모든 개별 데이터셋에서 최고는 아니며, 특히 DataBench와 LaMP에서는 다른 방법이 더 높다. 넷째, Table 13의 19.4k 대 26.9k는 질문당 모든 추론 호출의 입력+출력 토큰 수로 평가 판정기는 제외한다. 27.9% 토큰 감소를 같은 비율의 비용·시간 감소로 바꾸면 안 된다. 반복 실행과 코드 합성은 단일 검색 대비 지연·계산 비용을 늘릴 수 있다고 원문이 명시한다.

다섯째, RouterLM이 올바른 주제나 중간 개체를 찾았지만 필요한 관계나 제약을 얻지 못하는 실패가 반복된다. 절대 차이와 상대 차이를 혼동하는 등 계산 요구를 잘못 해석하기도 한다. 더 정밀한 증거 요청과 충분성 평가가 필요하다는 뜻이다. 채점기 의존성도 점검했다. 3회 평균과 별도로 한 번의 실행에서 저장한 600개 예측을 다시 채점했을 때, 같은 답변의 성공률은 Gemini 76.2%, GPT-4.1 74.8%, DeepSeek-V4-Flash 72.8%였다. 대체 채점기에서도 비교군 대비 우위는 유지됐지만 절대 점수는 달랐다.

실제로 어떻게 활용할까

RECAST는 재무 보고서, 위키피디아 표, 사용자 프로필처럼 서로 다른 형식의 자료에서 계산·집계·연결이 필요한 질의응답 시스템에 적용할 수 있다. 예를 들어 여러 분기 재무제표에서 특정 지표의 변화율을 구하거나, 여러 문서에 흩어진 사실을 연결해 다중 홉 질문에 답하는 경우다. 원시 연산만으로는 부족할 때 코드 합성을 요청할 수 있어, 사전에 도구를 정의하지 않아도 새로운 변환을 만들 수 있다.

다만 실제 배포 시에는 비용과 지연을 고려해야 한다. 학습된 9B 라우터가 Gemini 기반 Interact-RAG보다 토큰을 27.9% 적게 쓰고 Gemini 토큰은 79.5% 적게 쓴다는 결과가 있지만, 이는 토큰 수 기준이며 반복 호출과 코드 합성으로 인한 지연·계산 비용은 단일 검색보다 클 수 있다. 또 모델이 생성한 코드를 실행하므로, 관계형 질의는 읽기 전용으로 제한하고 합성 프로그램은 격리된 환경에서 돌리는 샌드박싱이 필요하다. 원문은 비용 인지형 라우팅 정책을 향후 과제로 남긴다.