속으로는 벡터로 생각하고, 도구는 글로 쓰는 HybridAgent

배경과 문제

현대 LLM 에이전트는 추론과 행동 모두를 텍스트라는 단일 매체에 의존한다. 문제를 풀기 위해 중간 계산을 모두 토큰으로 생성하고, 도구 호출도 텍스트로 표현한 뒤 결과를 다시 텍스트로 받아 다음 단계를 이어간다. 이 방식은 사람이 읽고 감사하기 쉽다는 장점이 있지만, 모든 중간 단계를 언어로 풀어 쓰는 과정에서 생성 단계가 길어지고 추론 비용이 커진다. 논문은 이를 '에이전트의 자기회귀 생성과 환경 상호작용이 모두 텍스트라는 공통 매체에 묶여 있다'고 표현한다.

반대로 잠재 추론(latent reasoning) 연구는 모델의 연속 은닉 공간에서 직접 계산을 전개해 토큰 디코딩을 생략한다. 이는 효율적이지만 두 가지 한계가 있다. 첫째, 연속 벡터는 도구 호출을 위한 자연스러운 통로가 없어 다중 턴 에이전트 추론에 쓰기 어렵다. 둘째, 사람이 해석할 수 있는 의미를 직접 노출하지 않아 학습 중 감독이나 추론 중 감사·디버깅이 어렵다. 따라서 기존 연구는 '효율적인 내부 추론'과 '도구를 쓰는 에이전트 상호작용'을 서로 다른 매체로 분리해 왔고, 이 논문은 그 간극을 메우는 것을 목표로 삼는다.

기존 접근의 한계

텍스트 기반 에이전트는 ReAct, Search-o1, WebThinker 같은 프레임워크에서 보듯 추론-행동-관찰을 반복하며 강력한 도구 사용 능력을 보여주지만, 모든 중간 추론을 언어로 생성해야 하므로 토큰 사용량과 지연 시간이 크다. 논문의 표 1에서 14B 규모 ARPO는 GAIA 평균 43.7점을 기록하지만, 이는 텍스트로 모든 추론을 전개한 결과다.

Coconut, SoftThinking, SoftCoT 등 잠재 추론 방법은 연속 표현으로 계산을 이어간다. 이 논문의 비교 설정에서 Coconut 14B의 GAIA 평균은 6.8점이었다. 이는 해당 구현·학습·도구 환경에서의 결과이며, 모든 잠재 추론 방법이 에이전트 과제를 풀 수 없다는 증거는 아니다. 저자들은 도구를 쓰는 텍스트 경로와 잠재 경로를 함께 학습하고, 잠재 벡터에서 읽은 유사 텍스트를 추가 점검 수단으로 제안한다.

연구방법을 단계별로

첫 단계는 하이브리드 모드 인터페이스다. 기존 잠재 추론은 마지막 은닉 상태 h_t를 그대로 다음 입력으로 재사용하는데, 이는 사전학습된 입력 임베딩 공간과 표현 불일치를 일으켜 텍스트-잠재 전환이 어렵다. 저자들은 HybridLink라는 2층 잔차 어댑터를 도입해 h_t를 입력 임베딩 공간으로 사상한다. 수식은 e_{t+1}=R(h_t)=h_t+W_2 σ(W_1 h_t)이며, 잔차 경로로 기존 표현을 전달하면서 추가 층이 입력 공간과의 차이를 보정하도록 설계했다. 이 구조만으로 모든 의미가 완벽히 보존된다는 보장은 아니다. 파라미터 수는 약 2d_h^2로 4B 모델 기준 약 1천만 개다.

모드 전환은 특수 토큰 <latent>와 </latent>로 제어된다. 텍스트 모드에서 <latent>가 생성되면 다음 단계부터 HybridLink를 통해 잠재 입력을 만들고, 잠재 모드에서는 각 단계의 은닉 상태를 다시 HybridLink에 통과시켜 연속 벡터로 추론을 이어간다. 잠재 구간은 마지막 은닉 상태를 HybridLink로 사상한 벡터가 </latent> 토큰 임베딩과 가장 가까울 때 종료된다. 전환 시점은 동적으로 선택하지만 실제 추론 설정은 잠재 구간마다 최소 16·최대 256단계를 둔다. 도구 호출도 궤적당 최대 10회로 제한하므로 아무 제약 없이 길이를 결정하는 것은 아니다.

다중 턴 생성을 위해 저자들은 작업 기억(working memory)으로 KV 캐시를 사용한다. 텍스트 토큰, 잠재 벡터, 도구 관찰 결과가 모두 같은 입력 공간으로 사상되어 Transformer가 균일하게 처리하고, 각 위치의 KV 항목이 순서대로 누적된다. 다음 턴에서는 이전 턴의 전체 하이브리드 궤적을 토큰으로 재구성하지 않고 누적된 KV 캐시에서 직접 생성을 재개한다. 부록 A의 정리 A.1은 동일한 모델, 마스크, 위치 인코딩, 캐시를 보존할 때 이 방식이 전체 프리픽스를 다시 계산하는 것과 동일한 은닉 출력을 낸다는 것을 수학적 귀납법으로 증명한다. 이는 이미 보유한 전체 KV를 보존한다는 조건의 동등성으로, 무한 컨텍스트나 저장 용량 절약을 증명하지는 않는다.

학습은 HybridSFT와 HybridRL 두 단계로 나뉜다. HybridSFT는 먼저 형식 활성화로 백본이 <latent>와 </latent>를 배우게 하고, 백본을 고정한 채 HybridLink를 잠재 위치의 은닉 상태와 목표 임베딩 간 코사인·MSE 손실로 정렬한다. 이후 자기 조건화(self-conditioned) 2-패스 학습을 적용한다. 첫 패스는 정답 하이브리드 시퀀스를 교사 강요(teacher forcing)로 처리해 HybridLink가 다음 잠재 입력을 예측하게 하고, 둘째 패스는 정답 잠재 임베딩을 자신의 예측으로 대체해 백본과 HybridLink를 공동 학습한다. 이는 학습-추론 불일치, 즉 노출 편향을 줄이기 위한 것이다. SFT에는 54K 궤적을 사용하고, 이후 수학 12K·검색 1K 예제로 RL을 진행한다. 실험은 H100과 5개 시드를 사용한다.

HybridRL은 강화학습으로 언제 잠재 공간에서 생각하고 언제 텍스트로 행동할지를 배운다. 표준 PPO나 GRPO는 모든 생성 위치에 토큰 우도가 있다고 가정하지만, 잠재 위치는 연속 벡터라 우도가 정의되지 않는다. 저자들은 하이브리드 정책 분해(Proposition 4.1)로 전체 궤적의 우도가 샘플링된 텍스트 위치의 우도 곱으로 분해됨을 보이고, 정확한 롤아웃 재생(exact rollout replay)으로 기록된 잠재 입력을 그대로 재생하고 HybridLink를 고정한 상태에서 텍스트 토큰 우도를 재계산해 정책을 업데이트한다. 보상은 정답 정확도, 형식 위반, 다중 도구 사용의 세 항목으로 구성되며, 모드 사용 자체에는 명시적 보상을 주지 않는다.

결과와 숫자의 의미

표 1의 에이전트 추론 벤치마크에서 HybridAgent 14B는 GAIA 평균 52.4점으로 같은 규모 ARPO의 43.7점보다 8.7%p 높고, WebWalker 평균 49.5점으로 ARPO 40.5점보다 9.0%p 높다. 그러나 HLE 전체 평균은 16.0점으로 Kimi-K3의 31.4점, GPT-5.6-Luna의 29.0점보다 낮다. 즉 HybridAgent가 모든 과제에서 상용 모델을 압도하는 것은 아니며, HLE에서 왜 이런 차이가 났는지를 이 표만으로 특정 원인에 귀속할 수는 없다.

표 2의 수학·지식 집약 벤치마크에서 HybridAgent 14B RL은 MATH500 88.2점으로 ARPO 87.0점보다 1.2%p 높고, GPQA-Diamond 55.1점으로 ARPO 54.0점보다 1.1%p 높다. 초록의 '10.4% 향상'은 RL 단계에서 대응 기준선 대비 평균 개선을 의미하며, 전체 정답률이 10.4%p 상승했다는 뜻이 아니다. 또한 수학 평가와 검색 평가에 사용된 학습 체크포인트가 서로 다르다는 점을 주의해야 한다.

효율성 측면에서 그림 6과 7은 텍스트 토큰 수, 잠재 단계를 포함한 전체 생성 단계, 벽시계 지연 시간을 구분한다. HybridAgent는 텍스트 토큰을 2.2~3.1배 줄이고 전체 생성 단계를 최대 54% 감소시키며, 추론 시간은 1.8~2.6배 빨라진다. 표 9의 비용 분석은 예상 생성 연산량을 기준으로 14B 모델이 질문당 66.9 TFLOP에서 25.1 TFLOP로 줄어 백만 질문당 470달러에서 176달러로 감소한다고 추정한다. 이는 H100 시간당 2.50달러, BF16 최대 처리량의 10% 활용을 가정한 환산이며, 실제 API 청구액이나 전체 서비스 비용 측정이 아니다. 또한 프롬프트 프리필, 컨텍스트별 어텐션, 외부 도구 비용은 제외되었다.

구체적인 예시

부록 J의 MATH500 사례는 원을 한 점에 대칭 이동했을 때의 방정식을 구한다. 텍스트와 잠재 구간 양쪽에 수학적 계산이 나타나며, 잠재 구간의 대리 판독에는 좌표 대입식도 보인다. 이후 텍스트로 작성한 Python 검증 코드가 solve 함수를 가져오지 않아 실패하자, 다음 턴에 import를 수정하고 결과를 확인한다. 이는 논문이 제시한 실제 궤적 예시지만, 특정 계산은 반드시 잠재 모드에서만 한다거나 대리 판독이 모든 내부 계산을 충실하게 보여준다는 증거는 아니다.

GAIA 사례에서는 꿀과 마요네즈의 밀도를 검색하고 컵 단위로 환산하는 과정에서, 검색 쿼리와 결과 해석은 텍스트로, 단위 변환과 부등식 계산은 잠재 모드로 처리한다. 최종적으로 Python 도구로 n=6을 검증하고 텍스트로 답을 제시한다. 이는 '잠재 공간에서 생각하고 텍스트로 행동한다'는 설계 원칙이 실제 추론 궤적에서 어떻게 구현되는지 보여준다.

한계와 오해하기 쉬운 점

잠재 모드의 유사 텍스트는 각 잠재 벡터를 가장 가까운 단어 임베딩으로 읽은 대리 표현이다. 이는 전체 내부 사고를 충실히 복원한다는 보장이 아니며, 특히 MuSiQue 사례에서 'the key is to the's distance law' 같은 비문법적 조각이 나타나기도 한다. 따라서 잠재 추론이 완전히 투명하다고 해석해서는 안 된다. 부록 F의 읽기 쉬움 점수는 사람의 독해 점수가 아니라 가장 가까운 단어 임베딩과의 코사인 정렬이다. 문맥 특이성도 원래 질문과 다른 질문에 대한 단어 겹침을 비교하므로, 이 지표와 의미의 진실성은 별도로 평가해야 한다.

표 7의 외부 감사 가능성 실험은 수학 560문항에 대해 LLM 판정기를 사용한 것으로, 실제 사람 감사나 기만 탐지, 안전성 증명과는 다르다. 또한 텍스트 단계를 전부 숨기지 않으며, 잠재 벡터가 텍스트가 아니라는 이유로 유출 불가능하거나 암호학적 보안을 보장한다고 주장하지 않는다. 논문의 토론 섹션은 API 제공자가 잠재 사고를 클라이언트에게 노출하지 않을 수 있다는 배포 시나리오를 제시하지만, 이는 보안 증명이 아니라 설계 함의다.

구현 측면에서 기존 서빙 엔진에 프롬프트를 붙이는 방식이 아니라 KV 전달과 잠재 입력을 지원하도록 인프라를 수정해야 한다. 또한 비용 절감 수치는 예상 생성 연산량 기반이며, 프리필과 도구 실행 비용이 제외되어 실제 서비스 비용과 다를 수 있다. 동료 심사가 확정되지 않은 프리프린트이므로 결과 해석에 주의가 필요하다.

실제로 어떻게 활용할까

저자는 서비스 제공자가 잠재 상태를 내부에 보관하고 도구 호출·핵심 결정·최종 답을 사용자에게 보여주는 배포 방식을 제안한다. 이때도 사용자에게 보여 주는 텍스트만으로 충분히 검토할 수 있는지, 제공자가 보관하는 잠재 상태에 누가 접근할 수 있는지를 별도로 따져야 한다. 논문은 이런 구조의 가능성을 설명했으며 지식 재산 유출 방지나 공격 저항성을 직접 입증한 것은 아니다.

다만 실제 도입을 위해서는 하이브리드 생성을 지원하는 서빙 엔진 수정, 잠재 구간의 해석 가능성 검증, 도구 호출 신뢰성 평가 등이 선행되어야 한다. 또한 이 논문의 코드와 데이터 링크가 제시되어 있지만, 독립적인 재현이 완료된 것은 아니므로 실제 환경에 적용하기 전에 자체 평가가 필요하다.