길을 잃은 AI 에이전트를 실행 도중 바로잡는 감독 에이전트

배경과 문제

LLM 기반 에이전트는 검색, 소프트웨어 공학, 과학적 발견 등 복잡한 작업을 수행하기 위해 여러 단계의 도구 사용과 에이전트 간 협업을 활용한다. 그러나 실행이 길어질수록 에이전트가 전체 목표에서 벗어나는 '목표 드리프트'가 발생하기 쉽다. 목표 드리프트란 일시적인 하위 목표가 원래 목표보다 중요해져서, 개별 행동은 그럴듯해 보이지만 전체적으로는 비생산적인 행동이 이어지는 현상이다. 예를 들어 단일 에이전트는 이미 충분한 정보를 얻었는데도 같은 주제를 계속 검색할 수 있고, 다중 에이전트 시스템에서는 검증자가 이미 충족된 답변을 반복적으로 거부하여 실행이 실패로 이어질 수 있다.

이러한 드리프트는 실행 자원을 낭비하고 원치 않는 결과를 초래한다. 기존 시스템은 계획(planning)과 검증(verification)을 사용하지만, 계획은 실행 중 이탈을 막지 못하고 검증은 이미 많은 노력이 소비된 후에야 문제를 발견한다. 따라서 실행 중에 감독하여 드리프트가 더 커지기 전에 시스템을 올바른 방향으로 돌리려는 '온더플라이 감독(on-the-fly supervision)'이 필요하다. 이는 조직의 직접 감독, 자동화 시스템의 감시 제어, 인간 인지의 메타인지 모니터링과 같은 원리를 LLM 에이전트 시스템에 적용하는 것이다.

기존 접근의 한계

계획은 목표를 관리 가능한 하위 목표로 분해하지만, 실행이 계획된 경로에서 벗어날 수 있다. 검증은 종료 전에 목표 달성 여부를 확인하지만, 사후 교정은 되돌릴 수 없는 결과를 초래하거나 비용이 큰 재시도를 유발할 수 있다. 예를 들어 검증 에이전트가 답변을 거부하면 실행 에이전트가 다시 작업을 수행해야 하므로 실행 턴이 늘어난다.

최근 연구들은 드리프트 감지에 초점을 맞추거나, SupervisorAgent처럼 오류나 반복 행동 같은 쉽게 고칠 수 있는 문제만 교정한다. 그러나 목표 드리프트는 국소적으로 그럴듯한 행동에서 점진적으로 나타나기 때문에 실시간으로 감지하고 교정하기가 훨씬 어렵다. 이 논문은 드리프트 감지와 교정을 강화학습으로 함께 학습하는 스티어링 에이전트로 이 문제를 완화하려 한다.

연구방법을 단계별로

스티어링 에이전트는 관찰 공간을 통해 작업 목표와 실행 컨텍스트를 읽고, 각 관찰 업데이트마다 개입 여부와 방법을 결정한다. 이 두 가지 요구를 fast path와 slow path로 분리한다. fast path는 단일 토큰 예측으로 '스티어링 우선순위(steering priority)'를 추정한다. 우선순위는 yes/no 토큰 확률의 로그 오즈(log-odds)를 시그모이드 함수에 넣어 계산하며, 현재 상태에서 개입이 최종 결과를 얼마나 바꿀 수 있는지를 나타낸다. 우선순위가 임계값을 넘으면 slow path가 발동될 확률이 높아지는데, 이는 하드 임계값이 아니라 소프트 임계값으로, 우선순위와 임계값을 각각 로그 오즈로 바꾼 뒤 그 차이를 시그모이드에 넣은 베르누이 분포에서 개입 여부를 샘플링한다.

slow path가 발동되면 연쇄적 사고(chain-of-thought)를 거쳐 구체적인 개입 행동을 생성한다. 단일 에이전트 설정에서는 실행 에이전트에게 다음 행동에만 적용되는 짧은 지시 노트를 보내고, 다중 에이전트 설정에서는 핸드오프를 통과시키거나 거부하여 재시도를 요청하거나 수신자에게 안내 노트를 첨부할 수 있다. fast path와 slow path는 동일한 LLM 백본을 공유하므로, fast path는 매 관찰마다 저비용으로 실행되고 slow path는 필요한 경우에만 고비용 추론을 수행한다.

스티어링 지능을 학습하기 위해 강화학습을 사용한다. 먼저 동결된 실행 에이전트로 무개입 롤아웃을 수행하여 상태 은행(state bank)을 만든다. 각 작업에서 m=2 라운드를 돌며 매 라운드 최대 k=3개의 상태를 선택하는데, 0.25 확률로 무작위 상태를 선택하고 나머지는 우선순위가 가장 높은 상태를 선택한다. 선택된 각 상태에서 slow path가 G=4개의 개입 행동을 생성하고, 각 행동과 무개입 기준에 대해 실행 에이전트를 N=2번 계속 실행하여 평균 보상을 계산한다. 보상은 답변 토큰 F1과 형식 지표의 곱이다.

fast path는 상태 쌍 순위 손실(pairwise ranking loss)로 학습한다. 각 상태의 측정된 우선순위 q(s)는 무개입 기준 대비 G개 개입 결과의 평균 절대 변화로 계산한다. 같은 작업의 상태 쌍 중 우선순위가 다른 쌍에 대해, fast path 점수 z_i가 측정된 우선순위 순서와 일치하도록 손실을 준다. slow path는 GRPO(Group Relative Policy Optimization)로 학습한다. 각 상태에서 샘플링된 G개 행동의 보상과 무개입 기준 보상을 한 그룹으로 묶어 정규화한 후, 그룹 평균보다 높은 보상을 받은 행동에 양의 어드밴티지를 부여한다. 두 손실을 합쳐 공유 파라미터를 동시에 업데이트한다.

감독 모델은 Qwen3-8B이고, 실행 모델 Qwen2.5-7B-Instruct의 가중치는 바꾸지 않는다. ASearcher-Base-35k의 질문으로 학습하며 2018년 위키백과와 E5 검색기를 사용한다. AdamW 학습률 2×10⁻⁵, 작업 64개 배치로 300단계를 훈련한다. fast의 절대 변화량 목표는 좋은 변화와 나쁜 변화를 모두 포함하므로, 높은 우선순위 자체가 확실한 성공이나 목표 이탈 확률을 뜻하지는 않는다.

결과와 숫자의 의미

단일 에이전트 실험에서는 7개의 검색 QA 벤치마크(총 6,125개 질문)에서 평균 토큰 F1을 측정했다. 무개입 기준은 42.70, 제로샷 스티어링은 44.54(+1.84), RL 스티어링은 49.36(+6.66)을 기록했다. RL 스티어링은 질문당 평균 0.93회의 개입만으로 가장 큰 향상을 얻었고, 실행 턴도 6.4에서 6.2로 약간 줄었다. 반면 계획과 검증은 제로샷에서 각각 +1.04, -1.13에 그쳤고 RL을 적용해도 +3.21, +2.17에 머물렀다. 동일 감독 백본과 비슷한 개입 횟수로 비교한 이 검색 설정에서는 실행 중 개입이 더 효과적이었다.

일반화 실험에서는 온라인 검색 API를 사용하는 세 가지 벤치마크(Frames 824문항, GAIA 텍스트 전용 103문항, xBench-DS 100문항)에서 RL 스티어링을 평가했다. 질문마다 네 번 실행하고 Qwen3.8-max가 답을 판정했다. Avg@4는 네 실행의 평균 정답률, Pass@4는 그중 한 번 이상 맞힌 질문의 비율이다. Frames의 Avg@4는 26.46에서 36.32로, Pass@4는 44.17에서 59.71로 향상되었다. GAIA의 Avg@4는 16.75에서 23.79로, Pass@4는 34.95에서 39.81로 향상되었다. xBench-DS는 Avg@4가 49.50으로 동일했지만 Pass@4가 65.00에서 72.00으로 올랐다. 이는 학습된 스티어링 지능이 훈련 분포 밖의 작업에도 일반화됨을 시사한다.

전이 가능성 실험에서는 Qwen2.5-7B-Instruct를 실행자로 삼아 훈련한 Qwen3-8B 감독 모델이 Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3, Phi-4를 감독할 때 각각 +15.78, +12.01, +5.92의 F1 향상을 보였다. 이는 이 세 실행 모델에 대해 재훈련 없이 전이된 결과다. 개입 빈도 제어 실험에서는 fast path 임계값을 배포 시점에 조정하여 개입 횟수를 바꿀 수 있었다. 가장 높은 개입 빈도에서는 총 이득이 +17.11 F1까지 올라갔지만, 이는 질문당 약 6회 이상 개입하는 조건으로 기본 설정의 0.93회 개입과 같은 비용에서 얻은 이득은 아니다.

다중 에이전트 실험에서는 플래너, 검색자 2명, 검증자, 요약자로 구성된 5역할 고정 파이프라인을 사용했다. 무개입 기준은 42.49 F1, 에이전트 턴 9.2였다. 개입 빈도를 에이전트 턴의 25%로 맞춘 RL 스티어링은 46.39(+3.90)를 기록했고, 개입 2.67회, 턴 10.4였다. 모든 핸드오프에서 개입한 RL 스티어링은 47.83(+5.34)을 기록했지만 개입 6.00회, 턴 11.9로 늘었다. 반면 제로샷 스티어링은 25% 빈도에서 -1.04, 모든 핸드오프에서 -7.14로 오히려 성능을 악화시켰다. 이 비교에서 RL은 감독 성능을 높였지만, 다른 방법으로는 개선할 수 없다는 뜻은 아니다. 두 RL 조건 모두 무개입보다 실행 턴은 늘어났다.

구체적인 예시

논문의 Figure 2는 목표 드리프트의 두 가지 예를 보여준다. 단일 에이전트 예에서는 영화 'A League of Their Own'에서 'Thelma and Louise'의 델마 역을 맡은 배우가 연기한 인물의 남편 역을 누가 맡았는지 묻는 질문에, 첫 검색에서 이미 필요한 배우(지나 데이비스)를 찾았는데도 에이전트가 같은 영화에 대해 세 번 더 검색을 수행한다. 이는 이미 얻은 정보를 활용하지 않고 같은 주제를 반복 조사하는 전형적인 드리프트 패턴이다.

다중 에이전트 예에서는 검증자가 검색자들이 전달한 답변을 반복적으로 거부하여 실행이 여러 차례 수정 라운드로 이어진다. 검증자는 '의심의 여지가 없는 답변만 통과시킨다'는 자신의 역할 목표에 과도하게 집중하여, 이미 작업 목표를 충족한 결과를 거부하는 '과잉 거부(over-rejection)'를 보인다. 이 인터페이스의 활용을 설명하는 예로, 감독자는 이러한 상태에서 개입하여 검색자에게 다음 검색어를 구체적으로 지시하거나, 검증자에게 답변을 통과시키라는 노트를 첨부할 수 있다. 이 도식은 기제를 설명하는 사례로, 실제 기업 업무에서의 배포 성과를 측정한 것은 아니다.

한계와 오해하기 쉬운 점

이 연구의 결과는 자동 검색 QA 작업과 고정된 다중 에이전트 흐름에 한정된다. 코딩, 과학 연구, 실제 기업 업무 등 다른 도메인에서 검증된 결과는 아니다. 또한 실행 모델은 주로 작은 오픈웨이트 모델(Qwen2.5-7B-Instruct 등)이며, 감독 모델은 Qwen3-8B로 더 강력하다. 따라서 단일 7B 모델만으로 성능이 향상된 것이 아니라, 더 큰 감독 모델의 도움을 받은 것이다.

F1 점수는 단어 중첩을 측정하는 지표이므로 정답률과 직접 비교할 수 없다. 예를 들어 평균 F1 49.36이 정답률 49.36%를 의미하지는 않는다. 또한 개입 빈도가 높을수록 항상 경제적인 것은 아니다. Figure 6의 지연 시간 측정은 SGLang에서 GPU당 12개 동시 요청을 기준으로 한 호출당 평균이며, 모든 환경에서의 속도를 보장하지 않는다. fast path는 약 0.27초, slow path는 약 30초가 걸리므로, 개입이 많아지면 전체 실행 시간이 크게 늘 수 있다. 따라서 실행자 턴이 조금 줄었다는 사실만으로 감독 비용까지 합친 총비용 절감을 주장할 수 없다.

학습 과정에서 보상은 답변 토큰 F1과 형식 지표의 곱으로, 실제 독립적인 인간 안전 판정이나 목표 완수 보장은 아니다. 또한 훈련 계산 총량과 결과 불확실성에 대한 상세 보고가 부족하다. 이 논문은 'A PREPRINT'로 명시되어 있으며 동료 심사 완료 여부는 확인되지 않았다.

실제로 어떻게 활용할까

기존 에이전트에 외부 감독을 붙이는 설계로 활용할 수 있다. 다만 감독자가 작업 목표와 필요한 실행 이력을 볼 수 있도록 관찰 인터페이스를 만들고, 다음 행동용 노트나 핸드오프 재시도처럼 허용할 개입을 명확히 정의해야 한다. 실행 모델을 고정해도 주변 시스템의 연결 작업과 감독 정책 학습은 필요하다. 검색 QA와 정보 수집 흐름에서 먼저 검증해 볼 수 있으며, 모든 기존 시스템에 그대로 연결되는 기능은 아니다.

배포 시 fast path 임계값을 조정하여 개입 빈도를 제어할 수 있으므로, 비용과 성능 사이의 트레이드오프를 상황에 맞게 조절할 수 있다. 예를 들어 정확도가 중요한 작업에서는 개입을 늘리고, 지연 시간이 중요한 작업에서는 개입을 줄일 수 있다. 또한 훈련된 스티어링 에이전트는 다른 실행 모델에도 전이될 수 있어, 논문이 시험한 실행 모델들에서는 감독 모델 재훈련 없이 이득을 얻었다. 새로운 모델이나 업무로 옮길 때는 같은 결과를 보장하지 않으므로 개입 성공률과 전체 비용을 다시 측정해야 한다.