PivotOPD: 에이전트의 결정적 실수를 예방하고 되돌리는 학습

배경과 문제

언어 에이전트는 여러 턴에 걸쳐 환경과 상호작용하며 작업을 수행한다. 예를 들어 ALFWorld에서는 '차가운 달걀을 전자레인지에 넣기' 같은 가정용 작업을 텍스트 명령으로 수행하는데, 에이전트는 매 턴 관찰을 받고 가능한 행동 중 하나를 선택한다. 이러한 다중 턴 설정에서 온폴리시 증류(OPD)는 학생 모델이 스스로 생성한 궤적에 대해 교사 모델이 토큰 단위의 밀집된 지도를 제공하는 효과적인 학습 방법으로 주목받았다. 그러나 다중 턴 환경에서는 한 번의 잘못된 행동이 이후 상태를 바꾸어 오류가 누적되고, 학생은 교사와 점점 더 멀어지게 된다.

저자들은 이 문제를 진단하기 위해 ALFWorld의 상징적 오라클을 사용했다. 오라클은 전체 환경 상태를 읽고 매 턴마다 작업 완료까지 남은 최적 궤적의 길이를 계산할 수 있다. 세 가지 Qwen3 모델(8B, 30B-A3B, 235B-A22B)을 140개의 보류 작업에 실행한 결과, 실패한 궤적의 59%가 '중추적 실수'를 포함했다. 중추적 실수란 남은 최적 궤적을 늘리거나 작업을 해결 불가능하게 만드는 행동으로, 첫 중추적 실수는 대개 30턴 중 8~12턴째에 발생했다. 이후 모델들은 평균 18~21턴을 더 낭비하면서도 회복하지 못했다.

기존 접근의 한계

기존의 다중 턴 OPD 방법들은 오류 누적을 해결하기 위해 턴에 가중치를 부여하거나 증류 신호를 받을 턴을 제한하는 방식을 사용했다. 그러나 이들은 실패가 단일 결정적 실수에 달려 있는지, 그리고 그 실수 후에도 회복 가능한지에 대한 질문을 열어두었다. 저자들의 분석에 따르면, 표준 OPD는 보류 작업의 실패율을 79%에서 56%로 낮추었지만, 전체 보류 작업 중 중추적 실수를 거친 뒤 실패한 작업의 비중은 51%에서 49%로 거의 줄이지 못했다. 즉, 전체 실패율 개선이 실수 뒤의 회복 능력 개선으로 곧바로 이어지지는 않았다. 특정 잘못된 행동의 출력 확률은 줄었지만, 오라클이 제시한 올바른 행동에는 여전히 충분한 확률을 주지 못했다.

이러한 한계의 원인은 학습 신호의 부재에 있다. 결과 기반 강화학습(RL)은 에이전트가 우연히 회복에 성공한 경우에만 보상을 주며, 그룹 내 모든 롤아웃이 실패하면 그룹 상대 이점이 0이 되어 학습 신호가 사라진다. 턴 단위로 신용을 할당하는 방법들도 학생이 샘플링한 행동에만 신용을 부여하기 때문에, 학생이 거의 샘플링하지 않는 회복 행동에는 직접적인 신호를 제공하지 못한다. 실제로 표준 OPD 후에도 오라클 행동의 확률은 모든 중추적 턴에서 1% 미만으로 유지되어, 8개의 롤아웃 그룹에서도 한 번도 샘플링되지 않을 것으로 예상되었다.

연구방법을 단계별로

PIVOTOPD는 그룹 기반 RL에 세 가지 구성 요소를 추가한다: 중추적 감지(pivot detection), 예방적 증류(preventive distillation), 회복 증류(recovery distillation). 먼저 중추적 감지 단계에서는 교사 모델(주 실험에서는 더 큰 LLM)이 각 롤아웃을 결과와 함께 읽고, 학생이 잘못했을 수 있는 후보 턴을 최대 m개 선택하며 각 턴에서 '골드 행동(gold action)'을 명명한다. 학생의 실제 행동이 골드 행동과 다르면 그 턴을 중추적 턴으로 간주한다. ALFWorld의 실패한 궤적 중에서는 교사가 제안한 후보가 적어도 하나 이상 오라클 표시 턴의 앞뒤 한 턴 안에 들어간 비율이 두 교사 평균 77.8%였다.

중추적 턴이 감지되면, 교사 모델은 그 턴 이후 최대 K턴 동안 '회복 행동(recovery action)'을 명명한다. 첫 회복 턴은 실수 직후의 상태에서 시작하며, 이후 회복 턴은 이전 회복 행동을 환경 복사본에서 실행하여 도달한 상태에서 시작한다. 이렇게 얻은 골드 행동과 회복 행동을 토큰 수준의 학습 목표로 변환하기 위해 '특권적 자기 교사(privileged self-teacher)'를 사용한다. 이는 학생 모델을 동결하고 행동을 힌트로 조건화한 것으로, 학생 자신의 추론 스타일을 유지하면서 올바른 행동으로 이끄는 분포를 제공한다.

예방적 증류는 중추적 턴에서 학생의 기록된 응답을 골드 행동 힌트가 주어진 자기 교사로 재점수하고, 역 KL 손실(reverse KL loss)을 최소화하여 학생을 골드 행동 쪽으로 이동시키고 실수로부터 멀어지게 한다. 회복 증류는 각 회복 턴에서 회복 행동 힌트가 주어진 자기 교사로부터 응답을 샘플링하고, 힌트 없이 학생을 그 응답에 대해 순방향 KL 손실(forward KL loss)로 학습시킨다. 순방향 KL은 질량 포괄적(mass-covering)이므로 학생이 거의 샘플링하지 않는 회복 행동의 확률을 높이는 데 효과적이다. 이 세 가지 손실은 단일 PPO 업데이트에서 결합된다.

결과와 숫자의 의미

PIVOTOPD는 ALFWorld, WebShop, 검색 기반 질의응답에서 Qwen3-1.7B와 Qwen3-8B 학생 모두에 대해 13개 비교 방법보다 높은 벤치마크별 평균을 기록했다. 평가는 보류한 ALFWorld 274개 작업, WebShop 500개 지시, QA 725개 질문에서 수행했고, 세 난수 시드의 평균을 보고했다. ALFWorld와 QA의 평균은 각각 작업 유형과 데이터셋별 점수의 단순 평균이므로 모든 개별 문항을 합친 정확도와는 다르다. 1.7B 학생의 ALFWorld 평균은 최고 비교 방법의 68.2%에서 73.7%로 5.5%포인트, QA 평균은 38.6%에서 44.5%로 5.9%포인트 높았다. 8B 학생의 벤치마크별 평균 격차도 최소 1.8%포인트였다. 1.7B 학생은 기본 모델이 가장 적게 해결하던 Clean, Cool, Heat 작업 유형에서 GRPO 대비 큰 향상을 보였다.

WebShop에서는 정규화 점수와 성공률을 구분하여 평가했다. 1.7B 학생의 경우 RLSD가 기준선 중 가장 높은 점수를 얻었지만, PIVOTOPD는 100점 척도의 정규화 점수는 83.2에서 84.4로 1.2점, 성공률은 62.5%에서 76.6%로 14.1%포인트 높였다. 이는 회복 증류가 부분적으로 완료된 작업을 끝까지 완료하도록 가르치는 효과와 일치한다. 또한 PIVOTOPD는 더 강한 외부 교사 없이도 효과적이었다. 학생이 자신의 교사 역할을 하는 자기 증류 설정에서도 세 벤치마크 모두에서 최고 성능을 보였으며, 가장 강한 비교 방법보다 평균 3.9%포인트 앞섰다.

소프트웨어 공학 분야에서는 Nemotron-3.5-SFT 학생을 Nemotron-3-Super 교사로 학습했다. SWE-Bench Verified 500개 작업을 각각 세 평가 시드에서 실행한 평균 해결률은 기본 모델 62.8%, 표준 OPD 63.0%, PIVOTOPD 66.0%, 교사 73.0%였다. 따라서 PIVOTOPD의 향상은 3.2%포인트이며 교사와의 격차를 약 3분의 1 줄인 결과다. 이 설정에서는 실패한 궤적의 마지막 확정 행동만 교사가 검토하고, 그 뒤에 기록된 턴이 없어 회복 예산을 K=0으로 두었다. 또한 주 실험의 자기 교사와 달리 Nemotron-3-Super가 직접 증류 분포를 제공했다. 따라서 이 결과는 SWE-Bench에서 회복 증류의 효과를 검증한 것이 아니라, 같은 교사를 쓰는 OPD에 예방적 증류를 추가한 설정의 결과다.

구체적인 예시

그림 5a는 동일한 중추적 실수 이후의 연속을 보여준다. 작업은 '차가운 달걀을 전자레인지에 넣기'인데, 에이전트는 냉장고에 달걀이 없다는 관찰 후에도 토마토를 집는 실수를 저지른다. 기본 모델은 토마토를 전자레인지에 넣고 달걀을 찾지 못한 채 실패하지만, PIVOTOPD로 학습된 정책은 토마토를 테이블에 내려놓고, 테이블에서 달걀을 집어 식힌 후 전자레인지에 넣어 작업을 완료한다. 이는 회복 행동이 실제로 학습되었음을 보여준다.

회복 평가는 Qwen3-8B의 실패에서 찾은 72개 중추적 실수 각각을 정책마다 8회 재생하여, 정책당 총 576회 수행했다. 각 실수를 같은 비중으로 평균한 최종 회복률은 기본 모델 8.3%, 표준 OPD 20.3%, 예방적 증류만 사용한 변형 45.8%, PIVOTOPD 72.7%였다. 회복에 성공한 재생만 대상으로 계산한 PIVOTOPD의 평균 완료 시간은 실수 뒤 9.7턴이었다. 그림의 전체 72개 상태에 대한 최적 경로 평균 6.2턴과 비교할 수 있지만, 정책마다 성공한 재생 집합이 달라 완전히 같은 표본의 시간 비교는 아니다. 학습된 정책이 이 평가에서 오라클의 정보를 직접 받지는 않았다.

한계와 오해하기 쉬운 점

PIVOTOPD의 진단은 ALFWorld의 상징적 오라클에 의존한다. 다른 벤치마크에는 이러한 오라클이 없기 때문에, 중추적 턴의 위치는 교사 모델의 추정에만 의존한다. 교사가 잘못된 골드 행동이나 회복 행동을 명명하면 잘못된 증류 목표가 될 수 있다. ALFWorld 실패 궤적의 평균 77.8%에서는 교사 후보 중 적어도 하나가 첫 오라클 표시 턴의 앞뒤 한 턴 이내에 있었지만, 이는 모든 후보의 정확도를 보장하지 않는다. 또한 불일치 검사는 합리적인 대안 행동도 중추적으로 잘못 표시할 수 있지만, 예방 가중치가 작고 회복 증류가 학생이 실제로 방문한 상태에서 교사의 다음 행동을 학습시키므로 비용이 크지 않다고 저자들은 주장한다.

회복 예산 K와 회복 가중치 w_rec는 상호작용하므로 새로운 벤치마크에 적용할 때는 검증 세트에서 스윕이 필요하다. 또한 K>1인 회복 턴은 환경을 정확히 재생해야 하므로 라이브 웹사이트와 같은 비결정적 환경에는 적용하기 어렵다. SWE-Bench 실험에서는 K=0으로 설정하여 회복 증류의 효과를 분리하지 못했으며, 에이전트의 히스토리 창이 최대 5턴으로 제한되어 중추적 실수 이후 낭비되는 턴의 일부가 제한된 히스토리 때문일 수 있다는 점도 지적되었다.

실제로 어떻게 활용할까

PIVOTOPD는 학습 때만 교사와 힌트를 사용하므로 논문 설정에서는 추론 계산을 추가하지 않는다. 학습 오버헤드의 12.4% 수치는 ALFWorld에서 Qwen3-1.7B를 H100 4장으로 학습할 때, GRPO의 단계당 367.3초에 자기 교사 순전파와 회복 롤아웃 시간이 더해진 비율이다. 이 측정은 교사가 중추적 실수를 찾아내는 pivot detection 비용을 제외한다. 같은 조건에서 회복 예산 K=2는 94.2%, K=3은 112.3%의 시간 증가를 보였다. K=1은 환경 재생이 필요 없어 저렴하지만, 이를 모든 작업의 최선 설정이라고 단정할 수는 없다. 원문처럼 벤치마크별 검증 결과와 비용을 함께 비교해야 한다.

이 방법은 재생 가능한 환경을 가진 다중 턴 에이전트 작업에 적합하다. 예를 들어 시뮬레이션된 전자상거래, 검색 기반 질의응답, 가정용 로봇 시뮬레이션 등이 해당된다. 교사 모델의 품질이 중요하지만, 학생 자신을 교사로 사용해도 상당한 이득을 얻을 수 있어 외부 대형 모델에 대한 의존도를 낮출 수 있다. 향후에는 교사가 명명한 행동의 신뢰성을 추정하여 잘못된 증류를 방지하고, 비재생 환경에서도 회복 턴을 확장하는 방향이 열려 있다.