실패할 코딩 에이전트를 일찍 멈추면 비용이 줄어들까

배경과 문제

코딩 에이전트는 파일을 읽고 코드를 수정하며 테스트를 실행하는 여러 단계를 거치는데, 최종 검증에서 실패할 실행에도 계속 자원을 쓴다. 검증 결과가 나올 때쯤이면 이미 실행 비용을 모두 지불한 뒤라서, 실행 중에 관찰 가능한 정보만으로 실패 위험을 알아채고 불필요한 작업을 멈추는 모니터가 필요하다. 이 문제가 어려운 이유는 조기 중단이 실제로 이득이 되려면 중단으로 아낀 실행 비용이 모니터링 비용과 잘못 중단한 성공 실행의 손실을 합친 것보다 커야 하기 때문이다.

기존 모니터는 크게 두 갈래인데 각각 한계가 있다. 예산 기반 방식은 단계 수나 지출 상한을 정해두고 그 안에 끝낼 수 있는지를 추정하는데, 결국 성공할 실행도 예산을 넘으면 잘라버릴 수 있다. 반대로 범용 대형언어모델 판정기는 실행 궤적을 읽고 진행 상황을 판단하지만, 판정 호출 자체가 비싸고 반복하면 아끼는 비용보다 모니터링 비용이 더 커질 수 있다. 따라서 실용적인 모니터는 실패와 성공을 잘 구별하는 동시에 호출당 비용이 매우 낮아야 한다.

기존 접근의 한계

완료된 실행 궤적은 이 두 요구를 동시에 충족할 학습 신호를 제공한다. 검증 결과는 실행이 끝난 뒤에야 나오지만, 돌이켜 보면 그 실행의 모든 이전 창에 최종 성공·실패라는 라벨을 붙일 수 있다. 이렇게 하면 비싼 실행이 결국 성공한 경우도 성공으로 남기 때문에, 모니터는 예산을 강제하는 대신 실패 자체를 인식하도록 학습한다. 또한 숨은 상태 접근이 필요한 프로브 기반 방식과 달리 관찰 가능한 텍스트만 읽으므로 폐쇄형 실행기도 감시할 수 있다.

이 논문이 비교하는 여섯 개의 범용 판정기는 동일한 창을 읽고 실패 확률을 추정하도록 프롬프트된다. 그러나 판정기들은 호출당 비용이 StopLoss보다 8~326배 높고, 판정 품질이 좋아도 모니터링 비용 때문에 전체 비용이 오히려 증가할 수 있다. 예를 들어 Claude Opus 5는 연구에서 가장 높은 순위 식별 능력을 보였지만, Verified/Sonnet 조건에서 실행 비용의 16.0%를 아꼈음에도 모니터링에 원래 실행 예산의 44.9%를 써서 유지 성공당 비용을 34.7% 올렸다.

연구방법을 단계별로

StopLoss는 완료 기록으로 학습한 뒤, 실행 도중 적용할 감시 규칙을 평가하는 두 단계로 나뉜다. 이 논문에서는 감시 규칙을 실제 서비스에 개입시키지 않고 저장된 기록에 재생했다. 먼저 SWE-rebench의 GPT 계열 실행기 궤적 4,867개 과제(61,315개 창)를 사용해 7B~8B 크기의 사전학습 언어모델을 LoRA로 미세조정한다. 각 창은 현재 단계 수와 가장 최근의 행동·관측 세 쌍으로 구성되며 1,600토큰으로 제한된다. 실패한 실행의 창에는 ABORT, 성공한 실행의 마지막 두 단계 창에는 DELIVER, 그보다 앞선 성공 창에는 CONTINUE라는 라벨을 붙인다. DELIVER는 학습 보조용일 뿐 실제 중단 결정에는 ABORT 점수만 쓴다.

운영할 때를 가정한 정책은 도구 단계 5, 8, 11, ...마다 검사한다. 각 앙상블 구성원이 창을 한 번의 순방향 계산으로 읽고, 출력 로짓에서 ABORT 토큰의 확률을 실패 점수로 읽는다. 앙상블은 구성원 점수의 평균을 사용하며, 주 모델은 다섯 개 시드의 Qwen2.5-7B-Instruct 앙상블이다. 중단 임계값은 성공한 보정 실행들에서 각 실행의 최대 점수를 모아 목표 오중단율 5% 이하가 되도록 정하고 이후 고정한다. 실행기 자체는 바뀌지 않는다.

평가 실행기는 GPT-5.6 Luna와 Claude Sonnet 4.6이며, 모두 같은 Terminus-2 실행 틀을 썼다. 실패 점수의 순위를 비교한 집합은 763과제의 1,523실행이다. 비용과 중단 결과는 미리 탐색하거나 임계값 보정에 노출된 과제를 제외한 638과제의 1,276실행에서 계산했다. 각 실행기마다 Verified 425과제와 Pro 213과제가 남았다. 따라서 표의 AUC와 비용 결과는 평가에 쓰인 기록의 범위부터 다르다.

결과와 숫자의 의미

주요 지표는 유지 성공당 비용(CPS)으로, 중단 정책 후 남은 원래 성공 수를 분모로 하고 실행 비용과 모니터링 비용의 합을 분자로 한다. Table 1에 따르면 Verified/GPT 조건에서 StopLoss는 CPS를 4.5% 낮추고 성공 실행의 99.0%를 유지했으며 실패 실행의 5.0%만 포착했다. 반면 GPT 판정기들은 CPS를 8.4%~116.8% 올렸다. Pro/GPT에서는 StopLoss가 CPS를 24.2% 낮췄지만 성공 유지율이 72.2%로 떨어졌고, Pro/Claude에서는 30.6% 절감에 성공 유지율 91.6%였다. Verified/Claude의 주모델은 성공을 모두 보존했지만 실패도 중단하지 못해 CPS가 0.2% 늘었다. 큰 판정기보다 저렴한 것과 감시하지 않을 때보다 저렴한 것은 다른 비교다.

절감 폭이 가장 큰 경우는 Pro/Claude의 보조 Qwen3-8B 앙상블로 CPS를 48.1% 낮췄지만 성공 유지율은 83.2%에 그쳐 16.8%의 성공 실행을 잃었다. GPT Pro의 Qwen2.5-Coder 앙상블은 30.9% 절감에 74.3% 유지였다. 따라서 Verified의 99% 유지와 Pro의 최대 절감을 하나의 성과로 합쳐 말하면 안 된다. 순위 식별 능력을 나타내는 tier AUC는 Verified/GPT에서 0.622로, 이는 실패와 성공의 순위를 구별하는 척도이지 62.2%의 정답률이 아니다.

구체적인 예시

논문은 Verified/Luna 전체 코호트에서 중간 비용 순서로 세 가지 사례를 제시한다. 올바른 중단 사례인 SymPy-12419는 17단계에서 중첩 기호 합과 Piecewise 조건을 계속 조사하는 창에 실패 점수 0.894가 나와 중단했고, 실행 비용 0.306달러 중 0.225달러를 아꼈다. 놓친 실패 사례인 SymPy-20428은 11단계 최대 점수가 0.550에 그쳤고 창에는 로컬 테스트 통과와 완료 준비가 보고되었지만 실제로는 검증에 실패했다.

잘못된 중단 사례인 scikit-learn-25931은 20단계에서 반복적인 터미널 복구 시도와 입력 메아리에 실패 점수 0.955가 나와 중단했지만, 완료된 실행은 실제로 검증을 통과했다. 이 사례들은 같은 임계값 0.876을 사용하며 오류 빈도가 아니라 행동 양상을 보여준다. 이 절의 사례와 8건 집계는 비용 표의 425실행이 아니라 전체 Verified/Luna 499실행을 대상으로 한다. 그중 올바르게 중단한 8건의 실패에서 중단 시점에 남아 있던 실행 비용의 중앙값은 64.5%였고, 가장 큰 절감 세 건이 전체 절감 실행 비용의 65.8%를 차지해 소수의 중단이 큰 비용을 아낄 수 있음을 보여준다.

한계와 오해하기 쉬운 점

이 연구의 비용 절감은 완료된 실행 기록에서 중단을 재생해 추정한 값이다. 온라인에서 실제로 개입하거나 재시도하거나 다른 모델로 라우팅한 실험이 아니다. CPS 분모는 중단 정책 후 남은 원래 성공 수이므로, CPS가 4.5% 줄었다는 수치를 전체 지출도 같은 비율로 줄었다는 뜻이나 정답률 향상으로 해석할 수는 없다. 또한 비용 조건은 9월 18일 API 정가와 캐시 입력 전액, 추론 출력 포함이며, 소형 모니터 비용은 RTX A6000 GPU 시간을 0.80달러/GPU시간으로 환산한 대리값이다. 로딩, 토크나이징, 서빙, 유휴, 학습, 교정 비용은 제외되었고 실제 wall-clock 지연도 아니다.

GPT 임계값은 90개 성공 검증 기록에, Claude는 76개 탐색 성공 기록에 맞췄으며 GPT 검증은 모델 선정에 재사용되어 독립적인 인증 집합이 아니다. 목표 오중단율 5%는 실증 설정일 뿐 보장이 아니다. GPT 실행의 Verified에서 Pro로 전이할 때 주 모델의 성공 손실이 1.0%에서 27.8%로 커졌는데, 이는 Pro의 성공 실행이 더 길어 검사 횟수가 많아지고 점수 분포도 달라지기 때문으로 보인다. Pro 평가는 Python 266과제 중 ansible, openlibrary, qutebrowser 세 저장소만 포함해 전체 Pro를 대표하지 않는다. 감시 비용을 5배로 올리면 Verified/GPT의 CPS가 오히려 1.8% 증가하는 것으로 바뀌어, 절감 효과가 비용 가정에 민감하다.

실제로 어떻게 활용할까

StopLoss처럼 관찰 가능한 텍스트만 읽는 외부 모니터는 실행 모델의 내부를 바꾸기 어려운 상황에서 검토할 수 있는 설계다. 주 앙상블의 검사당 0.000237달러는 다섯 모델의 GPU 시간을 합산한 논문상의 환산값이며, 실제 서비스 요금이나 응답 지연 보장은 아니다. Verified/Sonnet처럼 실패를 멈추지 못한 조건에서는 감시 비용만 추가되므로, 값싼 모니터라는 이유만으로 도입 이익을 예상하기보다 대상 실행기의 실패 패턴·성공 보존·전체 운영 비용을 함께 측정해야 한다.

실무에서는 먼저 자사 실행기로 수집한 완료 궤적과 검증 결과로 모니터를 재학습하거나 보정하는 것이 필요하다. GPT 궤적으로만 학습한 모니터는 Claude 실행기에 대한 예측 신호가 부분적으로만 전이되었고, 같은 예측 품질에서도 벤치마크에 따라 오중단율이 크게 달라졌다. 따라서 임계값은 실제 성공 실행 분포에서 다시 보정하고, 성공 유지율과 비용 절감의 상충을 명시적으로 보고해야 한다. 논문은 실제 배포 성공이나 자동 복구 효과를 주장하지 않으므로, 이를 기대하고 도입해서는 안 된다.