에이전트는 모든 실패에서 배워야 할까: GEPA-Curator

프롬프트를 고칠 때 도움이 되는 실행 기록을 고르고, 같은 과제의 성공 사례를 함께 보여 주면 최적화 성능이 좋아졌습니다.

쉽게 말하면비유하자면 오답 노트에 틀린 문제를 전부 넣지 않는 것과 같다. 문제지가 잘못 인쇄됐거나 채점이 오락가락한 문제는 잠시 빼 둔다. 배울 것이 있는 문제만 고르고, 예전에 그 문제를 맞게 푼 풀이를 옆에 놓고 AI의 안내문(프롬프트)을 고친다.

왜 봐야 하나

에이전트의 실패가 모두 프롬프트 탓은 아니다. 환경 고장이나 채점 흔들림까지 고칠 근거로 삼으면 프롬프트가 나빠질 수 있다. 프롬프트를 자동으로 고치는 팀은 실행 기록을 골라 쓰는 설계를 시험해 볼 만하다. 다만 한 실행 모델과 정해진 시험에서 나온 결과다.

이 논문은 LLM 에이전트가 자신의 경험에서 배워 프롬프트를 개선하는 '반성적 프롬프트 최적화'에서, 실패한 실행 기록을 무조건 학습 신호로 쓰면 오히려 성능이 나빠질 수 있다는 문제를 다룬다. 저자들은 GEPA-Curator라는 프레임워크를 제안해, 최적화기에 어떤 과제를 학습시킬지 선별하고 실패한 과제에 대해 과거 성공 궤적을 참고자료로 제공한다. WebArena에서는 GEPA와, ALFWorld·AppWorld·τ-bench에서는 GEPA 및 ACE와 비교했다. 이 조건에서 평균 성능이 같거나 높았고, 최대 20.7%포인트(GEPA 대비)와 21.2%포인트(ACE 대비)의 향상을 보였다. 20.7포인트는 Gemini 최적화기의 AppWorld Test-N에서, 21.2포인트는 Opus 최적화기의 τ-bench에서 ACE와 비교한 최대 차이다. 두 값을 전체 과제의 평균 향상으로 읽으면 안 된다.

알아낸 것

• 같은 gpt-oss-120b 실행 모델을 사용한 WebArena 평가에서 GEPA 대비 평균 점수는 Gemini 최적화 조건에서 78.7에서 82.1, Opus 조건에서 79.5에서 84.5로 올랐습니다. 각각 3.4와 5.0퍼센트포인트 차이입니다.
• 일시적으로 건너뛴 과제도 다음 학습 주기에 다시 검토하며, 같은 과제의 믿을 만한 성공 기록이 없으면 성공 예시 검색을 보류합니다.
• 별도의 효율화 변형은 GEPA보다 비용이 약 1.31배였습니다. 다른 비교 방법 ACE보다 비용이 낮았다는 결과를 GEPA보다 저렴하다는 뜻으로 읽으면 안 됩니다.

한계와 주의할 점

• 한 실행 모델과 정해진 벤치마크의 결과입니다. Curator가 실패 원인이나 평가기의 오류를 잘못 진단할 수 있습니다.
• τ-bench 실험은 115개 소매 시나리오를 단일 요청으로 바꾼 조건입니다. 실제 사용자와 여러 번 대화하는 전체 상호작용을 그대로 평가한 것은 아닙니다.

용어 풀이

반성적 프롬프트 최적화

에이전트의 실행 궤적과 평가 결과를 바탕으로 실패 원인을 분석하고 프롬프트를 수정하는 방법. GEPA가 대표적이며, 수치적 그래디언트 대신 자연어 피드백을 사용한다.

롤아웃

에이전트가 주어진 과제를 수행하기 위해 환경과 상호작용하는 한 번의 실행 과정. 이 논문에서는 학습 신호로 사용되는 실행 기록을 의미한다.

하네스

에이전트와 외부 환경 사이에서 도구 호출을 중개하고 실행을 관리하는 코드 계층. 하네스의 제약이 에이전트 실패의 원인이 될 수 있다.

과제 큐레이션

GEPA-Curator의 첫 번째 구성 요소. 각 최적화 단계에서 학습 신호로 유용할 가능성이 높은 과제만 미니배치에 포함시키고, 노이즈가 많거나 이미 숙달된 과제는 일시적으로 건너뛴다.

이전 성공 검색

GEPA-Curator의 두 번째 구성 요소. 실패한 과제에 대해 과거에 성공한 궤적을 검색하여 반성기에 참고자료로 제공한다. 신뢰할 수 있는 성공이 없으면 abstain한다.

abstain

Curator가 신뢰할 수 있는 성공 궤적이 없다고 판단하여 아무것도 제공하지 않는 행동. 노이즈가 있는 성공 예시가 반성을 오도하는 것을 방지한다.

더 깊이 읽기 읽는 데 약 9분

10월 29일(목) 정리 · AI가 쓰고 원문과 대조