CLIFT: 신뢰할 만한 자가검증 질문을 웹 에이전트 학습과 실행에 재사용하기

배경과 문제

웹 에이전트는 브라우저에서 사용자 지시를 수행하는 AI 시스템으로, 최근 오픈소스 모델도 실제 작업을 수행할 수 있을 만큼 강해졌다. 그러나 이들을 강화학습(RL)으로 더 개선하려면 각 행동이 얼마나 좋았는지 평가하는 보상 신호가 필요한데, 기존 방식은 두 가지 극단 사이에 갇혀 있다. 하나는 작업 전체의 성공 여부만 0 또는 1로 주는 이진 보상으로, 구현은 쉽지만 어떤 중간 단계가 성공에 기여했는지 알 수 없어 학습이 비효율적이다. 다른 하나는 대형 언어 모델 판정자(judge)가 각 단계를 평가하는 방식으로, 풍부한 피드백을 주지만 훈련 중 매 단계마다 호출하기에는 비용이 너무 크고, 배포 시점에 항상 사용할 수 있다고 가정할 수도 없다.

이 긴장은 특히 웹 에이전트 벤치마크에서 두드러진다. WebArena Infinity(WAI)는 앱별 프로그램 검증기를 사용하고, VisualWebArena(VWA)는 결과 기반 URL/DOM 검사를 사용하며, Online Mind2Web(OM2W) 같은 라이브 웹 평가는 노이즈가 많은 LLM 판정자에 의존한다. 즉, 정책(에이전트의 행동 선택 방식)만이 유일한 제약이 아니라, 롤아웃(에이전트가 작업을 수행하며 생성한 행동 궤적)을 어떻게 점수 매기고 선택하는지가 관찰되는 성공률을 좌우할 수 있다. CLIFT는 이 문제를 '판정자의 피드백을 에이전트가 스스로 휴대할 수 있는 재사용 가능한 검증기로 바꿀 수 있는가'라는 질문으로 재구성한다.

기존 접근의 한계

기존 연구들은 이 문제의 한 부분만 개선해 왔다. GRPO(Group Relative Policy Optimization) 같은 결과 기반 RLVR(Reinforcement Learning from Verifiable Rewards)은 궤적 전체에 하나의 스칼라 보상을 방송하므로, 그룹 내 모든 롤아웃이 같은 결과를 받으면 이점 추정이 무너진다. 계층적 GRPO는 구조적 계층을 나누어 밀도를 높이지만 URL 상태에 근거하지 않는다. 프로세스 보상 모델(PRM)은 별도 학습된 모델로 단계별 피드백을 제공한다. 이 논문은 그 대신 읽고 수정할 수 있는 질문·URL 범위·신뢰 가중치를 공통 검증 객체로 사용한다. 사후 검색이나 Best-of-N 방식은 샘플을 많이 뽑아 선택하지만 훈련 신호를 개선하지는 않는다.

CLIFT가 제안하는 핵심 차이는 '보정된 검증기(calibrated verifier)'라는 공통 객체다. 이는 질문, URL 범위, 극성 부호, 그리고 적합성 신뢰 가중치의 집합으로, 훈련 후에도 재사용할 수 있다. 기존의 프로세스 보상 모델이나 사후 선택기가 아니라, 판정자가 에이전트에게 가르쳐 준 '무엇을 주목해야 하는지'를 담은 컴팩트한 인터페이스다. 이 은행은 훈련 중에는 단계별 보상을 밀도 있게 만들고, 테스트 시에는 완료된 궤적들을 비교 선택하는 구조적 증거로 사용된다.

연구방법을 단계별로

CLIFT의 첫 단계는 검증 질문(VQ) 은행을 구축하는 것이다. 각 질문은 YES/NO로 답할 수 있는 자연어 검사로, 특정 URL 패턴(전역, 호스트, URL 경로 중 하나)과 극성 부호(+1은 진전, -1은 실패, 0은 중립)를 가진다. 훈련 중 에이전트의 기본 모델(작업 어댑터를 분리한 상태)이 자신의 롤아웃에 대해 이 질문들에 답하고, Compositional Conformal Certifier(CCC)가 각 질문이 해당 URL 계층에서 높은 판정자 점수와 낮은 판정자 점수를 얼마나 잘 구분하는지(lift)를 추적한다. 충분한 관측 수, 낮은 오류율, 최소 lift를 만족하는 질문만 인증되어 부호 있는 신뢰 가중치를 받는다.

훈련 단계에서는 각 작업에 대해 하나의 비교 판정자 호출이 GRPO 그룹(8개 롤아웃)을 점수 매기고, 동시에 자기 검증기가 각 롤아웃의 URL 상태별로 질문 은행에 답한다. 검증기 점수는 판정자 보상에 비대칭적으로 더해지는데, 음수 부분은 0으로 잘라내어 판정자 기준선을 깎아내리지 못하게 한다. 이렇게 만들어진 단계별 보상은 URL 상태별로 그룹 정규화되어 토큰 이점으로 변환되고, 도구 호출 구간의 토큰에만 그래디언트가 전파된다. 즉, 신용 할당이 URL 지역적으로 이루어진다.

테스트 시 CTS 선택에서는 별도의 훈련용 외부 판정자를 호출하지 않는다. 에이전트는 탐욕적 롤아웃 하나와 다양한 재시도 롤아웃 하나 이상을 생성하고, 동결된 인증 은행이 각 URL 궤적에 대한 증거 기록(질문, 가중치, lift, 답변 확률)을 만든다. 이 증거 시트와 행동 궤적, 최종 상태를 자기 검증기에 비교 프롬프트로 전달하면, 검증기는 탐욕적 궤적 유지(A), 재시도로 교체(B), 또는 동점(TIE)을 출력한다. 각 비교는 홀수 번(기본 3회)의 독립적인 검증기 호출로 반복되고, 과반수가 B를 선택할 때만 교체하는 보수적 다수결 규칙을 적용한다. 동점이나 교체 증거 부족은 현재 후보를 유지한다. K가 2보다 크면 이전 비교에서 선택된 후보를 다음 재시도와 비교한다. 논문의 기대 성공률 논의는 비교기가 우연보다 낫다는 등의 조건을 전제로 하므로, 다수결 자체가 개별 작업의 무회귀를 보장하지는 않는다.

결과와 숫자의 의미

WAI(WebArena Infinity)에서는 CLIFT로 훈련된 Gemma-4 모델에 K=3의 CTS(Conformal Trajectory Selection)를 적용한 결과, 공개 9개 앱 비교 세트에서 과제 수로 가중한 전체 성공률 74.6%를 달성했다. 이는 비교 대상 중 가장 높은 수치이며, 동일한 Gemma-4 브라우저 백본을 12.8%p 향상시킨 것이다. 훈련 곡선을 보면 CLIFT가 바닐라 GRPO보다 일찍 분리되는데, 이는 인증 은행이 단계별 증거를 기여하기 시작하면서부터다. 절제 연구(Table 6)에 따르면, 기본 Gemma-4의 61.8%에서 바닐라 GRPO는 64.7%(+2.9%p)로 소폭 개선에 그쳤지만, CLIFT는 72.6%(+10.8%p)로 크게 올랐고, CTS를 더하면 74.6%(+12.8%p)가 된다. 흥미롭게도 바닐라 GRPO는 성공 궤적의 평균 단계 수를 15.4에서 18.5로 늘린 반면, CLIFT는 16.0단계로 유지하면서 더 큰 향상을 얻었다. 이 단계 수는 성공한 궤적만의 평균으로, 모든 실패와 재시도·검증 호출을 포함한 전체 비용이 아니다. 따라서 학습 방식의 이점을 시사하지만, CTS가 총 연산비용을 줄였다고 해석할 수는 없다.

VWA(VisualWebArena)에서는 WAI와 VWA의 합성 과제로 오픈 모델을 훈련하며 얻은 은행을 폐쇄형 모델 GPT-5.5에 테스트 시점에 적용하는 전이 실험을 했다. GPT-5.5의 정책 가중치는 전혀 업데이트하지 않고, 완료된 궤적에 CTS만 추가했다. 그 결과 GPT-5.5 + CLIFT + CTS(K=4)는 가중 평균 성공률 53.7%를 기록하여, 논문이 비교한 공개 기준 WALT의 52.9%를 근소하게 넘어섰다. 인간 성능(88.7%)과는 여전히 큰 격차가 있지만, 오픈 모델로 만든 검증 은행이 더 강한 폐쇄형 실행기에도 유용하다는 점을 보여준다. Gemma-4 자체에 CLIFT를 적용한 경우에도 기본 30.9%에서 34.4%로, CTS를 더해 35.6%로 개선되어 WAI와 같은 패턴을 보였다.

OM2W(Online Mind2Web)는 가장 어려운 설정으로, 300개의 라이브 웹 작업을 LLM 루브릭으로 평가한다. 어떤 정책도 OM2W 데이터로 훈련되지 않았고, WAI/VWA에서 만든 질문 은행을 필터링·재작성·확장한 후 OM2W 롤아웃 샘플로 재보정했다. 최종 은행은 132개 질문 중 100개가 인증되었고, 평균 lift는 0.34였다. 오픈 백본 Gemma-4에 전이된 은행과 K=2 CTS를 적용하자 성공률이 40.0%에서 45.0%로 올라 GPT-5.5 저노력 기준(43.7%)을 넘어섰다. 더 강한 GPT-5.5 고노력 백본에서는 K=4에서 49.7%에서 61.0%로 +11.3%p 상승했다. 이 수치는 WebJudge와 o4-mini, 임계값 4를 사용한 정규 평가 기준이며, 별도 판정자 점수와 구분해야 한다. 더 많은 후보와 검증 호출을 사용해 얻은 선택 성능 개선으로, 정책 가중치 자체가 좋아졌다는 결과는 아니다.

구체적인 예시

논문의 부록에는 인증된 질문들의 실제 예가 나와 있다. 가장 강한 신호 중 하나는 '과제 관련 내용이 있는 페이지에 도달했는가'라는 질문으로, 신뢰 가중치 +0.54, 관측 수 82를 기록했다. 이 질문은 앱 홈페이지나 내비게이션 메뉴에 머무는 롤아웃과 실제 내용 페이지에 도달한 롤아웃을 구분한다. 또 다른 질문은 '파괴적이지 않은 건설적 행동을 했는가'로, 삭제·취소·철회 같은 파괴적인 지름길 행동를 사용하지 않으면서 과제 목표를 향한 건설적 행동을 최소 하나 했는지 묻는다. 정보 검색 과제에서는 '최종 답변을 실제로 요청된 정보가 있는 페이지에서 추출했는가'를 묻는 질문이 +0.27의 가중치로 인증되었다.

CTS가 실제로 어떻게 작동하는지 보여주는 사례 연구도 있다. WAI Gmail 작업에서 탐욕적 궤적은 87단계를 거쳐 실패했지만, 다양한 재시도 궤적은 25단계 만에 프로필 이름 변경, 라벨 생성, 연락처 적용을 모두 완료했다. CTS는 탐욕적 점수 -0.5, 다양한 점수 +0.5를 비교하여 교체를 결정했고, 결과적으로 성공했다. 반대로, 탐욕적 궤적이 이미 성공한 경우 CTS는 더 나쁜 재시도로 교체하지 않고 유지하는 사례도 제시했다. 이는 관찰된 사례이며 모든 새 작업에서의 무회귀 보장은 아니다. 라이브 웹 OM2W의 Indeed 작업에서는 빈 결과 페이지와 추가 인증 페이지를 만난 후 에이전트가 홈으로 돌아가 네이티브 검색 폼을 사용하여 성공했는데, 이 사례는 실제 웹 실패에서 회복하는 궤적을 보여준다. 질문 은행에는 봇 차단·환각 추출 등의 검사도 들어 있지만, 이 사례만으로 특정 질문이 성공을 일으켰다는 인과관계를 확정할 수는 없다.

한계와 오해하기 쉬운 점

CLIFT의 실패는 의도적으로 가시화된다. WAI와 VWA에서는 많은 URL 상태가 충분한 관측을 축적하여 부호 있는 신뢰 가중치를 받지만, OM2W에서는 노이즈가 많은 라이브 웹 판정자 때문에 더 많은 질문이 인증되지 않은 채 남는다. 이 거부는 조용한 붕괴가 아니라 진단 신호다. 현재 판정자, 상태 분할, 또는 질문 은행이 신뢰할 수 있는 증류를 지원하지 않는다는 뜻이며, 노이즈 있는 검증기 증거가 훈련 보상과 CTS 선택기에 들어가는 것을 막는다.

이 연구의 범위는 제한적이다. 하나의 오픈 가중치 백본(Gemma-4-31B)만 훈련했고, 훈련과 은행 구축에 프론티어 판정자(Claude Opus 4.6)에 의존한다. 만약 그 판정자가 체계적으로 편향되어 있다면, 보정은 관측된 데이터를 통해서만 불일치를 감지할 수 있다. 전이 결과는 은행이 더 강한 폐쇄형 에이전트를 도울 수 있음을 보여주지만, 하나의 은행이 모든 웹 도메인에 보편적이라는 뜻은 아니다. 또한, 더 강한 오픈 웹 에이전트는 오용 위험을 수반하므로 배포 시 속도 제한과 도메인별 안전장치를 유지해야 한다. 숫자를 해석할 때 주의할 점은, CTS가 적용된 모든 행은 작업당 하나의 선택된 궤적만 출력한다는 것이다. 즉, 여러 샘플 중 최고를 고르는 오라클 합집합이 아니라 실제로 배포 가능한 단일 출력의 성공률이다.

실제로 어떻게 활용할까

CLIFT의 실용적 가치는 비싼 판정자 피드백을 한 번 소비하고 버리는 것이 아니라, 검사·재보정·재사용 가능한 인공물로 바꾼다는 데 있다. 각 인증 질문은 URL 범위, 극성 부호, 관측된 lift에서 파생된 신뢰 가중치를 가지며, 이를 도입한 판정자 근거까지 추적할 수 있다. 이 은행은 에이전트와 함께 배포할 만큼 작고, 결과가 이상해 보일 때 감사할 수 있으며, 새로운 분포에서 질문의 lift가 무너지면 인증자가 신뢰를 보류하여 노이즈를 증폭시키지 않는다.

실무적으로는, 훈련 중에는 판정자 호출을 그룹당 한 번으로 줄이면서도 단계별 밀도 있는 보상을 얻을 수 있고, 테스트 시에는 별도의 훈련용 판정자 호출 없이 여러 롤아웃 중 더 나은 것을 선택할 수 있다. 특히 폐쇄형 모델을 미세 조정할 수 없는 환경에서도, 오픈 모델로 훈련된 검증 은행만 있으면 CTS를 적용할 수 있다. 이때 폐쇄형 모델을 실행하는 API 호출, 추가 롤아웃, 자기 검증 호출은 여전히 필요하다. 논문은 자연스러운 다음 단계로, 자연어 질문을 코딩 에이전트가 작성한 실행 가능한 브라우저 상태 단언(assertion)으로 대체하는 것을 제안한다.