VeriFine: 로봇을 개선하려면 채점하는 AI도 함께 개선해야 한다

배경과 문제

자기 개선(self-improvement) 시스템에서 검증은 정책 학습에 피드백을 주고 가치 있는 학습 예시를 고르는 역할을 한다. 정책이 발전해 새로운 종류의 오류를 내기 시작하면 고정된 검증자의 피드백이 부정확해질 수 있다. 설명을 위한 가상 예로, 단순한 차선 유지 실수만 잡던 채점표로 복잡한 공사 구역의 판단까지 평가하기는 어렵다. 저자들은 이런 검증 능력의 한계와 보상 해킹(reward hacking), 분포 이동(distribution shift)을 문제로 삼는다.

물리적 행동 추론은 일반 언어 과제보다 검증이 훨씬 어렵다. 자율주행이나 로봇 내비게이션 에이전트는 공간적 근거(spatial grounding), 시간적 이해, 인과 추론, 안전을 고려한 의사결정을 동시에 수행해야 한다. 예를 들어 '왼쪽 차선으로 변경해 버스를 추월하라'는 지시에서 에이전트는 현재 도로 구조, 주변 차량 속도, 사각지대 위험을 모두 고려한 추론을 생성해야 한다. 기존 평가 방식은 사람이 작성한 참조 추론과 비교하는 방식이 많았는데, 이는 확장하기 어렵고 주석 노이즈에 민감하다. 참조 없이 물리적 맥락에서 직접 추론을 평가하는 검증자가 필요하지만, 자유 형식 추론을 직접 검증하는 연구는 아직 부족했다.

기존 접근의 한계

기존 자기 개선 연구는 대부분 정책과 검증자를 별개로 다루거나, 검증자를 고정한 채 정책만 반복 학습했다. 예를 들어 LingoJudge는 사람의 추론과 비교만 하고 시각 정보를 사용하지 않아 물리적 맥락을 반영하지 못한다. 자율주행용 판사 모델들은 주로 궤적 품질만 평가하고, 로봇 분야 판사들은 비디오에서 작업 진행률이나 완료 여부만 측정한다. 즉, 고수준의 자유 형식 추론 자체를 직접 검증하는 방법은 거의 없었다.

정적 검증자의 문제는 두 가지로 나타난다. 첫째, 정책이 검증자보다 나아지면 검증자가 잘못된 피드백을 주어 정책 성능이 오히려 떨어질 수 있다. 둘째, 정적 학습 데이터도 점점 정보량이 줄어든다. 이미 해결된 시나리오가 학습 분포를 지배하면 새로운 학습 신호가 거의 남지 않는다. 이 때문에 검증자, 학습 커리큘럼, 정책이 함께 진화해야 한다는 필요성이 제기된다. 하지만 기존 연구는 적응형 데이터 선택, 정책 최적화, 검증자 진화, 선택적 인간 교정을 하나의 폐루프로 연결하지 못했다.

연구방법을 단계별로

VeriFine은 정책 개선 루프(Policy Improvement Loop)와 검증자 개선 루프(Judge Improvement Loop)라는 두 개의 결합된 루프로 구성된다. 정책 개선 루프는 참조 없는 루브릭 검증자가 정책 출력을 평가해 반복되는 실패 패턴을 진단하고, 이를 바탕으로 대규모 후보 데이터 풀에서 고가치 학습 예시를 선택한다. 선택된 커리큘럼으로 정책을 강화 학습(자율주행)하거나 지도 학습(로봇 내비게이션)으로 업데이트한다. 이 과정은 사람 개입 없이 자율적으로 진행된다.

정책 개선이 정체되거나 검증자 보상과 고정 평가자의 성능 사이에 괴리가 나타나면 검증자 개선 루프가 필요한지 점검한다. 정보량이 높은 불확실·불일치 사례를 고르고, 사람이 물리적 맥락과 후보 출력을 검토해 초기 점수를 교정한다. 이후 에이전트가 루브릭 수정안을 제안하고 남은 의견 차이를 다시 사람과 검토한다. 이것이 공동 교정(coactive calibration)이다. 사람의 기존 점수도 수정할 수 있으며, 평가 기준을 더 일관되게 만드는 절차이지 객관적 진실에 반드시 도달한다는 보장은 아니다.

검증자는 교사-학생 구조다. 교사는 Claude Opus 5에 명시적 루브릭을 결합한 모델이며, 평가 능력을 Qwen3-VL 2B 기반 학생에게 증류(distill)한다. 학생은 물리적 맥락과 후보 출력에서 세부 채점 점수를 한 번에 예측한다. 부록 Table 3에서는 H100의 학생이 표본당 0.07초, 원격 API 교사가 20.92초로 약 300배 차이를 보였다. 이는 배치 크기 1, 200개 표본 평균의 서로 다른 실행 방식 비교이므로 모든 환경에서의 고정 속도 배수로 읽으면 안 된다.

루브릭은 행동(Action)과 구성요소(Component) 두 그룹으로 나뉜다. 자율주행의 경우 행동은 지시 일관성과 안전성을, 구성요소는 시각적 근거, 행동 관련 장면 요소의 포괄성, 제안된 행동과의 인과 관계를 평가한다. 로봇 내비게이션은 행동 안전성과 목표 일관성을 평가하고, 안전하지 않은 움직임은 전체 점수를 0으로 만드는 하드 게이트를 적용한다. 이러한 구조화된 점수는 실패 진단과 공동 교정을 가능하게 한다.

결과와 숫자의 의미

자율주행 추론 과제에서 3라운드의 자기 개선을 수행한 결과, 고정 참조 기반 평가자(VeriFine-Judge-RB) 기준 정책 추론 점수가 60.56에서 71.61로 상승했다. 이는 11.05점 상승이자 기준 정책 대비 18.2%의 상대적 개선이다. 참조 없는 최종 검증자 기준으로는 68.05에서 83.13으로 22.2% 상승했다. 두 평가 방식의 차이는 참조 없는 검증자가 기록된 행동과 다르더라도 안전하고 근거 있는 대안을 인정하기 때문에 더 관대한 평가를 내리기 때문이다.

검증자 자체의 품질도 개선되었다. 교사 검증자와 사람 판단의 피어슨 상관계수는 0.55에서 0.85로 높아졌고, 평균 절대 오차(MAE)는 0.25에서 0.13으로 줄었다. 최종 학생은 상관계수 0.82, MAE 0.17로 참조 기반 검증자(0.82/0.16)와 비슷하고 LingoJudge(0.65/0.23)보다 좋은 값을 보였다. 상관계수는 두 점수가 선형적으로 함께 변하는 정도이며, 정답률이나 순위 상관계수가 아니다. MAE는 0~1로 정규화한 점수의 오차다.

정책 개선 루프의 기여를 보기 위해 같은 보상 검증자·초기 정책·학습 예산 아래 무작위 선택과 검증자 유도 선택을 비교했다. 부록 Table 2에서 참조 기반 점수의 상대적 이득은 1·2·3라운드에 각각 14.6%, 8.1%, 4.5%였다. 이는 각 조건에서 커리큘럼 선택의 이점이 남는다는 결과다. 이득이 줄어든 원인을 이 표만으로 특정하거나, 서로 다른 라운드가 동일한 실패 분포를 평가했다고 가정할 수는 없다.

도전적 시나리오에서는 검증자 개선의 필요성이 더 뚜렷했다. 1라운드 학생은 첫 테스트 하위집합에서 상관계수 0.72였지만 이후 등장한 어려운 하위집합에서는 0.07에 그쳤다. 2라운드 교정 뒤 같은 어려운 하위집합의 상관계수는 0.74로 높아졌다. 최종 0.82는 누적 테스트 세트에서의 값이므로 0.07→0.74와 평가 대상을 구분해야 한다.

로봇 내비게이션 과제에서도 유사한 패턴이 나타났다. 정책 추론 점수는 68.09에서 77.59로 14% 상승했고, 검증자-사람 상관계수는 0.85에 근접했다. 이 과제는 강화 학습이 아닌 지도 학습 미세 조정을 사용했는데, 검증자는 보상 신호 대신 학습 커리큘럼 선택에만 기여했다. 그럼에도 정책과 검증자가 함께 개선되어 프레임워크가 최적화 방법에 구애받지 않음을 시사한다.

구체적인 예시

Figure 1의 첫 주행 사례는 채점자와 행동이 각각 바뀌는 모습을 보여준다. 기존 정책의 “앞차와 안전거리를 유지하도록 감속”이라는 출력은 기존 검증자에게 0.83을 받았지만 개선된 검증자는 0.40으로 낮췄다. 이후 개선된 정책은 “오른쪽 버스를 추월하도록 왼쪽 차선으로 변경”을 제시하고 1.00을 받는다. 이는 한 질적 사례이며 실제 주행의 안전성을 입증하는 통계는 아니다.

Figure 4의 로봇 예시는 거실의 화분 왼쪽에 놓인 장식용 책 네 권을 찾는 지시다. 그림은 흰 캐비닛 쪽으로 직진하는 기존 판단과 캐비닛을 지나 오른쪽으로 도는 수정된 판단 등 여러 단계의 차이를 보여준다. 논문은 이를 이동 방향, 목표 이해, 멈출 위치가 개선된 질적 예시로 제시한다. 이 몇 장면을 모든 지시 수행이 성공했다는 정량 결과로 확대해서는 안 된다.

검증자 개선의 구체적 효과는 테스트 시간 확장(test-time scaling) 실험에서도 나타난다. 별도의 정책이 401개 독립 시나리오 각각에 대해 6개의 추론-행동 후보를 생성하고, 검증자가 예산을 1개에서 6개로 늘리며 최적 후보를 선택했다. 최종 검증자는 6개 후보 예산에서 사람 평가 점수 78.6을 달성해 2라운드 검증자와 LingoJudge를 능가했고, 참조 기반 검증자와 비슷한 수준이었다. 후보 생성은 고정되어 있으므로 이득은 전적으로 선택 능력 향상에서 비롯된 것이다.

한계와 오해하기 쉬운 점

이 연구의 결과를 해석할 때 몇 가지 주의할 점이 있다. 첫째, 각 라운드의 정책은 동일한 초기 체크포인트에서 동일한 학습 예산으로 새로 학습된다. 즉, 한 정책에 연속적으로 학습을 누적한 결과가 아니라, 각 라운드의 감독 상태(검증자와 커리큘럼)만 누적되며 시스템 수준의 개선이 라운드 간에 축적된다. 따라서 '한 모델이 점점 똑똑해진다'고 단순화하면 안 된다.

둘째, 참조 없는 검증자라고 해서 완전히 사람 의존에서 벗어난 것은 아니다. 검증자 개선 루프는 사람이 교정한 루브릭과 사람이 검증한 참조 평가에 의존한다. 또한 정책 평가에 사용되는 고정 앵커 세트와 참조 추론은 모두 사람 전문가가 검증했다. 따라서 이 프레임워크는 사람 개입을 줄이지만 완전 무인 자기 개선이나 안전 보장을 의미하지는 않는다.

숫자의 의미도 구분해야 한다. 사람 점수와의 피어슨 상관계수 0.82나 0.85는 정답률을 뜻하지 않는다. 주행의 60.56→71.61은 100점 척도에서 11.05점 상승이자 18.2% 상대 상승이며, 정답률이 18.2%p 올랐다는 뜻이 아니다. 최종 참조 없는 평가에서의 22.2% 상승은 별도의 평가 기준으로 계산한 값이다.

넷째, 실험 조건이 특정 데이터와 규모에 한정된다. 주행 추론은 2,772개 별도 테스트 세트, 2,134개 고정 앵커 세트, 25개국 200만 클립 내부 데이터, 400K 후보 풀 중 25K 학습 예시, 2,700 최적화 스텝 조건에서 수행되었다. 로봇 내비게이션은 VLNVerse 데이터와 지도 학습 미세 조정으로 설정이 다르다. 다른 도메인이나 규모에서 동일한 결과가 나온다고 일반화할 수 없다.

마지막으로, 논문 자체가 밝힌 한계도 있다. 정책 평가 세트는 고정되어 있어 정책과 검증자가 진화함에 따라 점점 정보량이 줄어들 수 있다. 또한 참조 추론 자체는 여전히 사람이 검증해야 하므로, 향후에는 검증자 피드백을 이용해 참조 추론을 생성·정제하는 주석자(annotator)를 함께 진화시키는 방향이 필요하다고 제안한다.

실제로 어떻게 활용할까

활용 아이디어는 모델만 고치기 전에 평가 기준이 새 오류를 알아보는지 점검하는 것이다. 예를 들어 새로운 지역의 주행 실패를 발견했다면 전문가가 일부 사례를 검토하고, 수정한 평가 기준으로 다음 학습 자료를 고를 수 있다. 이는 연구 원리를 적용한 가상 시나리오다. 논문에서는 매 라운드 정책을 다시 학습했으므로 대규모 재학습이 필요 없어졌다고 해석할 수는 없다.

여러 후보 중 선택하는 용도로도 살펴볼 수 있다. 논문은 동일한 후보 집합에서 검증자만 바꿔 사람 평가 점수 개선을 보였다. 따라서 생성 모델 자체를 바꾸지 않고 선택 품질을 높일 가능성을 제시한다. 다만 이 실험은 401개 시나리오에서 미리 생성한 후보를 비교한 것이며, 실제 차량의 실시간 안전 성능이나 처리 지연까지 검증한 것은 아니다.

다만 실제 배포 시에는 사람 검증 비용과 지연 시간을 고려해야 한다. 공동 교정은 여전히 전문가의 시간을 필요로 하며, 교사 모델의 API 호출은 비용이 크다. 학생 검증자로 증류하면 지연 시간을 크게 줄일 수 있지만, 학생의 성능이 교사보다 낮으므로 안전-critical한 상황에서는 추가적인 안전 장치가 필요할 수 있다. 또한 이 연구의 결과는 특정 데이터셋과 모델 조합에서 얻어진 것이므로, 새로운 환경에 적용할 때는 소규모 파일럿 실험으로 검증자-사람 상관관계와 정책 개선 폭을 먼저 확인하는 것이 바람직하다.