로봇 모델은 그대로 두고 제어 코드를 개선하는 RoboArchitect

배경과 문제

로봇 정책은 보통 시각 입력과 언어 지시를 받아 로봇의 저수준 동작을 직접 출력하는 VLA 모델이다. 그런데 최근 연구들은 이 정책을 그대로 두고, 그 주변에 '하네스'라는 코드를 두르면 성능이 크게 좋아진다는 것을 보여주었다. 하네스는 정책을 언제 호출할지, 어떤 시각 도구를 쓸지, 아니면 로봇 팔을 직접 움직일지를 결정하는 중간 계층이다. 예를 들어 VoLo나 Harness VLA 같은 시스템은 사람이 손으로 쓴 하네스로 큰 이득을 얻었다. 하지만 이런 하네스는 로봇이나 벤치마크가 바뀔 때마다 엔지니어가 다시 설계해야 한다. 이 과정은 '실행 → 실패 관찰 → 원인 진단 → 코드 수정 → 재시험'의 시행착오 루프인데, 사람이 하기에는 느리고 긴 롤아웃 기록을 일일이 보기도 어렵다.

이 논문이 묻는 질문은 이 전체 엔지니어링 루프를 자동화할 수 있느냐이다. 즉, 코딩 모델이 실패 궤적을 진단하고 하네스 설계를 수정하는 일을 반복하게 할 수 있는가이다. 이 문제가 어려운 이유는 하네스가 단순히 정책을 감싸는 것이 아니라, 정책과 코드 사이의 분업을 스스로 결정해야 하기 때문이다. 어떤 상황에서는 정책이 잘하지만, 어떤 상황에서는 코드가 직접 팔을 움직이는 것이 낫다. 또한 하네스가 특정 롤아웃에 과적합하지 않고 새로운 장면이나 작업에 일반화해야 한다. 이 논문은 이 문제를 '하네스 최적화'라는 틀로 접근한다.

기존 접근의 한계

기존에 로봇 정책을 새로운 작업이나 하드웨어에 적응시키는 주된 방법은 파인튜닝이다. 파인튜닝은 새로운 시연 데이터를 모으고 모델 가중치를 업데이트하는 과정을 필요로 한다. 하지만 이렇게 파인튜닝된 기술은 처음 학습 분포 밖에서는 잘 일반화되지 않는 경우가 많다. 예를 들어 LIBERO-Pro 벤치마크는 물체 위치를 바꿔서, 원래 LIBERO 데이터에 과적합된 정책이 외운 위치로 팔을 뻗는 문제를 드러낸다. 이 논문의 실험에서도 RLinf-π0.5 정책이 '모카 포트'를 원래 위치에서 찾으려다 실패하는 모습이 나온다.

또 다른 접근은 정책을 얼린 채 추론 시간에 메커니즘을 추가하는 것이다. 예를 들어 성공한 행동 세그먼트를 검색해 정책에 조건을 주거나, 학습된 가치 함수로 정책의 후보 행동 중 하나를 선택하는 방법이 있다. 하지만 이런 방법들은 미리 정해진 구조를 사용한다. 코드-애즈-폴리시(code-as-policy) 방법은 정책을 아예 우회하고 실행 가능한 프로그램으로 로봇을 제어하지만, 그 성공은 사람이 손으로 쓴 프리미티브에 크게 의존한다. 최근의 계층적 VLA 에이전트들은 플래너, 컨트롤러, 전환 로직을 함께 설계해야 성능이 최대화된다는 것을 보여주었지만, 이 아키텍처들도 사람이 미리 지정한 것이다. RoboArchitect는 이와 달리 하네스 설계 자체를 자동화한다.

연구방법을 단계별로

처음의 하네스는 고정된 정책의 행동을 그대로 통과시킨다. 이를 최적화용 에피소드에서 실행하면 카메라 프레임, 로봇과 그리퍼 상태, 모델·도구 출력이 기록된다. 코딩 모델은 실패 패턴을 진단하고 코드를 고친다. 수정안은 같은 최적화 세트에서 더 높은 점수를 얻을 때만 채택하며 최대 다섯 차례 반복한다. 이 채택 규칙이 보장하는 것은 관측한 최적화 점수의 개선이고, 새로운 장면에서도 반드시 좋아진다는 뜻은 아니다. 원문은 Claude Code의 최대 노력 설정에서 claude-opus-5를 사용했다.

하네스는 언어·시각언어 모델, 객체 탐지·분할·포인팅·그립 자세 생성 도구를 호출할 수 있다. 깊이와 픽셀을 로봇 좌표로 옮기는 기하 유틸리티와 이동 프리미티브도 제공된다. 정책을 따를지 직접 팔을 움직일지는 실행 기록을 보며 설계한다. 또한 에피소드 사이에서 정보를 보관하는 메모리를 사용할 수 있지만 저장 항목과 검색 규칙은 미리 고정하지 않는다. 가중치를 업데이트하지 않는다는 것은 추가 모델·도구·최적화 비용이 없다는 뜻은 아니다.

새로운 장면 평가는 최적화와 같은 작업을 다른 초기 배치에서 수행하고, 새로운 작업 평가는 공통 조작 기술을 요구하는 별도의 목표를 사용한다. 이때의 훈련은 하네스 선택에 쓰는 에피소드를 뜻하며 VLA 가중치 학습과 다르다. 통합 하네스는 여러 벤치마크와 로봇을 함께 다룬다. 평가 시작 시 메모리는 비우지만 이후 평가 에피소드 사이에는 축적된다. 따라서 모든 평가를 기억이 없는 독립 시행으로 초기화하는 프로토콜은 아니다.

결과와 숫자의 의미

표 1의 벤치마크·정책 조합 평균은 새로운 장면 9.7→43.3, 새로운 작업 12.7→40.2다. 논문이 제시한 +345%와 +216%는 상대 증가율이며 퍼센트포인트 차이가 아니다. 평균은 설정별 점수를 합친 것이고 모든 로봇 시행을 한데 모아 계산한 성공률이 아니다. 특히 VLABench는 올바른 물체를 잡거나 목표 일부를 달성하면 부분 점수를 주는 진행 점수다. 따라서 평균 43.3을 모든 작업의 43.3%가 완전히 성공했다는 뜻으로 읽으면 안 된다.

VLABench에서 일반 X-VLA의 진행 점수는 새 장면 7.3, 새 작업 1.2에서 하네스 적용 후 52.6, 72.5로 올랐다. 같은 정책의 파인튜닝 참고 모델은 35.2, 32.1이었다. SimplerEnv WidowX에서는 성공률이 새 장면 87.5%로 파인튜닝 모델의 70.8%보다 높았지만, 새 작업에서는 66.7%로 파인튜닝의 87.5%보다 낮았다. 비교군은 같은 단계 제한을 사용했으며 SimplerEnv는 제한까지 실행한 최종 상태를 채점했다. 하네스가 항상 파인튜닝을 대체한다는 결론은 아니다.

반복 수정은 대부분의 설정에서 첫 시도보다 좋았지만 예외도 있다. RoboCasa-365의 RLDX-1은 새 장면에서 기본 정책 27.9%, 첫 하네스 29.3%, 반복 후 27.8%였다. 최적화용 세트에서 개선한 코드가 보류 장면에서는 나빠질 수 있다는 예다. 표 2의 여러 벤치마크를 함께 다루는 통합 하네스에서는 일반 X-VLA의 보류 평균이 1.9에서 28.8로 올랐으나, 이미 파인튜닝한 전문 모델은 45.9에서 47.0으로 작은 개선만 보였다. 효과의 크기는 출발 정책의 약점에 따라 다르다.

구체적인 예시

진화된 하네스는 구체적인 실패 패턴을 해결하는 제어 루틴을 만든다. 예를 들어 LIBERO-Pro-10에서 MolmoAct-2 정책은 주스 팩에 계속 부딪혀 넘어뜨리는 실패를 보였다. 진화된 하네스는 명령된 움직임과 실제 그리퍼 움직임 사이의 불일치를 감지하고, 팔을 들어 올려 걸림을 해제한 뒤 다시 정책을 호출한다. VLABench에서는 책을 선반에서 꺼내는 작업에서 초기 하네스가 위에서 접근해 선반 판에 부딪혔다. 진화된 하네스는 깊이 맵으로 머리 위 장애물을 감지하고, 측면에서 접근하는 수평 벡터를 계산한다. RoboCasa-365에서는 토스터 오븐 문을 닫는 작업에서 정책이 너무 약하게 밀어 문이 닫히지 않았다. 하네스는 행동의 크기를 방향은 유지한 채 키워서 문을 걸쇠에 걸리게 한다.

메모리는 실행 중 얻은 물체·로봇 정보를 다음 에피소드에 활용한다. Figure 4에서는 당근 높이의 18% 위치에서 그리퍼를 닫으면 들지 못하지만, 45% 위치에서는 들어 올리는 사례를 보여준다. 다른 하네스는 물체별로 안쪽에서 벌리기와 집기 중 성공한 그립 방식을 기록하거나, 누르기 작업에서는 빈 그리퍼를 실패로 판단하지 않도록 규칙을 만든다. 통합 하네스는 로봇마다 다른 손가락 방향도 보정한다. 이는 논문이 제시한 사례이며 메모리만 제거한 대조 실험으로 각 사례의 기여도를 분리한 결과는 아니다.

한계와 오해하기 쉬운 점

이 연구의 모든 평가는 시뮬레이션에서 이루어졌다. 실제 로봇으로의 전이는 아직 검증되지 않았다. 논문은 하네스가 카메라 이미지, 깊이, 로봇 자체 판독값과 같은 표준 입력만 읽기 때문에 인터페이스는 실제 로봇으로 이전될 수 있을 것이라고 주장하지만, 이는 가설일 뿐이다. 또한 최적화 반복 횟수가 최대 5번으로 고정되어 있어, 더 많은 반복이 추가 이득을 줄지, 아니면 포화될지는 탐구되지 않았다. 더 복잡한 접촉 역학을 가진 작업, 예를 들어 손 안에서의 조작이나 도구 사용은 이 연구의 범위를 벗어난다.

기억은 코딩 모델의 대화 맥락이 아니라 실행되는 로봇 하네스 안의 자료 구조다. 표 3에서 메모리 읽기 중 90% 이상이 실행 가능했다고 한 것은 저장된 항목을 찾았다는 뜻이다. 해당 로봇 행동이 성공했거나 기억만으로 성능이 좋아졌다는 뜻은 아니다. 보조 인식 도구·제어 코드·메모리가 함께 바뀌므로 전체 점수 향상을 어느 한 요소의 독립 효과로 돌릴 수 없다.

일부 하네스는 VLA 정책을 완전히 우회한다. 일반 X-VLA가 SimplerEnv WidowX에서 계속 열린 그리퍼를 명령하자 하네스는 자체 인식과 직접 제어를 사용하는 프로그램으로 바뀌었다. 따라서 고정된 정책 자체가 새로운 기술을 배웠다고 설명하면 부정확하다. 원문 표와 실험 조건을 대조한 해설이며, 이 작업에서 로봇 코드를 실행해 저자 결과를 독립 재현하지는 않았다.

실제로 어떻게 활용할까

새 로봇 설정을 검토할 때 이 방법은 실패 기록에서 제어 코드의 수정 후보를 얻는 도구로 볼 수 있다. 저자는 다섯 번의 개선에 코딩 모델 시간 6시간 미만, 평균 비용 150달러 미만을 보고했다. 이는 코딩 모델 시간과 보고된 비용이며 모든 시뮬레이터·보조 모델·배포 비용까지 없다는 의미는 아니다. 새 시연 데이터 수집이나 가중치 업데이트 없이도 적응을 시도했지만, 최적화용 환경과 평가 에피소드, 실행 기록은 여전히 필요하다.

코드 형태의 수정안은 사람이 원인과 동작을 확인하기 좋다. 팔이 걸리면 들어 올리거나 선반을 피해 측면으로 접근하는 규칙을 읽고, 다른 장면에서 실패하지 않는지 시험할 수 있다. 다만 코드를 읽을 수 있다는 것만으로 안전성과 신뢰성이 보장되지는 않는다. 현재 근거에 맞는 활용은 시뮬레이션에서 프로토타입을 만들고 별도 장면·작업으로 비교하는 것이며, 실제 로봇으로 옮기기 전의 검증은 남아 있다.