Agent S4: 에이전트가 쓰는 도구와 사용법도 경험으로 개선하기

배경과 문제

컴퓨터 사용 에이전트는 디지털 환경을 관찰하고 조작하여 사용자가 지시한 작업을 수행하는 AI 시스템이다. 예를 들어 스프레드시트를 갱신하거나 이메일에서 영수증을 모아 비용 보고서를 작성하는 일을 들 수 있다. 에이전트가 무엇을 볼 수 있고 어떤 명령을 내릴 수 있는지는 '인터페이스'가 결정한다. 기존 컴퓨터 사용 프레임워크는 주로 GUI(그래픽 사용자 인터페이스) 상호작용에 초점을 맞추고, 여기에 몇 가지 전용 도구를 덧붙인 형태다. 이러한 인터페이스는 사람이 에이전트의 필요를 미리 판단하여 설계하며, 작업 실행 전에 고정된다.

문제는 사람이 미리 정한 도구가 작업에 잘 맞지 않을 수 있다는 것이다. 셸 명령 하나를 실행하려고 터미널 창을 열고 문자를 입력한 뒤 화면을 읽는 것보다, 직접 명령과 결과를 주고받는 인터페이스가 적합할 수 있다. 새로운 업무에서 드러나는 이런 비효율을 사람이 매번 고치는 대신, Agent S4는 에이전트의 실행 경험으로부터 재사용 가능한 도구와 설명서를 개선한다.

기존 접근의 한계

기존 연구에는 스크린샷과 클릭을 쓰는 GUI 방식, 응용 프로그램 API나 코드 실행을 함께 쓰는 방식이 있다. 기술·메모리·도구 구축 연구도 이미 경험을 재사용하는 방향을 보여 주었다. Reflexion은 텍스트 피드백을, Agent Workflow Memory는 절차를 저장하고, SkillWeaver는 웹에서 재사용할 API를 만든다. 이들이 모두 새 관찰이나 행동을 추가하지 못한다고 일반화해서는 안 된다.

Agent S4가 강조하는 단위는 개별 답변이나 한 번의 작업 코드가 아니라, 실행 가능한 인터페이스와 사용 지식을 묶은 저장소 전체다. 자동화된 에이전트 설계·진화 탐색의 아이디어를 이 저장소에 적용한다. 합성 작업 기록을 읽어 코드를 만드는 역할과 별도 검증 점수로 후보를 고르는 역할을 분리하지만, 검증 점수가 진화에 전혀 영향을 주지 않는 것은 아니다.

연구방법을 단계별로

저장소 R은 실행 가능한 인터페이스 I(R)와 지원 지식 K(R)로 구성된다. 지원 지식에는 능력 설명, 재사용 가능한 절차, 설정과 사용 시점이 들어간다. 작업 에이전트는 기존 기본 인터페이스에 저장소의 도구를 더해 사용한다. 이 연구에서는 작업 에이전트와 메타 에이전트 모두 Qwen3.8-27B를 쓰며, 수정한 Prime Agent와 영구 IPython 환경 안에서 저장소만 바꾼다. 기존 실행 환경이 허용하지 않은 접근 권한까지 새로 얻는 방식은 아니다.

처음에는 시드 저장소로 시작한다. 합성 훈련 과제를 실행해 행동·관찰 기록을 만들고, 공식 검증 과제에서 후보 점수를 얻는다. 이후 돌연변이는 한 부모를 수정하고 교차는 두 부모를 결합한다. 부모는 후보 두 개를 뽑아 검증 점수가 높은 것을 선택하는 토너먼트 방식으로 고른다. 한 진화 실행에서 후손 저장소 30개를 만들며, 후보들을 유지해 서로 다른 설계를 다시 결합할 수 있게 한다.

메타 에이전트는 고정된 모델과 하네스를 사용하여 후손을 구축한다. 메타 에이전트의 컴퓨터에는 선택된 부모 저장소, 훈련 궤적, 계보 노트북이 파일 시스템에 있다. 메타 에이전트는 기록된 행동과 관찰을 연구하여 명백한 실패와 비효율을 진단하고 유용한 변경에 대한 가설을 세운다. 예를 들어 반복적인 셀 단위 편집은 대량 스프레드시트 인터페이스를 동기부여할 수 있고, 기존 인터페이스의 부적절한 사용은 수정된 사용 지식을 동기부여할 수 있다. 메타 에이전트는 파일, 셸, 코드 인터페이스를 통해 이러한 가설을 구현한다.

후손 저장소가 구축되면 이를 동결하고 고정된 작업 에이전트가 합성 훈련 과제와 분리된 검증 과제에서 실행된다. 훈련 궤적에는 정답 성공 라벨이 없으며, 검증 점수는 후보 저장소의 선택 점수로 사용된다. 중요한 비대칭 평가 원칙에 따라 메타 에이전트에게는 훈련 궤적만 노출되고 검증 과제, 궤적, 진단, 점수는 숨겨진다. 따라서 검증은 부모 선택을 통해 구축에 영향을 주지만 저장소 편집에 직접적인 피드백을 제공하지는 않는다. 후손은 점수와 무관하게 부모와 함께 개체군에 추가되어 대안 설계가 유지되고 재조합될 수 있다.

결과와 숫자의 의미

주요 벤치마크는 OSWorld V2와 ScienceBoard이다. OSWorld V2는 108개의 장기 작업으로 구성되며 일상적·전문적 활동을 다룬다. ScienceBoard는 169개의 과학 소프트웨어 작업으로 천문학, 분자 시각화, 지리 분석, 대수학, 정리 증명, 조판 등 6개 응용 분야를 포함한다. 저장소 진화에는 OSWorld V2용 합성 훈련 과제 30개와 ScienceBoard용 48개, 그리고 각각 15개의 공식 검증 과제가 사용된다. 전체 벤치마크 결과에는 이 검증 과제들이 포함된다.

OSWorld V2에서 VM 없이 진화한 저장소의 완수율은 21.30%, 부분 점수는 46.90%였다. 같은 Prime Agent 환경에서는 저장소 없음 15.74%, 초기 저장소 19.44%, 진화 후 21.30%였다. 이 비교가 저장소 개선의 기여를 읽는 데 적합하다. Qwen CUA의 5.56%와 비교한 큰 격차에는 실행 환경 차이도 포함된다. 메타 에이전트가 앱을 시험할 스크래치 VM을 제공한 별도 진화는 완수율 19.44%, 부분 점수 51.06%로, 두 지표의 우열도 같지 않았다.

ScienceBoard는 OSWorld 저장소를 그대로 옮긴 결과가 아니라 새로 진화시킨 결과다. 초기 성공률 55.03%에서 58.58%로, 169개 중 완수한 과제가 93개에서 99개로 늘었다. Qwen CUA의 41.4%는 다른 실행 환경의 기준이다. 저장소 함수 수는 15개에서 64개로 늘었으며 ChimeraX 명령, GRASS GIS 모듈, 여러 식을 한 번에 평가하는 KAlgebra 계산기 등이 추가됐다. KAlgebra 성공률은 48%에서 68%로 올랐다.

구체적인 예시

Figure 5의 비용 보고서 과제에서 고정 인터페이스 에이전트는 영수증 이메일을 하나씩 열고 다운로드 경고와 카드 내역 스크롤을 반복했다. 진화된 저장소를 쓰는 에이전트는 browser.api로 사서함과 첨부 URL을 구조화해 읽고, PDF 세 개를 내려받아 텍스트로 확인한 뒤 은행 대시보드와 대조했다. 이 그림은 한 과제의 정보 수집 부분을 보여 주며, 모든 작업의 시간 단축을 증명하는 것은 아니다.

도구가 노출하는 대상도 화면의 픽셀에서 응용 프로그램의 의미 있는 객체로 바뀔 수 있다. 예를 들어 스프레드시트의 셀 범위, 오디오 프로젝트의 트랙, 분자 시각화 프로그램의 분자를 직접 다루는 것이다. Table 6에서 각 방식이 완수한 과제의 평균 호출 수는 초기 111.6회, 진화 후 103.7회였다. 그러나 성공한 과제 집합이 서로 달라 같은 과제를 더 빠르게 해결했다는 비교는 아니다. 전체 108개 평균은 163.2회와 162.1회로 거의 같았다.

한계와 오해하기 쉬운 점

과제당 1.10달러는 Parasail 단가와 입력 캐시 적중률 80%를 가정한 작업 수행 모델 호출 비용이며, 저장소 진화와 실행 인프라 비용은 제외한다. GPT-5.5의 13.00%·25.50달러, Claude Opus 4.8의 20.60%·72.40달러는 기존 OSWorld V2 논문에서 가져온 값으로 이번에 같은 조건으로 재실행한 결과가 아니다. 가격 비율만으로 전체 시스템의 비용 우위를 확정할 수 없다.

메타 에이전트가 검증 문제와 점수를 직접 읽지 않아도, 바깥의 선택 과정은 그 점수를 사용한다. 최종 OSWorld 108개와 ScienceBoard 169개에는 후보 선택에 사용한 검증 과제 15개씩이 포함되므로 완전히 독립된 시험 세트는 아니다. 논문은 점 추정치를 보고하며, 작은 성공률 차이에 대한 통계적 확실성을 제시하지 않는다. 특정 모델·작업군의 결과를 모든 컴퓨터 업무에 일반화하지 않아야 한다.

실제로 어떻게 활용할까

Agent S4의 접근 방식은 모델 가중치나 실행 환경을 바꾸지 않고도 컴퓨터 사용 에이전트의 성능을 개선할 수 있는 보완적 경로를 제시한다. 실제 응용에서는 특정 도메인의 작업 경험을 수집하여 해당 도메인에 특화된 인터페이스 저장소를 진화시킬 수 있다. 예를 들어 회계 팀이 반복적으로 수행하는 스프레드시트 갱신, 이메일 처리, 보고서 생성 작업이 있다면, 이러한 작업들의 합성 훈련 과제를 만들고 에이전트의 실행 궤적을 관찰하여 공통적으로 필요한 인터페이스를 자동으로 구축할 수 있다. 이 회계 팀 사례는 적용 방향을 설명하기 위한 예시이며, 논문에서 실제 회계 조직에 배포해 검증한 결과는 아니다.

저장소에는 코드와 사용 설명이 함께 남기 때문에 호환되는 환경에서 재사용할 여지가 있다. 다만 다른 에이전트나 앱으로 옮길 때는 도구 계약과 권한을 맞추고 실제 과제를 평가해야 한다. 학습용 작업 경험에서 자주 반복되는 불편을 찾고, 초기 저장소와 개선 저장소를 동일 조건에서 비교하며, 후보 선택에 쓰지 않은 별도 시험 과제를 두는 방식이 연구에서 얻을 수 있는 실용적 평가 방향이다.