계약 업무 11개로 살펴본 AI의 컴퓨터 사용 능력

배경과 문제

기업에서 소프트웨어 구매 같은 계약 프로세스를 설정하려면 여러 부서의 규칙을 하나의 흐름으로 만들어야 한다. 예를 들어 재무팀은 일정 금액 이상 구매를 승인해야 하고, 보안팀은 특정 요청을 검토하며, 법무팀은 비표준 조항을 확인해야 한다. 이 짧은 요구사항 목록을 실제 시스템에서는 입력 양식, 문서 템플릿, 승인 규칙, 최종 계약 기록으로 변환해야 한다. AI 에이전트가 이 일을 대신하려면 단순히 개별 단계를 올바르게 수행하는 것을 넘어, 전체 프로세스가 설계된 다양한 상황에서 올바르게 작동하도록 보장해야 한다.

이 문제가 어려운 이유는 계약 업무가 단순 반복 작업이 아니라 예외 상황을 처리하면서도 비즈니스 규칙을 유지해야 하기 때문이다. 예를 들어 구매 금액이 기준치를 넘으면 재무 승인을 거치고, 넘지 않으면 다른 경로를 따라야 한다. 에이전트가 작업 도중 규칙 하나를 놓치면, 소프트웨어 회사가 그 에이전트에게 어떤 업무를 맡길 수 있는지에 대한 신뢰가 크게 떨어진다. 따라서 모델이 실제 고객이 겪는 복잡한 워크플로를 이해하고, 요구사항을 끝까지 추적하며, 결과물이 원래 기준을 충족하는지 검증하는 능력이 필요하다.

기존 접근의 한계

이전 모델인 GPT-5.6 Sol은 계약 설정 과제에서 평균 점수가 41.6%에 그쳤고, 과제당 추정 소요 시간은 37.0분이었다. 이는 모델이 여러 단계로 구성된 전문 소프트웨어 작업에서 요구사항의 상당 부분을 충족하지 못하거나, 완료에 오랜 시간이 걸린다는 것을 보여준다. 글은 개별 동작을 수행하는 것뿐 아니라 여러 입력 조건에서 전체 프로세스가 작동하는지 확인하는 능력을 평가하려 한다. 공개된 평균 점수만으로 실패 원인별 비중을 알 수는 없다.

한 과제를 성공 또는 실패 하나로만 채점하면 어느 요구사항에서 문제가 났는지 놓치기 쉽다. 이번 평가는 복잡도에 따라 8~50개 기준으로 나누어 살핀다. 연구진은 연습용 호스팅 환경과 공개 계약서에 기반한 합성 훈련 과제도 만들었다. 이런 설계는 평가 결과를 다음 훈련에 연결하려는 접근이며, 기존의 모든 평가가 같은 한계를 가졌다는 뜻은 아니다.

연구방법을 단계별로

첫 단계는 Ironclad 직원과 OpenAI 내부에서 Ironclad를 사용하는 사람들의 도움을 받아, 법무·상업·조달 업무에서 11개의 대표 과제를 선정하는 것이었다. 이 과제에는 비밀유지계약(NDA) 설정, 조달 승인 프로세스 생성, 요청자가 선택한 관할권을 반영하도록 재사용 가능한 법률 조항 업데이트 등이 포함된다. 연구진은 각 과제를 완료하는 데 숙련된 사용자가 평균 30~40분 걸릴 것으로 추정했다.

다음으로 각 과제를 복잡도에 따라 8~50개의 기준으로 평가하도록 설계했다. 이 기준을 통해 모델이 어떤 부분을 맞히고 어떤 부분에서 실패하는지 세부적으로 파악할 수 있었다. Ironclad는 모델이 연습할 수 있는 자사 제품의 호스팅 소프트웨어 환경을 제공했다. 연구진은 대표적인 워크플로를 바탕으로 합성 훈련 과제를 만들고, 강화 학습을 사용해 모델이 연습과 피드백을 통해 개선되도록 했다. 합성 과제는 미국 증권거래위원회(SEC)의 EDGAR 데이터베이스에 공개된 계약서에서 개인정보를 제거하는 필터를 적용한 후 생성했으며, OpenAI 고객 데이터나 내부 계약, 비공개 Ironclad 고객 데이터는 사용하지 않았다.

OpenAI는 업무 전문가가 고른 과제, 상세한 평가 기준, 연습 환경을 결합해 실제 고객에게 중요한 업무를 훈련에 반영하려 했다고 설명한다. 실제 고객 전체에서 개선이 보장되었다는 뜻은 아니다. 평가 시에는 GPT-6 Astra는 Max 추론 설정을, GPT-5.6 Sol은 High 추론 설정을 사용했는데, 이는 각 모델이 가장 높은 점수를 받은 설정이다.

결과와 숫자의 의미

11개 연구 과제에서 GPT-6 Astra의 평균 점수는 55.0%로, GPT-5.6 Sol의 41.6%보다 13.4%포인트 높았다. 이는 상대적으로 32% 향상된 것이다. 점수는 세부 기준을 얼마나 충족했는지를 요약하며, 계약 업무의 55%를 완전히 성공했다는 뜻이 아니다. 추정 평균 소요 시간은 Astra가 19.2분으로 Sol의 37.0분보다 48% 감소했다. 이 수치는 11개 연구 과제에 한정된 것이며, Ironclad의 모든 워크플로를 대표하지 않는다. 또한 시간은 가정된 모델 처리 및 생성 속도에 기반한 시뮬레이션 추정치로, 실제 고객의 시간 절약을 측정한 것이 아니다.

개별 과제 예시를 보면, 같은 연구 과제에서 Astra는 추정 20분 만에 과제 기준의 약 94%를 충족했고, Sol은 추정 32분 만에 약 85%를 충족했다. 이는 소개 영상에 사용한 한 과제의 예이며, 전체 11개 과제의 평균과 구분해야 한다. 또한 Astra 개발 과정에서 사용된 내부 모델은 이 과제들에서 63.7%를 달성했으며, 연구진은 이러한 추가 개선을 향후 모델에 반영하는 것을 목표로 한다.

구체적인 예시

법무 운영팀이 소프트웨어 구매 프로세스를 설정하는 상황을 생각해보자. 재무팀은 일정 금액 이상 구매를 승인해야 하고, 보안팀은 특정 요청을 검토하며, 법무팀은 비표준 조항을 검토해야 한다. 설정 담당자는 이 요구사항 목록을 입력 양식, 문서 템플릿, 승인 규칙, 최종 계약 기록으로 변환해야 한다. AI 에이전트가 이 작업을 수행할 때는 소프트웨어를 이동하면서 이러한 요구사항을 계속 염두에 두어야 한다. 예를 들어 지출 기준액 이상이면 재무 승인을 거치도록 구성하고, 기준액 이상과 미만의 요청이 각각 올바른 경로를 따르는지 확인해야 한다.

또 다른 예로, 요청자가 선택한 관할권을 반영하도록 재사용 가능한 법률 조항을 업데이트하는 과제가 있다. 이는 단순히 조항을 수정하는 것이 아니라, 다양한 관할권 선택에 따라 올바른 조항이 적용되도록 시스템을 구성해야 한다. 에이전트가 한 단계만 올바르게 수행하는 것으로는 충분하지 않으며, 완성된 프로세스가 설계된 모든 상황에서 작동해야 한다는 원칙을 보여준다.

한계와 오해하기 쉬운 점

이 연구 결과는 11개의 특정 연구 과제에 대한 것이며, Ironclad의 모든 기능이나 실제 고객 환경에서의 성능을 의미하지 않는다. 추정 시간은 시뮬레이션에 기반한 것으로, 실제 사용자가 체감하는 시간 절약과 다를 수 있다. 또한 평가 점수는 연구용 기준표에 따른 것이며, 실제 비즈니스 성과와 직접 연결된다고 단정할 수 없다.

인간의 감독이 여전히 중요하다는 점도 강조된다. 에이전트가 복잡한 계약 과제에서 개선되고 있지만, 작업 도중 규칙을 놓치면 소프트웨어 회사가 자신 있게 맡길 수 있는 업무 범위가 제한된다. 원문은 이런 이유로 사람의 감독과 계약 플랫폼의 통제 기능이 중요하다고 주장한다. 이는 공동 발표 기업의 해석이며, 특정 플랫폼이 반드시 필요하다는 독립 비교 결과는 아니다.

실제로 어떻게 활용할까

이번 협력은 Ironclad가 자사 제품에 더 많은 AI 기능을 통합할 기회를 제공한다. 법무 및 비즈니스 팀에게는 AI가 복잡한 계약 작업의 더 많은 노력을 담당하면서도 팀이 의존하는 통제 수단을 보존할 수 있다는 의미다. 예를 들어, AI가 계약 초안을 자동으로 생성하거나 승인 워크플로를 구성하는 데 도움을 줄 수 있지만, 최종 승인과 예외 처리는 여전히 인간이 담당할 수 있다.

OpenAI는 이 연구 접근법을 확장하기 위해 소수의 소프트웨어 회사와 직접 협력할 파트너를 찾고 있다. 파트너는 오늘날의 에이전트가 아직 신뢰성 있게 완료하지 못하는 중요한 전문 업무의 구체적인 예를 제시해야 한다. 즉, 에이전트에게 무엇을 요청하는지, 어디에서 실패하는지에 대한 증거, 성공적인 결과를 어떻게 판단할지에 대한 기준을 제공해야 한다. 또한 해당 업무를 깊이 아는 사람들, 안전한 테스트 환경, 연구에 안전하게 사용할 수 있는 데이터를 제공할 수 있어야 한다. 이를 통해 실패 원인을 조사하고 모델이 개선되는지 측정하는 출발점을 마련할 수 있다.