FDE-Gym: 코드를 만드는 AI가 고객의 진짜 문제도 해결할 수 있을까

배경과 문제

기업에 AI를 도입할 때 고객이 처음 요청한 내용을 그대로 구현하는 것만으로는 실제 비즈니스 성과를 내기 어렵다. 논문이 제시한 시추업무 모의 시나리오에서는 부사장이 11월 이사회를 위한 생성형 AI 성공 사례를 만들기 위해 매일 요약 이메일과 '시추정 데이터에 질문하기' 채팅창을 요청한다. 부사장은 다운타임 코딩 시스템이 이미 있으니 프로젝트 범위에서 제외하라고 명시했다. 그러나 요청대로만 시스템을 만들면 기능 검사는 모두 통과해도 고객의 실제 비즈니스 지표는 전혀 개선되지 않는다. 진짜 병목은 월별 다운타임 크레딧 청구에 있었는데, 기존 키워드 기반 스크립트가 일부 다운타임을 잘못 계약자 탓으로 돌려 매달 분쟁이 생기고 그 달 크레딧이 보류되는 문제였다. 이 문제를 해결하려면 부사장이 범위에서 제외한 다운타임 코딩 시스템을 다시 들여다봐야 하고, 적용 가능한 계약 규칙을 찾아 비용 엔지니어에게 해석을 확인하고, 그 주에 부재 중인 승인자의 허가를 받아야 한다.

이것이 바로 고객 현장 엔지니어(FDE)의 역할이다. FDE는 벤더가 고객 조직 내에 파견한 엔지니어로, 스폰서가 처음 요청한 것을 만드는 데 그치지 않고 실제로 도움이 될 것을 찾아 고객 시스템과 이해관계자들과 협력해 개선을 이끌어내야 한다. 기존 AI 벤치마크는 대부분 이 '마지막 단계'를 다루지 않는다. 소프트웨어 엔지니어링 벤치마크는 이미 잘 정의된 이슈와 숨겨진 테스트를 제공하고, 배포 벤치마크는 명세를 주며, 기업 벤치마크는 사전 정의된 작업을 준다. 최근 벤치마크 중에는 고객 요구사항으로부터 고객 서비스 시스템을 구축하는 ττ-bench나 FDE 역할을 부여하는 벤치마크도 있지만, 이들은 납품의 개별 측면만 고립적으로 다룬다. FDE-Gym은 이러한 문제를 하나의 벤치마크로 통합해, 스폰서의 요청이 잘못된 문제를 겨냥할 수 있고, 핵심 제약은 이해관계자와의 상호작용을 통해 발견해야 하며, 성능은 고객 자신의 비즈니스 지표로 측정하는 환경을 제공한다.

기존 접근의 한계

기존 벤치마크들은 문제가 이미 잘 정의되어 있다고 가정한다. 예를 들어 SWE-bench는 GitHub 이슈와 숨겨진 테스트를 제공하고, Terminal-Bench는 명령줄 인터페이스에서의 작업을 평가하며, FDE-Bench는 배포 환경 구성을 다룬다. 그러나 실제 고객 업무 납품에서는 요구사항이 모호하고, 살아있는 시스템에서 작업해야 하며, 문서화되지 않은 제약을 스스로 찾아내야 한다. 일부 벤치마크는 정보를 숨기거나 사용자 요청이 오해를 불러일으키는 상황을 테스트하지만, 이들은 문제 자체는 고정되어 있고 단지 정보만 누락된 경우가 많다.

FDE-Gym은 이러한 한계를 극복하기 위해 과제 지시 수준을 4단계(L0~L3)로 나누어 정보를 점진적으로 줄인다. L0은 근본 문제, 적용 가능한 규칙과 제약, 채점 기준까지 모두 제공해 구현 능력만 측정한다. L1은 근본 문제만 명확히 제시하고 규칙과 제약은 에이전트가 찾아야 한다. L2는 문제 설명 자체가 모호하고 방향만 맞는 요청을 준다. L3는 스폰서의 원래 요청만 제공하며, 이 요청이 실제 문제를 겨냥하지 않을 수 있다. 환경과 이해관계자, 채점 기준은 모든 수준에서 동일하므로, 지시 정보의 차이가 성능에 미치는 영향을 분리해 측정할 수 있다. 실제 고객 업무 납품의 시작점과 가장 유사한 L3를 주요 평가 설정으로 사용한다.

연구방법을 단계별로

FDE-Gym의 각 과제는 하나의 모의 고객 프로젝트를 나타내며, 고객 조직, 과제를 할당하는 스폰서, 개선할 프로덕션 시스템으로 구성된다. 에이전트는 작업 공간에서 과제 지시문, 고객 프로덕션 시스템 사본, 관련 문서와 과거 데이터, 연락처가 담긴 직원 디렉토리를 받는다. 런타임 환경은 표준 Python과 SQLite만 제공하며 추가 패키지 설치나 일반 네트워크 접근은 금지된다. 에이전트는 이해관계자에게 메시지를 보내 질문할 수 있고, 이해관계자는 스크립트된 응답을 한다. 납품이 완료되면 system/ 디렉토리의 내용이 수정 없이 평가 환경의 운영 시스템에 배포되고, 프로덕션은 원래 진입점을 계속 호출하므로 새로운 기능이 효과를 내려면 이 진입점과 통합되어야 한다.

점수 체계는 고객의 비즈니스 지표 개선을 기준으로 한다. 먼저 정규화된 비즈니스 상승(U)을 계산하는데, 이는 (배포된 시스템의 KPI - 아무것도 하지 않은 기준 KPI) / (전문가 참조 솔루션의 KPI - 기준 KPI)로 정의된다. U=0은 개선 없음, U=1은 참조 솔루션과 동일한 개선, U<0은 기준보다 나쁜 결과를 의미한다. 사고가 발생하면 양의 상승은 0으로 설정되고 음의 상승은 유지된다. 이해관계자 접촉 비용(C)은 메시지, 시험 실행, 대기 시간 등에 대해 부과되며, 각 이해관계자는 숨겨진 메시지당 요금을 가진다. 최종 FDE-Gym 점수 S는 사고 조정된 상승에서 접촉 비용을 뺀 값이다. 과제는 점수가 0.8 이상이고 사고가 없을 때 '해결'된 것으로 간주한다. 평균 점수를 집계할 때는 극단적인 손실이 평균을 지배하지 않도록 상승을 -1로 하한 처리한 후 접촉 비용을 뺀다.

벤치마크 구축은 실제 납품 프로젝트에서 시작한다. 2024년 이후 중국, 싱가포르, 미국에서 수행된 실제 고객 업무 납품 프로젝트를 업계 전문가들이 18개 산업의 20개 시나리오로 각색했다. 각 시나리오는 원본 과제 하나와 여러 변형 과제를 가지며, 변형은 어떤 규칙이 구식인지, 누가 핵심 정보를 쥐고 있는지, 스폰서의 요청이 실제 문제를 겨냥하는지 등의 핵심 사실을 바꾼다. 이렇게 해서 총 95개 과제가 만들어졌다. 모델이 암기된 해법에 의존하는 것을 막기 위해 변형을 설계했고, 어떤 문제 패턴도 전체의 3분의 1 이상을 차지하지 않도록 했다. 각 과제는 네 가지 사전 정의된 채점 앵커를 충족해야 포함된다: 참조 솔루션은 0.95 이상, 아무것도 하지 않는 기준은 0, 지시문을 문자 그대로 구현한 솔루션은 0.2 이하, 지름길 전략은 0.8 이하여야 한다. 채점기는 270개 이상의 지름길 및 우회 전략에 대해 테스트되었다. 단, 스폰서의 요청이 정확하고 완전한 과제에서는 문자 그대로의 해법이 참조 해법과 같아 0.95 이상이어야 한다. 따라서 무조건 고객 요청을 의심하는 전략이 보상받도록 만든 평가는 아니다.

결과와 숫자의 의미

주요 평가인 L3 수준에서 13개 모델 설정 중 Claude Opus 5.5가 평균 0.56(95% 신뢰구간 0.50~0.62)으로 가장 높았다. Claude Sonnet 5.5가 0.49, GPT-6 Astra가 0.38, GPT-6.1 Sol이 0.37로 뒤를 이었다. 세 설정은 0.2 근처, 2개는 0에 가까웠고, 나머지 4개는 0 미만이었다. 해결된 과제 수는 Opus 5.5가 14개, Sonnet 5.5가 15개로 가장 많았고, 5개 설정은 하나도 해결하지 못했다. 각 과제에서 13개 설정 중 최고 점수를 선택해도 평균 0.70, 해결 30개에 그쳤다. 이는 단일 시스템으로 달성 가능한 성능이 아니라 사후 선택된 상한선이다.

정보 제공 수준에 따른 성능 변화를 보면, 규칙이 주어진 L0에서 상위 3개 모델은 0.73~0.82를 기록했지만, 규칙을 스스로 찾아야 하는 L1에서는 0.39~0.62로 급락했다. 같은 20개 원본 과제에서 L0→L1 평균 감소는 0.28(95% 구간 0.17~0.39)이었다. 반면 L1→L3 감소는 0.04(-0.03~0.14)에 불과했다. 이 표본의 상위 모델들에서는 요청을 더 모호하게 만드는 것보다 제약 정보를 처음 숨기는 변화의 손실이 크게 관찰됐다. L0에서도 어떤 모델도 0.82를 넘지 못했는데, 이는 사실을 모두 알아도 엔지니어링 판단이 여전히 필요함을 보여준다.

정보 획득과 시스템 구축을 분리해 보면, L3에서 상위 3개 모델은 과제당 10.0~12.3개의 질문을 하고 이해관계자가 가진 핵심 사실의 72~85%를 얻었다. 그러나 정규화된 비즈니스 상승은 0.60~0.70에 머물렀다. Claude Opus 5.5가 모든 핵심 사실을 얻은 23개 과제 중 상승이 0.8 이상인 것은 10개뿐이었다. 또한 이해관계자 접촉 비용이 최종 점수를 추가로 깎는다. Opus 5.5의 상승 0.70에서 접촉 비용 0.14를 빼면 0.56이 되고, GPT-6 Astra는 0.60에서 0.22를 빼 0.38이 된다. 에이전트는 질문에 비용이 든다는 것을 알지 못하며, 질문이 공짜인 것처럼 행동한다.

약한 모델은 아무것도 하지 않는 기준보다 나쁜 결과를 자주 낸다. Claude Haiku 4.5는 95개 과제 중 79개에서 0 미만을 기록했고, Mistral Small 4는 접촉 비용을 빼기 전에도 51개 과제에서 기준 미만이었다. 이는 잘못된 청구를 지불하거나, 잘못된 당사자에게 비용을 청구하거나, 잘못된 엔지니어를 깨우는 등의 행동이 시스템을 더 나쁘게 만들 수 있기 때문이다. 이 조건에서는 낮은 성능의 모델이 업무를 돕지 못하는 데 그치지 않고 점수를 악화시킬 수 있었다.

구체적인 예시

논문의 Figure 4는 시추 시나리오(oil_npt)의 작업 예시를 보여준다. 이 시나리오에서 고객 지표는 계약자에게 올바르게 귀속된 다운타임 시간으로, 보상 청구에 사용된다. 에이전트가 스폰서의 요청대로만 시스템을 만들면 다운타임 코딩의 오류를 고치지 못해 비즈니스 지표가 개선되지 않는다. 반면 참조 솔루션은 계약 규칙을 적용해 다운타임을 올바르게 분류하고, 평가 모형에서는 보상 청구에 유리한 개선으로 채점된다. 이 예는 문자 그대로의 요구 준수가 왜 낮은 점수를 받는지 보여준다.

물류 청구 처리도 포함된 시나리오 중 하나다. 논문은 부당한 청구를 지급하거나 잘못된 당사자에게 비용을 돌리는 행동을, 시스템이 현상 유지보다 나빠질 수 있는 이유로 설명한다. U<0은 이런 업무 지표 악화를 나타내지만, 최종 점수가 음수인 데에는 접촉 비용도 영향을 준다. 따라서 특정 모델의 음수 과제 비율을 개별 물류 오류의 발생률로 읽어서는 안 된다. 이는 모의 과제에서 관찰한 성과 범위이며 실제 기업에서 같은 비율의 사고가 발생했다는 증거도 아니다.

한계와 오해하기 쉬운 점

FDE-Gym 점수 0.56은 성공률 56%나 수익 56% 증가가 아니다. 이 점수는 아무것도 하지 않은 기준을 0, 전문가 참조 솔루션을 1로 하는 정규화된 척도에서, 사고 조정된 비즈니스 상승에서 이해관계자 접촉 비용을 뺀 값이다. 평균 집계에서는 상승을 -1로 하한 처리하므로, 극단적인 손실이 평균을 크게 낮추는 것을 방지한다. 해결 기준은 점수 0.8 이상이면서 사고가 없는 경우로, 평균 점수와 해결 개수는 다른 지표다. 예를 들어 Opus 5.5는 평균 0.56으로 가장 높지만 해결 14개인 반면, Sonnet 5.5는 평균 0.49로 낮지만 해결 15개로 더 많다.

이 벤치마크에는 아직 인간 기준선이 없다. 따라서 모델이 인간보다 못하다고 직접 정량 비교할 수 없다. 또한 L0~L2는 원본 20개 과제에서만 평가되었고, L3는 95개 전체 과제에서 평가되었다. L0→L1의 큰 감소는 표본 크기가 작아 신뢰구간이 넓으며, L1→L3의 추가 손실이 없다고 증명된 것은 아니다. 이해관계자 접촉 비용은 전문가가 설정한 모형이지 실측 인건비가 아니다. 에이전트에게 접촉 비용이 명시적으로 알려지지 않으며, 단서를 통해 추론해야 한다. 또한 20개 시나리오는 규제 운영 업무에 편중되어 있고, 학습 데이터 오염 가능성을 배제할 수 없다. 20개 원본 과제와 채점기는 요청 시 제공되지만, 75개 변형과 참조 해답은 비공개다. 모든 모델은 같은 최소 도구 하네스로, 조합마다 세 번 실행했다. 최대200턴·150분·모델사용료8달러 중 먼저 도달하면 종료했으며, 제품별 전용 도구나 더 강한 하네스를 붙이면 순위가 달라질 수 있다.

실제로 어떻게 활용할까

이 벤치마크는 에이전트를 평가할 때 코드가 돌아가는지뿐 아니라 목표를 제대로 찾았는지, 변경 권한을 지켰는지, 고객 지표가 나아졌는지도 확인하게 해 준다. 논문은 다른 코딩·연구 벤치마크의 성공률과 FDE-Gym의 정규화 점수를 나란히 제시하지만 서로 다른 척도다. 두 숫자의 차이를 그대로 능력 하락 폭으로 계산할 수 없으며, 실제 도입을 판단하려면 자신의 업무와 같은 조건의 평가가 필요하다.

또한 FDE-Gym은 온라인 플랫폼(fde-gym.com)을 제공하여 인간 참가자가 에이전트와 동일한 작업 공간, 이해관계자, 채점 기준으로 연습할 수 있게 한다. 현재 업계 전문가들로부터 인간 기준선을 수집 중이며, 결과는 향후 논문 버전에서 보고될 예정이다. 기업은 이 플랫폼을 활용해 FDE 기술을 훈련하거나, 자체 에이전트를 평가하기 전에 벤치마크의 특성을 이해할 수 있다. 다만, 이 벤치마크는 규제 운영 업무 중심의 20개 시나리오에 한정되므로, 다른 도메인에 일반화할 때는 주의가 필요하다.