읽기는 맞고 행동은 틀리는 AI: 결정 오류를 분해해 보는 평가

배경과 문제

에이전트는 환경에서 이전 행동의 피드백을 읽고, 현재 위치를 파악한 뒤 다음 행동을 고른다. 대부분의 에이전트는 각 단계마다 대형 언어 모델을 호출해 추론을 글로 쓰고 행동을 정한다. 반면 이 논문이 다루는 System One 모델은 상태와 후보 답안을 받아 한 번에 확률 분포만 돌려주고 텍스트를 생성하지 않는다. 이 방식은 빠르고 저렴하지만, 모델이 틀린 행동을 골랐을 때 남는 것은 잘못된 선택뿐이라 '상태를 잘못 읽었는지, 읽었지만 결정을 잘못했는지'를 내부에서 들여다볼 수 없다.

저자들은 이 문제를 행동 관찰로 풀려고 한다. 같은 에이전트 결정 상태에 대해 다음 행동 질문과 사실 확인 질문을 각각 독립적으로 던진다. 사실 질문은 마지막 행동의 성공 여부, 에이전트의 위치와 소지품, 어떤 행동이 허용되는지처럼 환경이 정답을 결정하는 것들이다. '측정된 모든 사실을 맞혔는가'와 '행동을 맞혔는가'를 교차하면 네 가지 결과가 나온다. 이 교차표가 이 논문의 핵심 측정 도구다.

기존 접근의 한계

최종 행동 정확도만으로는 오류의 원인을 구분할 수 없다. 모델이 상태를 잘못 읽어서 틀린 것인지, 상태는 정확히 읽었지만 결정 단계에서 틀린 것인지가 한 숫자에 섞여 있기 때문이다. 생성된 추론 설명도 실제 계산을 반영하지 않을 수 있어 신뢰하기 어렵다. 반대로 행동이 맞았다고 해서 모델이 실행 흔적을 이해했다는 증거도 되지 않는다.

공개 비교는 보통 종합 점수만 보고하고, 에이전트 벤치마크는 작업 성공이나 단계별 정확도를 측정한다. 그러나 이 논문은 '정확도가 남겨두는 것'을 묻는다. 즉, 오류가 읽기 실패인지 결정 실패인지, 그리고 그 질문에 선택 인터페이스만으로 어디까지 답할 수 있는지를 다룬다. System One이라는 이름은 Kahneman의 빠른/숙고 구분에서 빌려왔지만, 저자들은 모델 내부 계산에 대한 주장이 아니라 인터페이스만을 가리킨다고 명시한다.

연구방법을 단계별로

결정 상태는 작업 목표, 실행된 행동과 관찰의 이력, 환경 규칙, 허용된 다음 행동 집합으로 구성된다. 모델은 후보 행동 중 하나를 골라야 하며, 모든 허용 행동이 이름과 설명과 함께 문맥에 제공된다. 정답 집합은 에이전트가 본 정보만으로 계산된다. 시뮬레이터에서는 흔적이 함의하는 지도 위의 모든 최단 계획의 첫 행동들이 정답이 되고, 필요한 물건을 아직 보지 못한 상태라면 보이지 않은 위치를 드러내는 행동들이 정답이 된다.

사실 질문은 시뮬레이터 상태, 데이터베이스, 데이터 라벨이 정답을 결정한다. 각 질문은 상태만으로 답하며, 다른 질문의 입력에 답이 추가되지 않는다. '짝지었다'는 것은 입력 상태가 동일하다는 뜻이지 모델 계산의 단계를 관찰한다는 뜻이 아니다. 입력 한도를 넘는 질문은 틀린 것으로 세고 응답 가능한 입력의 비율인 coverage로 보고한다. 19,663개 짝지은 테스트 상태에 풀링한 수치는 오류 유형이 얼마나 나타나는지 요약한 값이며 성능 순위 자체가 아니다.

사실 집합이 진단을 뒷받침할 수 있는지는 모델 없이 확인한다. 목표·규칙·나머지 문맥을 고정한 채 같은 사실 답 벡터를 공유하는 상태들에서 정답 행동 집합의 교집합이 비어 있지 않으면 그 사실 집합은 충분하다. 두 상태가 같은 사실 답을 갖지만 정답 행동이 겹치지 않으면, 사실을 모두 맞혀도 행동을 결정할 수 없으므로 '사실 맞고 행동 틀림'을 결정 실패로만 돌릴 수 없다. 자연 데이터에서는 반례가 없다고 충분성을 증명할 수 없으며, 통과는 진단 가능성만 뜻한다.

결과와 숫자의 의미

가장 정확한 여섯 시스템에서 결정 오류의 73~85%는 측정된 모든 사실을 맞힌 상태에서 발생한다. 측정 사실이 모두 맞을 때 행동이 틀릴 조건부 확률은 10~21%다. 반대로 사실을 하나라도 틀리게 답한 상태에서도 행동은 62~70% 맞는다. 정확도가 높아질수록 '사실 맞고 행동 틀림' 오류의 비중이 커진다. 추론 참고 모델 GPT-6.1은 결정 정확도 0.884로 가장 높지만 남은 오류의 85%가 같은 유형이다.

호스팅 API JEV는 오류의 73%, OpenAI Decisions는 70%가 측정 사실을 모두 맞힌 뒤에 나온다. 정확도 0.5 이상인 오픈웨이트 모델은 49~79%로 분포한다. 가장 정확한 여섯 시스템의 도메인별 비율도 ALFWorld 68~82%, BabyAI 62~100%, TextWorld 80~94%, τ²-bench 77~90%다. 한편 코딩 흔적 300개에서 JEV와 Gemma는 모두 다음 행동을 100% 맞혔지만, 짝지은 사실 질문 정확도는 각각 85.2%와 97.1%였다. 모든 시스템이 코딩 행동을 100% 맞힌 것은 아니며, 이 예시는 같은 행동 점수가 읽기 차이를 숨길 수 있음을 보여준다.

오류는 무작위 잡음이 아니라 특정 상태에 붙어 있다. 짝지은 행동 정확도 0.5를 넘고 입력 범위 조건을 충족한 빠른 시스템 14개가 만든 '사실 맞고 행동 틀림' 사건 53,382개 중 56%는 적어도 7개 시스템이 같은 방식으로 실패한 상태에 몰린다. 14개 시스템 모두가 모든 사실을 맞히고도 틀린 상태가 141개인데, 순열 귀무가설에서는 0개를 기대한다. GPT-6.1조차 이 141개 상태에서 40%만 맞힌다. 저자들은 이런 공통 실패 상태를 별도 진단 대상으로 살펴볼 필요가 있다고 해석한다.

구체적인 예시

그림 1의 실제 ALFWorld 상태에서 목표는 '차가운 토마토를 전자레인지에 넣기'다. 에이전트는 토마토를 들고 있고, 정답 행동은 냉장고로 가는 것이다. JEV는 마지막 행동 성공, 위치, 소지품, 토마토 냉각 여부 등 모든 사실 질문에 맞게 답했지만 행동으로 '전자레인지로 가기'를 골랐다. 이것이 '사실 맞고 행동 틀림'의 전형이다.

합성 절차 1,200개 상태에서는 네 개의 규칙 사실이 행동을 결정한다. JEV와 Qwen3.8-27B는 원시 흔적에서 규칙 사실을 100%와 99% 맞히고, 사실만 주면 결정 정확도가 1.000과 0.994다. 그러나 원시 흔적에서는 0.791과 0.797로 떨어진다. 관련 사실을 흔적에 덧붙이면 0.974와 0.967로 회복되지만, 같은 양의 무관한 텍스트를 덧붙이면 0.751과 0.705로 더 나빠진다. 이는 두 모델에서 사실 읽기와 규칙 적용을 따로 시키면 잘하지만, 흩어진 실행 이력에서 함께 처리하면 실패하는 모습을 보여준다. 같은 합성 과제에서도 Gemma는 원시 흔적 정확도 99.1%로 이런 큰 격차가 없었다.

실제 ALFWorld 644개 상태에서는 JEV가 좁은 사실 질문을 거의 완벽하게 답한다. 방문 여부 99.7%, 소지품과 배치 개수 100%, 필요한 물건을 본 위치 96.9%다. 그런데 결정 지향 사실을 추가해도 5.3포인트만 오르고, 전체 상태 요약은 4.7포인트만 오른다. 반면 다음 하위 목표를 알려주면 16.3포인트, 사실과 하위 목표를 함께 주면 21.3포인트 올라 0.929에 이른다. JEV는 하위 목표 질문에 66.8%만 맞히므로, 자신의 답으로 채운 블록은 6.4포인트만 오른다.

한계와 오해하기 쉬운 점

이 측정은 고정된 흔적에서 다음 행동 한 번만 본다. 실제 폐루프 전체 실행이 아니다. 시뮬레이터에서 오답으로 채점된 행동 중 5~42%는 이후 경로를 정확히 계산해 보면 실제로 최적이다. 원래 ALFWorld 8,197개 상태 중 303개는 위치 라벨 오류가 있어 민감도 분석을 별도로 보고한다. 저자들의 라벨 재검사에서 해당 오류를 제외하면 '사실 맞고 행동 틀림' 비율이 모든 감사 시스템에서 올라가므로, 그 오류만으로 핵심 경향을 설명할 수는 없었다. 다만 알려지지 않은 다른 라벨 오류까지 배제한 것은 아니다.

사실 질문을 맞혔다고 완전한 이해나 내부 추론을 증명하지 않는다. 자연 상태의 질문은 행동에 필요한 모든 사실을 포괄하지 않으며, 충분성이 보장되는 인공 과제와 구별해야 한다. 표 2는 19,663개 상태에 풀링한 진단 수치이며 리더보드가 아니다. 입력 한도, 서빙 스택, 판독 방식이 다르고 한도 초과는 오답으로 센다. 가장 정확한 빠른 모델 Gemma 81.1%와 GPT-6.1 참고 88.4%는 배치 청구 비용 등 조건도 다르다.

지연 시간은 163개 항목 패널에서 워밍업 5개 뒤 순차 실행으로 측정하며 일부 값은 정확도 실행에서 추정한다. 로컬은 H100 한 장이며 시간당 2.50달러 가정은 배치 서빙의 상한 추정이다. GPT 참고는 질문별 독립 호출과 언어화 확률이라 보정 점수를 직접 비교할 수 없다. 호스팅 모델은 버전이 바뀔 수 있는데, JEV 결정을 5일 뒤 다시 돌렸을 때 2,783개 상태 중 96.3%가 일치했다.

실제로 어떻게 활용할까

실무자는 자기 작업의 상태에서 사실 질문과 행동 질문을 함께 평가할 수 있다. 오류가 사실 오독에 집중되면 상태 표현과 이력 형식, 문맥 예산을 점검한다. 사실을 맞혀도 행동이 틀리면 질문이 결정에 필요한 사실을 충분히 담았는지 먼저 확인해야 한다. 명시적 규칙이 있는 합성 과제에서는 사실을 좁은 병렬 질문으로 확인하고 코드로 규칙을 적용하는 방법이 강했다. 이를 실제 모든 에이전트 작업에 같은 성공률로 적용할 수 있다는 결과는 아니다.

합성 절차에서는 모델 자신의 사실 답을 다시 주는 것만으로 JEV가 0.791에서 0.968로, Qwen3.8-27B가 0.797에서 0.955로 오른다. 코드로 규칙을 합성하면 JEV 0.996, Qwen3.8-27B 0.987, Clef 1.000, Qwen3.5-9B 0.965다. 첫 결정의 네이티브 신뢰도를 이용해 0.7 미만일 때만 다시 묻는 cascade는 JEV에서 38% 상태에 두 번째 요청을 보내 0.932를 달성한다. 이것이 System One 모델이 설계된 사용 패턴이다.

실제 상태에서는 같은 처방의 효과가 대체로 작았다. 2,783개 실제 상태에서 정답 사실을 추가해도 두 예외 모델을 제외한 빠른 시스템에서는 2.9~7.1포인트 오르고, 자신의 사실 답은 2.1~4.7포인트만 오른다. ALFWorld에서는 다음 하위 목표를 주면 JEV가 약 16포인트 오르지만, 모델이 그 목표를 스스로 안정적으로 만들어내는 것은 아니다. 따라서 개방 작업에서는 빠른 모델이 읽고 행동하되, 하위 목표는 플래너나 숙고 모델에 맡기는 분업을 검토할 수 있다. 이 분업의 전체 작업 성공률을 이번 논문이 직접 측정한 것은 아니다.