AI가 오래 일한다는 그래프는 무엇을 재는가: METR 시간 지평 재검증
Berkeley 통계학 연구진이 METR의 228개 과제·26개 AI 자료를 재분석해, 같은 시간 지평 증가율도 구간에 따라 능력 향상의 의미가 다름을 보였습니다.
쉽게 말하면비유하자면 'AI가 사람 몇 분짜리 일을 해낸다'는 자의 눈금 간격이 고른지 다시 재 본 연구다. 같은 10배라도 3분에서 30분으로 느는 것과 30분에서 5시간으로 느는 것은 실제 난이도 차이가 다를 수 있다.
- 왜 봐야 하나
- 'AI가 해내는 일의 길이가 몇 배 늘었다'는 그래프를 볼 때 숫자 하나만 믿지 말라는 뜻이다. 특정 길이 과제의 성공 확률이 얼마나 변했는지를 함께 봐야 한다. 저자들은 관측된 지수 성장 자체를 부정하지 않는다.
이 논문은 METR의 '50% 시간 지평'이라는 AI 능력 지표를 통계적으로 재분석한다. 시간 지평은 AI가 50% 확률로 해결하는 소프트웨어 과제의 사람 소요 시간을 뜻하며, 기존에는 사람 시간의 로그에 대한 선형 관계를 가정했다. 저자들은 228개 과제와 26개 AI 데이터를 사용해 스플라인과 문항반응이론(IRT) 기반의 두 모델을 제안하고, 79개 과제군 단위 5겹 교차검증에서 12개 지표 모두 기준선보다 나은 점추정을 얻었다. 특히 2~30분 구간에서 사람 시간과 AI 난이도 사이 관계가 거의 평탄함을 발견해, 같은 10배 증가라도 3분→30분과 30분→5시간의 의미가 다르다고 주장한다. 또한 시간 지평의 구성 타당도를 진단하기 위한 두 가지 도표를 제시한다.
알아낸 것
- 사람에게 2~30분 걸리는 과제 구간에서는 사람 시간이 달라도 AI에게 평균 난이도가 거의 비슷했다. 이 구간의 시간 지평(AI가 절반 확률로 해내는 과제의 사람 소요 시간) 차이는 다른 구간보다 작은 능력 차이일 수 있다.
- 저자들이 내놓은 새 추정 방식 두 가지는 79개 과제군을 다섯 묶음으로 나눠 번갈아 검증한 12개 지표 모두에서 기준선보다 추정 점수가 좋았다. 다만 일부는 오차 범위(신뢰구간)가 0을 포함해 모든 차이가 통계적으로 확실한 것은 아니다.
- 같은 GPT-4o 자료에서 기준선 방식은 시간 지평을 7.2분, 새 방식 가운데 하나(Model 2)는 4.4분으로 추정했다. AI 성능이 나빠진 것이 아니라 추정 방법이 달라서 생긴 차이다.
한계와 주의할 점
- 동료 심사 여부가 확정되지 않은 프리프린트입니다.
- 전체 과제의 약 29%는 유효한 사람 소요시간 측정값이 없어 전문가 추정값을 사용했습니다. 시간 지평은 AI의 실제 실행 시간이나 집중 지속 시간이 아닙니다.
용어 풀이
- 시간 지평
- AI가 특정 확률(주로 50%)로 해결하는 과제의 사람 소요 시간. AI 능력을 사람 시간 단위로 표현하는 지표다.
- 문항반응이론(IRT)
- 응답자 능력과 문항 난이도를 결과 데이터로부터 공동 추정하는 통계 기법. 이 연구에서는 과제 난이도와 AI 능력을 잠재 변수로 모델링한다.
- 구성 타당도
- 통계적 추정량이 측정하고자 하는 개념을 실제로 측정하는지에 대한 속성. 시간 지평이 'AI 소프트웨어 개발 능력'을 잘 포착하는지가 핵심 질문이다.
- Rasch 능력
- IRT 모델에서 추정된 AI의 잠재 능력 모수. 시간 지평과 달리 사람 시간 단위로 해석되지 않지만, 능력 비교에 직접 사용될 수 있다.
- 과분산
- 이항 분포가 가정하는 분산보다 실제 데이터의 분산이 더 큰 현상. 같은 AI-과제 쌍의 반복 실행 간 상관으로 인해 발생하며, 베타-이항 모델로 처리한다.
더 깊이 읽기 읽는 데 약 7분
배경과 문제
AI 능력이 얼마나 빨리 발전하는지는 정책과 투자 논쟁의 핵심이다. METR은 228개의 수작업 설계 소프트웨어 공학 과제 각각에 '사람 시간'을 부여하고, 각 AI가 반복 실행에서 50% 확률로 해결하는 과제의 사람 시간을 그 AI의 '시간 지평'으로 정의했다. 예를 들어 GPT-4의 시간 지평이 4분이라면, 사람이 4분 걸리는 과제를 GPT-4가 절반 확률로 자율 해결한다는 뜻이다. 이 지표는 AI 능력을 해석 가능한 단위로 표현한다는 장점이 있어 널리 인용되었지만, y축 값이 물리량의 직접 측정이 아니라 통계적 추정치라는 점에서 비판과 개선의 여지가 있다.
기존 METR 접근은 각 AI의 성공 확률을 로짓으로 변환한 값을 사람 시간의 로그에 대한 선형 함수로 모델링한다. 즉, 사람 시간이 두 배가 될 때마다 AI 성공 확률의 로짓이 일정하게 감소한다고 가정한다. 그러나 이 가정이 실제 데이터에서 성립하지 않으면 시간 지평 추정치가 왜곡될 수 있다. 저자들은 이 문제를 '사람 시간을 AI 난이도로 변환하는 함수'의 추정 문제로 재구성하고, 선형성 가정을 완화한 모델을 제안한다.
기존 접근의 한계
METR의 원래 모델은 AI별로 별도의 기울기를 추정하는 로지스틱 회귀였지만, 후속 연구에서 공통 기울기를 사용하는 방식이 교차검증 성능이 더 좋다는 것이 확인되었다. 이 논문은 공통 기울기 로지스틱 모델을 기준선으로 삼는다. 기준선은 사람 시간의 로그와 AI 성공 확률의 로짓 사이에 선형 관계를 강제하므로, 특정 구간에서 관계가 평탄하거나 급격히 변하면 적합이 나빠진다.
실제 데이터에서는 2~30분 구간의 사람 시간에 따른 평균적인 AI 난이도 추정 곡선이 거의 평탄하다. 선형 모델은 이 구간을 직선으로 가로지르므로, 이 구간에 시간 지평이 있는 AI들의 추정치가 크게 왜곡될 수 있다. 또한 과제군 효과를 가중치로만 처리하고 같은 AI·과제 쌍의 반복 실행 간 의존성을 명시적으로 반영하지 못해 예측 성능이 떨어진다.
연구방법을 단계별로
저자들은 두 가지 새 모델을 제안한다. Model 1은 공통 기울기를 유지하되 로그 사람 시간에 대한 단조 스플라인 함수 f를 도입해 비선형성을 허용한다. f는 단조 자연 3차 I-스플라인으로, 4개의 내부 매듭을 가지며 식별 가능성을 위해 최소·최대 로그 시간에서 항등 함수가 되도록 제약한다. Model 2는 설명적 문항반응이론(IRT) 모델로, 각 과제에 잠재 난이도 θi를 부여하고 θi = f(log2 Ti) + ξF(i) + εi로 모델링한다. 여기서 ξF는 과제군 효과, εi는 과제별 잔차이며, 성공 확률은 로짓 αj − βθi로 주어진다. 또한 같은 AI-과제 쌍의 반복 실행 간 상관을 반영하기 위해 베타-이항 과분산 구조를 도입한다.
모델 평가는 79개 과제군을 5개 폴드로 나누는 교차검증으로 이루어진다. 네 가지 점수(주변 로그 점수, 브리어 점수, q=0.5와 q=0.8에서의 평활화된 기본 점수)와 세 가지 가중 방식(동일 과제, 동일 과제군, 제곱근 과제군)을 교차해 총 12개 지표를 구성한다. 모든 점수는 작을수록 좋으며, 기준선과의 쌍대 차이를 과제군 단위(n=79) 신뢰구간과 함께 보고한다. 과제군 전체를 묶어서 학습용과 평가용으로 나누므로, 비슷한 과제를 섞어 놓고 예측력이 좋아 보이는 효과를 줄인다. 반면 12개 지표는 서로 완전히 독립적인 실험 12개가 아니라 같은 검증 예측을 점수와 가중 방식만 달리해 평가한 것이다.
결과와 숫자의 의미
Figure 2는 12개 지표 모두에서 Model 1과 Model 2의 점추정이 기준선보다 좋음을 보여준다. 신뢰구간은 80%와 95% 두 수준으로 표시되며, 일부 구간은 0을 포함하므로 모든 차이가 통계적으로 유의한 것은 아니다. Figure 3의 Murphy 도표에서는 q>0.4에서 기준선이 거의 지배당하는 모습이 나타나, 브리어 점수와 주변 로그 점수의 개선을 부분적으로 설명한다.
Figure 1(c)는 GPT-4o에 대한 적합 비교에서 Model 2가 기준선보다 관측 빈도에 더 가까움을 보여준다. 같은 관측 데이터에 대해 기준선은 시간 지평을 7.2분으로, Model 2는 4.4분으로 추정한다. 이는 AI 성능의 퇴행이 아니라 추정 방법의 차이로 인한 것이다. Figure 5(b)에서 Model 2의 재척도된 Rasch 능력과 METR 시간 지평 사이의 R²=0.996은 적합도 지표일 뿐 미래 예측 정확도가 아니다.
구체적인 예시
Figure 1(d)의 시간-난이도 변환 도표는 2~30분 구간에서 f가 거의 평탄함을 보여준다. 이는 이 구간의 과제들이 사람 시간이 달라도 자료에 적합한 평균 난이도가 비슷하다는 뜻이다. 따라서 시간 지평이 3분에서 30분으로 10배 증가하는 것은 30분에서 5시간으로 10배 증가하는 것보다 훨씬 작은 능력 차이에 대응할 수 있다. 두 경우 모두 로그 축에서 같은 폭의 점프로 보이지만, 실제 난이도 변화는 크게 다르다.
Figure 1(f)의 조건부 성공 궤적 도표는 4분과 15분 곡선이 거의 붙어 있어, 이 구간의 시간 지평 차이가 다른 구간에 비해 작은 능력 차이를 의미함을 시사한다. Figure 6은 하루 이후의 가상적 변환 곡선을 보여주는데, 이는 실제 데이터가 아니라 미래에 관계가 어떻게 달라질 수 있는지에 대한 예시다.
한계와 오해하기 쉬운 점
이 연구는 과제 대표성, 잠재 능력 표현, 사람 시간 측정의 타당성은 검증하지 않고 가정한다. 진단 도표는 예측성과 비교 가능성이라는 두 가지 측면에만 초점을 맞춘다. 전체 과제의 약 29%에서는 유효한 사람 소요시간 측정값을 확보하지 못해 전문가 추정값을 사용했다. 29%의 분모는 과제 수이며, 전체 사람이 일한 시간의 비율이 아니다. 시간 지평은 AI가 일정 확률로 해결하는 과제의 사람 소요시간이므로, AI가 실제로 일한 시간이나 중단 없이 자율 활동한 시간을 직접 재는 지표도 아니다.
발표일은 모델 적합에 사용되지 않고 그래프의 가로축에만 쓰인다. 저자들은 관측된 지수 성장 자체에 이의를 제기하지 않으며, 추정 방법의 개선에 집중한다. Figure 5의 R²=0.996을 미래 예측 정확도로 해석하거나, Figure 1의 GPT-4o 시간 지평 변화를 성능 퇴행으로 읽는 것은 오해다. 또한 2~30분 평탄 구간은 이 데이터의 사람 시간-난이도 관계에 국한된 발견이다.
실제로 어떻게 활용할까
시간 지평을 해석할 때는 단일 숫자보다 진단 도표를 함께 보아야 한다. 시간-난이도 변환 도표는 어떤 구간에서 사람 시간이 AI 난이도를 잘 예측하는지, 비교 가능성이 유지되는지를 보여준다. 조건부 성공 궤적 도표는 특정 시간 지평 점프가 실제로 얼마나 큰 능력 차이를 의미하는지 평가하는 데 도움을 준다. 예를 들어 사람에게 30분이 걸리는 과제의 성공 확률이 얼마나 변했는지를 따로 보면, ‘시간 지평이 몇 배 늘었다’는 요약값과 실제 해결 가능성의 변화를 구분할 수 있다. 도표의 기울기가 완만한 구간에서는 작은 성공 확률 변화도 큰 시간 지평 차이로 바뀔 수 있기 때문이다.
새로운 시간 지평 기반 벤치마크를 제안하거나 기존 벤치마크가 더 긴 과제를 포함하도록 확장할 때, 이 진단 도표를 사용해 구성 타당도를 점검할 수 있다. 특히 소프트웨어 공학 외의 영역에서는 사람 시간이 좋은 주석이 아닐 수 있으므로, 다른 외부 척도를 탐색할 필요가 있다.
원문에서 확인한 근거 6곳
- METR의 50% 시간 지평은 AI가 50% 확률로 해결하는 소프트웨어 과제의 사람 완료 시간을 측정한다.Abstract
- Model 1과 Model 2의 점추정은 12개 지표 모두에서 기준선보다 좋다.Figure 2
- GPT-4o의 시간 지평은 기준선에서 7.2분, Model 2에서 4.4분으로 추정된다.Figure 1
- 2~30분 구간에서 사람 시간과 AI 난이도 사이 관계가 거의 평탄하다.Figure 1(d)
- 전체 과제의 약 29%에서는 유효한 사람 소요시간 측정값을 확보하지 못해 전문가 추정값을 사용했다.Attempting the tasks
- 발표일은 모델 적합에 사용되지 않고 그래프의 가로축에만 쓰인다.Fitting models and estimating
10월 10일(토) 정리 · AI가 쓰고 원문과 대조