AI 리더보드 1위 숫자를 그대로 믿기 전에

배경과 문제

허깅페이스의 리더보드는 모델 저장소에 들어 있는 .eval_results/*.yaml 파일을 주기적으로 수집해 만든다. 모델 카드 메타데이터의 model-index만으로는 등재되지 않으며, YAML 파일에 dataset id, task_id, value, source, notes 등을 기록해야 한다. 이 구조 때문에 리더보드의 숫자는 제작사가 스스로 보고한 값이며, 허깅페이스가 별도로 검증하지 않는 한 신뢰성을 보장하지 않는다.

문제는 개별 리더보드의 순위만으로는 생태계 전체를 파악하기 어렵다는 점이다. 어떤 벤치마크에 참가가 몰리는지, 누가 여러 분야에 걸쳐 모델을 등록하는지, 1위와 2위의 차이가 실제로 의미 있는지 등은 여러 리더보드를 한데 모아 봐야 답할 수 있다. 이 글은 48개 공인 벤치마크를 전수 조사해 이러한 질문에 대한 정량적 근거를 제시한다.

기존 접근의 한계

기존에는 개별 리더보드 화면을 직접 방문하거나 특정 모델의 성능을 확인하는 방식이 일반적이었다. 그러나 이 방식은 벤치마크 간 참가 규모 차이, 파생 모델 포함 여부, 조직 단위 집계의 함정 등을 놓치기 쉽다. 예를 들어 기본 화면은 base_model을 선언한 파생 모델을 제외하므로, 실제 등록 수보다 적게 보인다.

또한 'OO 리더보드 1위'라는 문장은 참가 수와 함께 읽어야 하는데, 기존 접근은 이러한 맥락을 제공하지 않는다. 등록 141건 중 1위와 등록 3건 중 1위는 정보량이 전혀 다르다. 이 글은 공개 API를 이용해 모든 공인 벤치마크의 리더보드를 수집하고, 집계 규칙을 명시함으로써 이러한 한계를 극복하고자 한다.

연구방법을 단계별로

첫 단계로 허깅페이스 공개 API를 호출해 benchmark:official 필터가 붙은 데이터셋 목록을 가져온다. 인증이 필요 없고 CORS가 열려 있어 브라우저에서 직접 호출할 수 있다. 목록 API는 페이지네이션을 Link 헤더의 rel="next"로 제공하므로, 이를 따라가며 전체 목록을 수집한다.

두 번째 단계로 각 데이터셋의 리더보드 API를 호출해 항목별 rank, value, modelId, verified, source, filename을 얻는다. 이때 기본 화면 기준과 파생 모델 포함 기준을 구분하기 위해 base_model=false 파라미터를 사용한다. 수집된 데이터는 조직(모델 저장소 네임스페이스), 분야, 국가 등으로 집계한다. 분야와 국가는 사람이 라벨을 붙였으며, 분류 기준은 대시보드의 maps.js로 공개되어 있다.

마지막으로 1위와 2위의 격차를 계산한다. 격차는 |#1 − #2| / |#2| × 100으로 정의하며, 낮을수록 좋은 지표도 rank로 방향이 정해지므로 절댓값으로 처리한다. 이렇게 얻은 통계량(중앙값, 지니계수, HHI 등)을 바탕으로 분포의 쏠림과 경쟁 강도를 분석한다.

결과와 숫자의 의미

공인 벤치마크 48개 중 리더보드 항목이 1건 이상인 것은 44개이며, 기본 화면 기준 총 등록은 1,023건(411개 모델, 95개 조직)이다. 벤치마크당 등록 수 중앙값은 11.5건인데 평균은 21.3건으로, 분포가 오른쪽으로 길게 늘어져 있음을 보여준다. 지니계수는 0.583으로 불평등도가 높고, 상위 5개 벤치마크(MMLU-Pro, GPQA, HLE, SWE-bench Verified, Open ASR)가 전체 등록의 45.9%를 차지한다.

분야별로 보면 벤치마크 수는 에이전트·터미널(17개)이 가장 많지만, 등록 수는 과학·지식(348건, 벤치마크당 58건)에 몰린다. 에이전트는 벤치마크당 11.6건에 그쳐, 이 스냅샷에서는 에이전트 분야의 벤치마크당 제출 수가 상대적으로 적다. 작성자는 평가 비용을 가능한 이유로 해석하지만, 비용이 원인이라는 인과 실험이나 사업 기회 검증은 제시하지 않는다.

1위 보유 조직은 23곳이며, FINAL-Bench가 9개로 가장 많고 Moonshot AI, Z.ai가 각 4개, DeepSeek, Xiaomi MiMo가 각 3개다. 1위와 2위의 격차 중앙값은 5.2%이지만, 7개 리더보드는 1% 미만이다. 예를 들어 MMLU-Pro의 격차는 0.14%로, 작성자는 표본 변동을 고려해야 한다고 해석한다. 그러나 제출별 오답 구조나 반복 평가 결과가 없어 이 격차만으로 통계적 유의성을 판정할 수 없다.

구체적인 예시

MMLU-Pro는 등록 수가 약 141건으로 가장 많고, 1위와 2위의 격차가 0.14%에 불과하다. 이는 새 제출 하나로 순위가 뒤집힐 수 있음을 의미한다. 반대로 Long-Horizon-Terminal-Bench는 격차가 100%로 크게 보이지만, 점수 자체가 6 대 3으로 작아 상대 격차가 부풀려진 경우다.

파생 모델 필터의 영향도 구체적이다. 기본 화면 합계는 1,023건이지만, base_model=false로 조회하면 1,469건으로 늘어난다. 즉 약 30%(446건)가 기본 화면에서 보이지 않는다. 미세조정·양자화·병합 모델이 많은 생태계 특성상, '리더보드에 몇 개가 올라 있나'를 말할 때는 어느 화면 기준인지 밝혀야 한다.

한계와 오해하기 쉬운 점

모든 점수는 제작사 자체 보고이며, verified 표시가 붙은 항목은 0건이다. 같은 벤치마크라도 제출마다 샘플링 방식, 단일 실행 대 다수결, 생각 모드 여부, 생성 길이 상한이 다를 수 있다. 비교할 때는 제출의 notes에 이러한 조건이 적혀 있는지 확인해야 한다. 이 글은 조건 누락 제출이 얼마나 되는지는 집계하지 않았다.

조직 단위 집계는 모델의 계보를 반영하지 않는다. 기반 모델 제작사가 아니라 저장소 소유자로 세기 때문에, Qwen 기반 파생 모델의 1위는 Qwen의 1위로 잡히지 않는다. 또한 분야와 국가는 사람이 붙인 라벨이므로 주관적 판단이 개입될 수 있다. 마지막으로 이 글의 수치는 2026년 10월 5일 기준 스냅샷이며, 공인 벤치마크와 등록은 계속 늘어난다.

실제로 어떻게 활용할까

모델을 고를 때는 개별 리더보드의 1위보다 참가 수와 격차를 함께 봐야 한다. 등록 수가 많고 격차가 작은 리더보드의 1위는 상대적으로 불안정하며, 등록 수가 적은 리더보드의 1위는 정보량이 적다. 또한 파생 모델 포함 여부를 확인해 실제 경쟁 구도를 파악해야 한다.

평가 전략을 세울 때는 분야별 참가 분포를 참고할 수 있다. 이 집계에서 에이전트 분야의 제출 수가 적다고 새 성능 기록을 내기 쉬운 것은 아니다. 작성자가 제안한 평가 비용 설명을 참고하되, 실제 과제와 평가 환경에 필요한 자원을 따로 확인해야 한다. 조직의 참가 패턴(넓게 참가하는지, 좁게 1위를 노리는지)도 모델 선택에 참고할 만하다.