AI가 한 번에 따를 수 있는 지시의 양을 재는 통제 실험

배경과 문제

언어 모델은 지시가 많아질수록 일부 요구를 빠뜨리거나 대응을 혼동하고, 그럴듯하지만 과제와 무관한 텍스트를 이어간다. 기존 연구들은 지시의 수, 입력 길이, 응답 길이, 지시의 위치 등이 실행 품질에 영향을 준다는 사실을 반복 확인했지만, 저자는 '이 모델은 몇 개의 지시까지 견디는가'를 불확실성과 함께 답하는 측정 척도가 부족하다고 본다. 그 이유는 부하를 설정하는 방식에 있다. 기존 작업에서는 지시들이 서로 다른 성격과 난이도를 갖고 하나의 일관된 텍스트를 공유하거나 판정 모델에 의존하기 때문에, 지시의 수가 지시 집합의 구성이나 과제 자체의 난이도 증가와 뒤섞인다.

예를 들어 형식 요구사항을 프로그램으로 검사하는 IFEval 계열은 모든 요구가 같은 텍스트에 적용되어 독립성이 없고, 판정 모델을 쓰는 FollowBench 등은 평가 오차가 측정 효과와 비슷한 크기일 수 있다. 합성 기억·문맥 탐침은 정답이 유일하고 무작위 생성이 가능해 측정 도구로서 엄밀하지만, 입력 속 정보를 찾거나 유지하는 능력을 측정할 뿐 여러 지시를 동시에 실행하는 능력을 재지는 않는다. 따라서 이 논문은 합성 탐침의 엄밀성을 유지하면서도 '지시' 자체로 부하를 주는 도구가 필요하다고 본다.

기존 접근의 한계

논문은 측정 도구가 갖추어야 할 아홉 가지 기준을 제시한다. 원자성(각 적용이 이진 결과로 유일하게 판정됨), 독립성(각 지시가 자기 부분의 정답만 결정하고 부분들이 겹치지 않음), 동질성(같은 부하에서 다른 지시들의 결과가 같은 분포를 따름), 계산 가능한 검사(평가자 없이 알고리즘으로 판정), 외부 요인 부재(텍스트 이해나 세상 지식이 결과에 영향을 주지 않음), 위치별 해상도(각 시행의 위치와 규칙 번호를 알 수 있음), 규모(성공 확률이 1 근처에서 낮은 값까지 전이되는 부하 범위를 포함), 정밀도(반복 측정이 명시된 불확실성 안에서 일치), 암기 방지(과제가 무작위 생성되어 훈련 데이터와 겹치지 않음)이다.

기존 다섯 접근을 이 기준으로 평가하면 모두 한계가 있다. 프로그램 검사를 쓰는 형식 지시는 검사가 휴리스틱이고 요구들이 한 텍스트를 공유해 독립성이 없다. 판정 모델을 쓰는 복합 제약은 결과가 유일하지 않고 평가 오차가 크다. 일관된 텍스트에 필수 단어를 넣는 방식은 단어들이 의미로 결합되어 난이도가 섞인다. 합성 기억·문맥 탐침은 대부분 기준을 만족하지만 지시 수를 부하로 쓰지 않는다. 긴 응답에 위치별 요구를 두는 방식은 요구들이 사실적 내용이라 동질성과 독립성이 없다. 저자는 이런 차이 때문에 기존 과제의 점수만으로 지시 부하를 같은 단위에서 비교하기 어렵다고 해석한다.

연구방법을 단계별로

이 논문의 도구는 의미 없는 텍스트에서 단일 토큰 단어를 다른 단일 토큰 단어로 바꾸는 규칙을 원자적 지시로 사용한다. 작동을 설명하는 가상 규칙 'lake -> stone'은 텍스트의 모든 lake를 stone으로 바꾸라는 규칙이며, 각 적용 위치에서 정답은 유일하다. 규칙들은 서로 다른 단어에 적용되어 독립적이고, 정답은 프로그램이 한 번의 통과로 계산한다. 텍스트는 고정 어휘에서 뽑은 단음절 단수 명사들로 구성되고, 각 단어는 같은 횟수만큼 반복된 뒤 무작위로 섞여 10단어씩 줄로 나뉜다. 어휘는 세 가지 토크나이저에서 모두 한 토큰으로 인코딩되는 2,220개 단어로 구성되어, 치환이 원자적 연산으로 유지된다.

과제는 규칙 수 m, 서로 다른 단어 수 D, 각 단어의 반복 횟수 n, 그리고 세 개의 난수 시드로 결정된다. 규칙 목록과 텍스트는 고정된 프롬프트 템플릿에 삽입되고, 모델은 치환 규칙을 적용해 텍스트를 다시 쓰라는 지시를 받는다. 응답은 참조 답안과 줄 단위로 대조되어, 각 치환 위치가 베르누이 시행이 된다. 줄 단위 매칭은 국소적 실패가 이후 위치의 점수에 영향을 주지 않도록 하고, 모델이 덧붙인 도입·종결 문구는 제외한다. 실패는 세 종류로 구분된다: 구조가 유지된 잘못된 치환(1종), 줄의 국소적 손상 후 회복(2종), 응답 구조의 상실(3종)이다.

통계 모델은 각 시행의 성공 확률을 로짓으로 표현하고, 텍스트 길이와 단어 위치의 결합 효과, 치환 밀도·규칙 수·규칙 순위의 기여, 요청별 무작위 절편을 함께 사용한다. 각 축의 의존 형태를 미리 가정하지 않고 로그 스케일의 구간(bin)으로 나누어 계수를 추정한 뒤, 그 프로파일에 매끄러운 법칙을 적합한다. 기준 구간 선택에 따라 달라지는 공통 수준 문제를 피하기 위해 자유항을 두지 않고, 각 축의 법칙이 최소 부하에서 0이 되도록 이동시키는 근사 이동 보정으로 참조 수준을 복원한다. 이렇게 얻은 참조 수준에서 품질 수준 q에 도달하는 규칙 수를 역문제로 풀어 '지시 용량'을 정의하고, 델타 방법으로 불확실성을 계산한다.

결과와 숫자의 의미

GPT-4o mini 측정에서 텍스트 길이와 단어 위치는 독립적인 손실의 합이 아니라 상호작용하는 두 제약으로 나타났다. 짧은 텍스트의 응답 시작 부분에서는 계수가 평탄한 고원을 이루다가 특정 위치 이후 로그 위치에 대해 선형으로 감소하며, 모든 길이 슬라이스가 공통의 기울기 -2.67±0.31(위치가 두 배가 될 때마다 로짓 감소)을 공유한다. 텍스트 길이는 이 고원의 높이를 결정하는데, 모형의 전환 지점인 약 274단어(146~517) 부근까지는 거의 변하지 않다가 이후 길이가 두 배가 될 때마다 고원이 1.60±0.43 로짓씩 낮아진다. 즉, 텍스트 부피는 응답 시작 시점의 품질 상한을 정하고, 단어 위치는 그 이후의 공통 감소 패턴을 정한다.

치환 밀도 p=m/D는 희박할 때 거의 손실이 없다가 밀도가 커지면 포화하는 지수적 손실 법칙을 따른다. 특성 밀도 pc=0.67±0.27에서 손실이 한계의 63%에 도달하고, 최대 밀도 p=1에서는 9.35±1.01 로짓의 손실이 측정되었다. 규칙 수 m은 로그 선형으로 작용해 규칙 목록이 두 배가 될 때마다 0.43±0.10 로짓씩 감소한다. 규칙 순위 r은 처음 8개 규칙까지는 거의 손실이 없다가 이후 가속적으로 나빠져, 65~128번째 규칙은 첫 규칙보다 1.05±0.12 로짓 낮다. 이는 멱법칙 R(r)=-AR(r^γ-1)로 기술되며, γ=0.74±0.20이다.

응답 구조를 잃는 실패도 따로 분석했다. 2,958개 요청 중 995개, 즉 33.6%에서 이런 실패가 발생했다. 같은 글 길이와 치환 밀도에서 규칙 수를 늘리는 효과는 검출되지 않았고, 길이가 두 배가 될 때 붕괴 확률의 로짓은 2.40±0.19 증가했다. 한편 이미 구조를 잃은 요청만 놓고 보면, 특정 단어 위치까지 붕괴했을 누적 확률은 응답이 진행될수록 커졌다. 약 40번째 단어 이후 단어 번호가 두 배가 될 때 이 누적 확률의 로짓이 1.14±0.21 증가하는 모형으로 설명했다. 이는 다음 단어에서 새로 실패할 위험률이나 오즈 자체에 로짓을 더한다는 뜻이 아니다. 원인을 입증한 결과도 아니다.

표 6의 95% 품질 기준 지시 용량은 구간 모형에서 36.58±5.41개, 매끄러운 법칙에서 38.06±6.13개 규칙이다. 짧은 글·응답 시작·희박한 치환이라는 기준점에서 규칙 목록 크기와 뒤쪽 규칙의 누적 부담을 계산한 값이다. 모든 단어를 바꾸는 밀도에서 나머지 조건을 기준점에 두면 18.69±3.62개와 17.55±4.04개가 된다. 별도의 피로 용량은 응답 위치에 따른 감소 법칙으로 구했다. 95% 기준 3,277±571단어는 관측 영역 안의 추정치이고, 50% 기준 11,890±1,839단어는 관측 최대 10,240단어 밖의 외삽이다. 긴 실제 글에서 언제나 그 정확도를 보장하는 길이 제한은 아니다.

구체적인 예시

논문 3.3절과 부록 A에는 실제 공개 요청 한 건이 있다. 서로 다른 단어 4개를 각각 5번 배치한 20단어 글에 규칙 2개를 적용한다. 규칙은 'james -> hang'과 'reign -> steal'이며, 두 대상 단어가 각각 5번 나와 총 10회의 치환을 판정한다. 해당 응답에서는 나머지 단어와 줄 구조를 유지하면서 10곳을 모두 올바르게 바꿨다. 이는 측정 방식의 작동 예이지 전체 요청의 정확도를 대표하는 결과가 아니다.

이 예는 도구의 작동 방식을 보여준다. 규칙들이 서로 다른 단어에 적용되어 독립적이고, 정답은 프로그램이 계산하므로 평가자의 판단이 개입하지 않는다. 텍스트는 의미가 없어 모델이 내용을 이해하거나 세상 지식을 동원할 필요가 없다. 각 치환 위치와 규칙 번호가 기록되어 위치별 해상도를 갖는다. 같은 점에서 시드를 바꾸면 같은 부하를 다른 단어 조합으로 실현할 수 있어, 특정 단어의 의미적 특성이 결과에 미치는 영향을 평균으로 상쇄한다.

한계와 오해하기 쉬운 점

이 측정은 복잡한 자연어 지시 수나 프롬프트 최대 길이를 직접 재지 않는다. 규칙은 이 프로토콜이 정의한 단위다. 측정 모델은 gpt-4o-mini-2024-07-18 하나이며 temperature=0, seed=20260907, top_p=1, max_tokens=16384로 고정했다. 전체 1,890개 실험점의 글 길이는 20~10,240단어, 규칙 수는 1~256개다. 다만 256개 규칙의 9개 요청은 모두 구조 붕괴로 끝나, 치환 품질 모형에서 비교한 규칙 수는 128개까지다. 다른 최신 모델에도 같은 법칙이 성립하는지는 확인되지 않았다.

95% 품질 수준은 '맞게 바꾼 단어의 비중'에 대한 기준이지, 모든 규칙을 한 요청에서 완벽하게 지킬 확률이 아니다. ±로 표시된 값은 95% 신뢰구간의 반폭이며 표준오차가 아니다. '보장 용량'의 '보장'은 연구가 정의한 밀도 범위의 하한을 의미할 뿐 모든 실제 사용에 대한 보장이 아니다. FEC의 50% 값은 관측 범위 밖 외삽이므로 해석에 주의해야 한다. 또한 치환 오류, 국소 줄 구조 손상, 전체 구조 붕괴는 서로 다른 실패 유형이며, 용량 수치와 붕괴 확률은 다른 값이다.

방법론적 한계도 있다. 각 단어 치환이 시행 단위이지만 같은 요청의 시행은 독립으로 간주하지 않고 요청 단위 무작위 절편이 있는 GLMM을 사용한다. 적응적 실험점 선정 기술과 설계는 비공개이며, 저자는 공개 코드와 데이터로 측정 요약표인 passport의 숫자를 재계산할 수 있다고 설명하지만, 이 해설에서 직접 실행하거나 재현한 것은 아니다. $6.03은 계산상 API 비용이며 저자는 무료 토큰 프로그램을 사용했으므로 실제 지출로 해석하면 안 된다. 동료 심사 완료나 독립 재현을 확인한 것은 아니다.

실제로 어떻게 활용할까

이 도구의 일차적 활용은 모델 간 비교다. 동일한 프로토콜로 측정한 passport를 통해 서로 다른 모델의 지시 용량과 저하 법칙을 비교할 수 있다. 논문은 향후 여러 모델의 passport를 수집해 용량뿐 아니라 저하 법칙의 형태 자체를 비교하는 것을 제안한다. 예를 들어 어떤 모델은 규칙 수에 대해 로그 선형으로 저하되고, 다른 모델은 멱법칙이나 극값을 보일 수 있다. 이러한 비교는 모델의 내부 구조와 저하 특성의 연관성을 연구하는 실험적 기반이 된다.

더 먼 목표는 프롬프트의 부담을 같은 규칙 단위로 나타내는 것이다. 저자는 단어 치환 과제에 측정할 프롬프트를 함께 넣고, 치환 정확도가 얼마나 떨어지는지 관찰하는 방안을 제안한다. 그 변화가 규칙을 더 넣었을 때의 변화와 같은 방식으로 작용한다면 등가 규칙 수로 환산할 수 있다는 구상이다. 그러나 이 가정은 아직 실험적으로 검증되지 않았다. 임의의 자연어 프롬프트를 정확히 재는 완성된 도구가 공개됐다는 뜻은 아니다.

비용 측면에서도 실측과 예상은 구별해야 한다. 이번 측정에 걸린 시간은 5시간 43분이며, 논문의 6.03달러는 사용량과 가격으로 계산한 값이다. 저자는 무료 토큰 프로그램을 사용했으므로 실제 지출액이 아니다. 더 큰 응답 한도나 다른 모델의 측정 비용은 가정에 따른 추정이다. 저자는 초기 측정 이후 알려진 법칙을 이용하면 적은 요청으로 추가 점검할 수 있으리라 기대하지만, 모든 모델과 프롬프트에서 비용을 절감하는 비율은 검증하지 않았다.