LLM 라우팅의 절약 효과는 학습 비용까지 회수해야 한다

배경과 문제

LLM은 모델마다 능력과 서비스 비용이 크게 달라서, 모든 질의를 가장 강한 모델에 보내는 대신 질의에 적합한 모델을 골라주는 라우팅이 비용을 줄이는 방법으로 주목받는다. 라우팅은 질의가 들어오면 여러 후보 모델 중 하나를 선택해 응답 품질을 유지하면서 추론 비용을 낮추는 기술이다. 기존 평가는 대개 라우터가 이미 구축된 뒤 서비스 단계에서 얼마나 절약하는지만 측정한다. 그러나 실제로는 라우터를 학습시키기 전에 과거 질의들에 대해 여러 후보 모델을 실행해 질의-모델 품질 피드백을 수집해야 한다. 이 사전 감독 비용은 서비스 절감이 시작되기 전에 발생하는 선행 지출이다.

이 감독 비용은 상당할 수 있다. 훈련 질의 N개와 후보 모델 M개가 있으면, 질의-모델 행렬을 빽빽하게 평가하려면 최대 N×M번의 모델 실행이 필요하다. 따라서 배포 후 서비스 비용이 낮아졌다고 해서 곧바로 경제적 이득이 생기는 것은 아니다. 누적된 서비스 절감액이 먼저 감독 획득 비용을 상쇄해야 한다. 논문의 Figure 1(a)는 이 선행 지출이 라우터가 자기 비용을 회수하는 시점을 크게 늦출 수 있음을 보여준다. 예를 들어 서비스 비용이 낮은 라우터라도 감독 비용이 크면 손익분기점이 수천 건 이상 뒤로 밀릴 수 있다.

기존 접근의 한계

기존 LLM 라우팅 연구는 크게 두 갈래다. 하나는 캐스케이딩 방식으로, 먼저 저렴한 모델에 질의하고 그 응답을 보고 더 강한 모델이 필요한지 판단한다. FrugalGPT나 AutoMix가 이런 방식을 쓴다. 다른 하나는 예측적 라우팅으로, 응답을 생성하기 전에 질의에 맞는 모델을 미리 고른다. Hybrid LLM, RouteLLM, RouterDC, EmbedLLM, GraphRouter 등이 여기에 속한다. 이 방법들은 라우팅 결정을 모델링하는 방식은 다르지만, 대부분 라우터 구축 시 상당한 양의 질의-모델 감독 데이터에 접근할 수 있다고 가정한다.

최근에는 희소하거나 부분적인 피드백으로 학습하는 연구도 등장했다. SemiRouter는 데이터가 풍부한 앵커 모델과 가벼운 어댑터로 새 모델을 희소 데이터에서 통합하고, BaRP는 밴딧 피드백에서 선택된 모델의 결과만 관찰하며 라우팅 정책을 학습한다. WISERouter는 데이터 수집과 배포를 모두 포함하는 워크로드 수준 예산 아래 탐색과 라우팅을 함께 고려한다. 그러나 이들은 서로 다른 감독 설정과 목표를 다루며, 사전 감독 지출 자체를 경제성 평가의 핵심으로 삼지는 않는다. 본 논문은 '제한된 감독 예산에서 어떤 질의-모델 결과를 얻어야 하고, 서비스 절감이 그 투자를 얼마나 빨리 회수하는가'에 초점을 맞춘다.

연구방법을 단계별로

SAVEROUTER는 세 단계로 구성된다. 첫째, 관련된 훈련 질의들을 그룹으로 묶고, 추정된 능력과 불확실성을 함께 사용해 적은 평가 예산을 적응적으로 배분한다. 둘째, 계층적 능력 추정을 수행한다. 구조화된 그룹-모델 사전 분포가 그룹과 모델 간 정보를 공유하고, 획득된 관측값이 이 사전 분포를 보정하며, 가벼운 잔차 예측기가 질의별 변동을 복원한다. 셋째, 이렇게 얻은 품질 추정치를 서비스 비용 추정치와 결합해 새로운 질의에 대해 비용 인지 라우팅을 수행한다.

적응적 희소 피드백 획득 단계에서는 질의당 K≪M개의 모델 평가만 허용된다. 먼저 질의를 그룹화하는데, 훈련 데이터에 예측 가능한 작업 레이블이 있으면 그것을 그룹으로 쓰고 분류기를 학습해 새 질의를 배정한다. 레이블이 없으면 고정된 질의 표현을 군집화한다. 그룹화에는 질의 입력과 훈련 측 그룹 정보만 사용하고 모델 품질 피드백은 쓰지 않는다. 각 그룹-모델 쌍에 대해 관측 횟수와 누적 품질을 추적하고, 전역 모델 능력으로 축소 추정한다. 이후 각 획득 패스에서 능력 추정치와 불확실성 점수를 결합한 UCB(Upper Confidence Bound) 방식으로 가장 정보가치가 높은 질의-모델 쌍을 선택한다. K번의 패스를 거치면 질의당 최대 K개의 서로 다른 모델 결과가 희소 감독 집합을 이룬다.

계층적 능력 추정에서는 먼저 관측된 쌍들에 대해 이원 가법 모형을 적합한다. 이 모형은 전체 난이도, 질의 그룹 효과, 모델 효과를 분리해 희소하게 관측된 그룹-모델 쌍에도 안정적인 사전 추정치를 제공한다. 이후 각 그룹-모델 쌍의 국소 관측 평균과 사전 추정치를 축소 계수 τ로 결합한다. 관측이 많으면 국소 피드백이 지배하고, 관측이 적으면 공유 구조에 더 의존한다. 완전히 관측되지 않은 쌍은 사전 추정치로 자연스럽게 대체된다.

질의 수준 잔차 보정은 그룹 수준 추정이 놓치는 그룹 내 변동을 복원한다. 각 관측 쌍에 대해 해당 관측값을 국소 통계에서 제외한 leave-one-out 기준선을 만들고, 실제 품질과의 차이인 잔차를 계산한다. 모델별로 충분한 관측이 있으면 가벼운 선형 리지 예측기를 학습해 질의의 문맥 표현으로부터 잔차를 예측한다. 최종 품질 추정치는 그룹-모델 추정치에 잔차 예측을 더한 값이다. 서비스 비용도 같은 희소 관측 집합에서 추정하며, 그룹-모델 쌍에 관측이 없으면 모델 수준 평균으로 대체한다. 배포 시에는 품질 추정치에서 비용 가중치를 뺀 효용을 최대화하는 모델을 선택한다.

결과와 숫자의 의미

네 가지 라우팅 벤치마크(LLMRouterBench, Mixinstruct, MMR-Bench, RouterBench)에서 SAVEROUTER는 모든 벤치마크에서 가장 높은 Peak Score(Ps)와 가장 낮은 Cost Ratio(CR)를 기록했다. 예를 들어 LLMRouterBench에서 SAVEROUTER의 Ps는 0.6338로 가장 강한 기존 완전 감독 기준선인 kNN의 0.6230보다 높고, CR은 0.2320으로 kNN의 0.3770보다 훨씬 낮다. 이는 목표 품질에 도달하는 데 필요한 서비스 비용이 최고 단일 모델 대비 23.2%에 불과하다는 뜻이다.

손익분기점(SA-BEP)에서도 큰 차이가 난다. LLMRouterBench에서 SAVEROUTER는 5.3K건의 배포 질의만으로 감독 비용을 회수하는 반면, 가장 빠른 기존 완전 감독 라우터인 OmniRouter는 11.5K건이 필요하다. RouterBench에서는 SAVEROUTER가 42.6K건인데 비해 EmbedLLM은 326.4K건으로 약 7.7배 차이가 난다. Mixinstruct는 라우팅 품질이 이미 포화되어 대부분의 방법이 비슷한 Ps를 보이지만, SAVEROUTER는 SA-BEP를 가장 빠른 기존 라우터의 11.63M건에서 1.23M건으로 약 9.5배 단축했다. 이는 서비스 품질 변화가 미미해도 감독 비용을 줄이면 손익분기점을 크게 앞당길 수 있음을 보여준다.

희소 피드백을 쓰는 기존 방법들과 비교하면 차이가 더 두드러진다. WISERouter와 SemiRouter는 여러 벤치마크에서 목표 품질에 도달하지 못하거나 양의 순절감을 만들지 못해 SA-BEP와 SA-CR이 무한대(∞)로 표시된다. BaRP는 경쟁력 있는 품질에 도달하지만 반복적인 밴딧 상호작용 때문에 감독 지출이 훨씬 크다. 예를 들어 LLMRouterBench에서 BaRP의 SA-BEP는 114.0K건인 반면 SAVEROUTER는 5.3K건이다. 따라서 희소 피드백 자체만으로는 충분하지 않고, 제한된 감독을 어떻게 획득하고 질의 간에 공유하는지가 경제적 효과를 좌우한다.

절제 실험에서는 질의 수준 잔차 보정을 제거하면 Ps가 1.63%p 하락하고 CR이 0.2320에서 0.3484로 악화되었다. 작업 인지 그룹 대신 임베딩 기반 군집을 쓰거나 모든 질의를 단일 그룹으로 묶으면 품질과 비용 효율이 모두 떨어졌다. 획득 정책 측면에서는 Random-K가 SA-BEP는 3.8K건으로 SAVEROUTER의 5.3K건보다 빠르지만, Ps와 SA-CR@1M은 SAVEROUTER가 더 우수하다. 이는 가장 빠른 손익분기점과 장기 효율성이 반드시 일치하지 않음을 보여준다. 능력과 불확실성을 결합한 UCB 정책이 가장 강한 품질-비용 절충을 달성했다.

구체적인 예시

논문의 Figure 1(b)는 감독이 과잉 공급될 수 있음을 보여주는 구체적 사례다. EmbedLLM은 전체 감독의 30%만으로 완전 감독 정확도의 99%를 회복하고, kNN은 60%만으로 같은 수준에 도달한다. 이는 라우팅 품질이 전체 질의-모델 행렬을 다 관측하기 훨씬 전에 포화됨을 의미한다. SAVEROUTER는 LLMRouterBench에서 질의당 K=2개 모델만 평가해도(16.7% 감독) 완전 감독 정확도에 근접하며, 같은 예산의 Uniform Random-K를 명확히 능가한다.

비용 회수 관점의 예시를 들면, LLMRouterBench에서 SAVEROUTER의 감독 획득 비용 C0는 181.09(정규화된 단위)이고, 반올림된 SA-BEP 5.3K건과 이 비용을 이용해 역산한 질의당 절감액 Δc는 약 0.034다. 이는 원문 표에 직접 제시된 절감액이 아니라 C0/SA-BEP로 계산한 근삿값이다. 반면 OmniRouter는 감독 비용이 더 크고 절감액도 작아 SA-BEP가 11.5K건이다. Mixinstruct에서 보고된 C0는 58,642.25, SA-BEP는 약 1.23M건이며 두 수치로 역산하면 Δc는 약 0.0477이다. 반면 kNN은 C0가 훨씬 커서 11.63M건이 필요하다. 이처럼 같은 품질을 유지하면서 감독 비용을 줄이면 손익분기점이 급격히 앞당겨진다.

모델 풀 확장 실험도 구체적인 시나리오를 제공한다. 기존 모델 풀에 새 모델이 추가될 때, SAVEROUTER는 새 모델을 전체 훈련 질의의 약 10%에서만 평가해도(예: LLMRouterBench에서 254건, RouterBench에서 771건) 완전 평가와 비슷한 품질을 유지했다. 12가지 도착 시나리오 중 8가지에서 완전 감독 밀집 기준선보다 높은 Ps를, 10가지에서 더 낮은 CR을 달성했다. 이는 새 모델을 도입할 때 전체 훈련 세트를 다시 실행할 필요가 없음을 시사한다.

한계와 오해하기 쉬운 점

이 연구의 비용 회계는 모델 실행 비용만 포함하고 라우터 학습 자체의 계산 비용은 제외한다. 또한 벤치마크마다 비용 단위와 정규화가 달라서 절대적인 금액 비교는 불가능하며, SA-BEP와 SA-CR은 벤치마크 내에서만 해석해야 한다. 논문은 이를 명시적으로 경고한다. 예를 들어 LLMRouterBench의 5.3K건과 RouterBench의 42.6K건을 직접 비교하면 안 된다.

감독 예산 K를 늘린다고 해서 항상 더 나은 결과가 나오는 것은 아니다. Table A5에서 LLMRouterBench는 K=2~4에서 이미 최고 품질에 근접하고, K를 더 늘리면 감독 비용만 증가해 SA-BEP가 오히려 늦어진다. MMRBench에서는 K=7이 가장 낮은 CR을 주지만 K=2가 가장 빠른 SA-BEP를 준다. RouterBench에서도 가장 낮은 CR은 K=8에서, 가장 빠른 유한 SA-BEP는 K=2에서 나온다. 따라서 '감독을 더 많이 모을수록 좋다'는 가정은 성립하지 않으며, 서비스 효율과 손익분기점을 함께 봐야 한다.

Random-K 절제 실험에서 Random-K가 SAVEROUTER보다 SA-BEP가 더 빠른 경우가 있다. 이는 SAVEROUTER가 항상 모든 지표에서 최고는 아님을 보여준다. 그러나 SAVEROUTER는 더 높은 Ps와 더 낮은 SA-CR@1M을 달성해 장기적 효율성에서 우위를 보인다. 따라서 단일 지표만으로 방법을 판단하면 오해할 수 있다. 또한 BaRP에 대한 캐시 피드백 민감도 분석에서, 반복 요청을 캐시로 처리하면 BaRP의 SA-BEP가 7.3~11.1배 감소한다. 이는 감독 비용 회계 방식에 따라 결과가 크게 달라질 수 있음을 의미한다.

논문은 성능이 K에 대해 단조 증가하지 않는 작은 변동을 추가 감독이 본질적으로 해롭다는 증거로 해석하지 말라고 당부한다. 감독 예산이 바뀌면 능력 추정기에 사용되는 관측값이 달라져 학습된 라우팅 프런티어가 바뀔 수 있다. 따라서 개별 운영점보다 전반적인 추세, 즉 라우팅 품질이 일찍 포화되고 추가 감독의 한계 이득이 작다는 점이 더 중요하다.

실제로 어떻게 활용할까

실무에서 LLM 라우팅 시스템을 구축할 때, 이 연구는 먼저 '감독 비용을 얼마나 쓸 것인가'를 설계 변수로 고려하라고 제안한다. 전체 훈련 질의에 모든 후보 모델을 실행하는 대신, 질의당 소수의 모델만 평가해도 충분한 경우가 많다. SAVEROUTER의 적응적 획득 방식은 능력과 불확실성이 높은 질의-모델 쌍을 우선 선택하므로, 같은 예산으로 더 많은 라우팅 정보를 얻을 수 있다.

새 모델을 기존 풀에 추가할 때도 이 방법을 쓸 수 있다. 전체 훈련 세트를 다시 실행하지 않고, 새 모델을 일부 질의(약 10%)에서만 평가해 기존 라우터에 통합할 수 있다. 이는 모델 풀이 자주 바뀌는 환경에서 특히 유용하다. 다만 MMRBench의 고비용 모델 도입처럼 일부 시나리오에서는 희소 온보딩의 효과가 떨어질 수 있으므로, 새 모델의 상대적 능력과 비용을 파악하기에 충분한 피드백인지 확인해야 한다.

평가 지표로는 SA-BEP와 SA-CR을 함께 사용하는 것이 좋다. SA-BEP는 투자 회수까지 필요한 배포 질의 수를, SA-CR은 특정 배포 기간(예: 100만 건) 후의 상각 비용 비율을 보여준다. 서비스 시점의 CR만 보면 감독 비용이 큰 라우터가 유리해 보일 수 있지만, SA-BEP를 보면 실제로 언제 이득이 나는지 알 수 있다. 예를 들어 RouterBench에서 BaRP의 CR 0.9355와 SAVEROUTER의 0.6810은 둘 다 기준 비용 1보다 낮지만, 비용 비율이 낮을수록 좋으므로 SAVEROUTER가 서비스 단계에서도 더 저렴하다. 감독 비용까지 고려한 SA-BEP도 각각 3.25M건과 42.6K건으로 크게 다르다. 따라서 배포 규모와 기간을 고려해 두 지표를 함께 검토해야 한다.