연구난이도 어려움허깅페이스 화제 논문 · 10월 5일(월) 공개

반복형 언어모델의 고정점을 활용해 메모리와 계산을 줄이기

반복 계산이 안정되는 상태를 활용하고 학습 방식을 바꿔, 제한된 모델 규모에서 KV 캐시와 입력 처리·강화학습 비용을 줄였습니다.

쉽게 말하면비유하자면 같은 원고를 여러 번 고쳐 쓰다 보면 어느 순간부터 더 고쳐도 글이 거의 달라지지 않는 것과 같다. 그렇다면 중간 초안을 다 보관하지 않고 마지막 원고만 남겨도 된다. 이 연구는 모델이 그런 상태에 잘 이르도록 학습 방법을 바꿨다.

왜 봐야 하나: 같은 블록을 반복해 쓰는 루프 언어 모델을 만드는 사람에게 메모리와 입력 처리 시간을 줄일 선택지를 준다. 다만 반복 횟수를 고정해 학습한 모델에 마지막 캐시만 남기는 방법을 쓰면 성능이 크게 떨어진다. 최대 1.6B 규모에서만 확인했고 대규모 서비스 적용은 검증되지 않았다.

이 논문은 반복적으로 같은 블록을 적용하는 '루프 언어 모델'에서 반복 상태가 고정점에 가까워지면 경로가 중요하지 않게 된다는 점을 활용해, 학습·추론·강화학습의 비용을 줄이는 방법을 다룬다. 핵심 결과는 고정점을 잘 형성하도록 학습 깊이 분포를 예측 피드백으로 학습하고, 입력 주입 시 상태의 입력 방향 성분을 제거하는 직교 주입을 도입해 100M~1.6B 파라미터 모델에서 혼란도를 낮추고, 평가한 5회 반복 설정에서 말단 KV 공유로 캐시를 원래의 3분의 1로 줄이고 다운스트림 평균의 손실을 작게 유지하며, 증류된 프리필로 8K 입력에서 최대 1.79배 빠르게 하고, RL 업데이트의 스코어링·역전파 단계에서 저장된 롤아웃 상태를 재사용해 약 2배 빠르게 만든 것이다.

알아낸 것

5회 반복 설정에서 마지막 반복의 캐시만 남겨 추론 때 쓰는 KV 캐시 메모리를 원래의 3분의 1로 줄였다. 이때 이 연구 방식으로 학습한 1.6B(파라미터 16억 개) 모델의 GSM8K 정확도는 50.42에서 47.92로 2.5포인트 낮아졌다.
반복을 건너뛰도록 학습한 작은 네트워크는 8K 길이 입력을 읽어 들이는 단계(프리필)를 원래 모델보다 최대 1.79배 빠르게 했다. 대신 1.6B 모델의 과제 평균 점수는 60.00에서 55.53으로 떨어졌다.
강화학습에서는 저장해 둔 상태를 다시 써서 채점과 역전파 단계가 약 2배 빨라졌다. 전체 강화학습 시간이 2배 빨라진 것은 아니다. 모델은 최대 1.6B였고, 설정마다 시드 1개로 한 번씩만 실험했다.

한계와 주의할 점

표지 작성일은 2026-09-29이며, 검증된 arXiv 최초 공개일은 2026-10-05입니다. 모델 규모 최대 1.6B, 설정당 시드 1개이며 실제 대규모 서비스 적용은 미검증입니다.
1.79배는 8K 입력의 prefill 최대 가속이고, 2배는 RL scoring+backward 부분 가속입니다. 전체 추론·전체 RL 속도와 구분해야 합니다.

용어 풀이

고정점: 반복 함수 Fθ를 적용해도 상태가 변하지 않는 지점 z⋆ = Fθ(z⋆; x). 루프 모델의 반복 상태가 고정점에 가까워지면 경로가 중요하지 않아 끝점만으로 궤적을 대체할 수 있다. 이 논문의 모든 효율성 기법의 기반이 된다.
말단 KV 공유: 추론 시 각 토큰의 마지막 반복에서 생성된 키-값(KV) 캐시만 유지하고, 이후 토큰의 모든 반복이 이 말단 캐시를 읽도록 하는 방법. 반복 깊이에 비례해 증가하는 KV 캐시 메모리를 크게 줄일 수 있다. 고정점을 잘 형성한 모델에서만 성능 손실이 적다.
학습 깊이 사전: 학습 시 각 마이크로배치에 적용할 반복 깊이의 확률 분포. 고정 깊이는 KV 공유를 깨뜨리고, 고정 PLN 분포는 목표 깊이의 지도를 희석시킨다. 이 논문은 예측 피드백으로 이 분포를 학습해 두 문제를 동시에 완화한다.
직교 입력 주입 (OrthoInj): 반복 상태의 캐리오버를 입력 벡터에 직교하도록 투영한 후 입력을 더하는 방식. 기존 방식에서 캐리오버가 입력을 증폭하거나 상쇄하는 문제를 해결해, 모든 반복에서 입력이 일정한 강도로 유지되도록 한다.
증류된 프리필: 루프 모델의 반복 코어를 대체하는 경량 학생 네트워크를 학습시켜, 프리필 단계에서 반복을 수행하지 않고 고정점 상태를 직접 예측하는 방법. 말단 KV 공유 덕분에 학생은 모든 반복의 KV가 아닌 끝점만 예측하면 된다.

더 깊이 읽기 읽는 데 약 9분

배경과 문제

루프 언어 모델은 같은 층 블록을 여러 번 반복 적용해 파라미터 수를 늘리지 않고도 깊은 계산을 수행한다. 하지만 반복 횟수가 늘어날 때마다 학습 중 활성화 저장, 추론 중 키-값(KV) 캐시, 프리필 계산, 강화학습(RL)의 롤아웃 재생 등 모든 단계에서 비용이 선형적으로 증가한다. 이 논문은 반복 상태가 '고정점'에 가까워지면 그 경로가 중요하지 않게 된다는 관찰에서 출발한다. 고정점이란 반복 함수 Fθ를 적용해도 상태가 변하지 않는 지점 z⋆ = Fθ(z⋆; x)을 말한다. 상태가 고정점 근처에 있으면 끝점만으로 전체 궤적을 대체할 수 있어, KV 저장과 업데이트 재계산 등 일부 비용의 반복 깊이 의존성을 줄일 수 있다. 모델의 응답 생성 전체에서 반복 계산이 사라지는 것은 아니다.

하지만 모든 루프 모델이 고정점을 형성하는 것은 아니다. 예를 들어 Huginn 모델은 상태가 고정점에 접근하지만 Ouro 모델은 그렇지 않다. 이 차이는 말단 KV 공유 실험에서 드러난다. 인용된 같은 GSM8K 평가에서는 Huginn은 32회 반복에서 KV를 공유해도 정확도가 거의 변하지 않았지만, Ouro는 4회 반복에서 크게 하락했다. 따라서 고정점을 잘 형성하도록 학습을 설계하는 것이 핵심 과제가 된다. 논문은 고정점 형성에 영향을 주는 두 가지 요소, 즉 학습 깊이 분포(깊이 사전)와 입력 주입 방식을 개선하는 데 초점을 맞춘다.

기존 접근의 한계

기존에는 학습 깊이를 고정하거나 Huginn처럼 고정된 포아송-로그정규(PLN) 분포에서 샘플링했다. 고정 깊이 학습은 해당 깊이에서는 예측이 좋지만, 말단 KV 공유를 사용하면 성능이 크게 떨어진다. 예를 들어 1.6B 모델에서 고정 깊이 학습 후 말단 KV 공유를 적용하면 GSM8K 정확도가 50.6에서 21.2로 절반 이하로 떨어진다. 반면 PLN 분포는 다양한 깊이를 지원해 KV 공유를 가능하게 하지만, 목표 깊이에서의 지도 신호가 희석되어 예측 품질이 떨어진다. 즉, 고정 깊이와 고정 PLN 사이에는 예측 품질과 고정점 형성 사이의 트레이드오프가 존재한다.

입력 주입 방식도 문제가 있다. 기존의 Parcae 방식은 상태의 입력 방향 성분을 제약하지 않아, 이 성분이 입력 주입을 증폭하거나 상쇄할 수 있다. 실제로 Parcae-Decay 모델에서 고정점에서의 캐리오버(이전 상태)가 입력 벡터와 이루는 코사인 유사도는 0.81~0.91로 매우 높아, 입력이 원래 크기의 2.2~3.4배로 증폭되어 들어간다. 이는 고정점이 입력을 얼마나 유지하는지가 상태에 따라 달라지게 만들어 성능을 해칠 수 있다. 따라서 입력 주입을 일정하게 유지하는 방법이 필요하다.

연구방법을 단계별로

첫 번째 개선은 학습 깊이 사전을 예측 피드백으로 학습하는 것이다. 기존의 고정 PLN 분포 대신, 깊이 1부터 64까지의 범주형 분포 pφ = softmax(φ)를 두고 학습 가능한 로짓 φ를 최적화한다. 각 최적화 단계에서 마이크로배치마다 깊이 r을 샘플링하고, 그 깊이에서의 다음 토큰 교차 엔트로피(CE)를 보상으로 변환해 어드밴티지를 계산한다. 어드밴티지는 지수 이동 평균으로 중심화하고 CE 스케일로 재조정한다. 목적 함수는 예측 품질을 높이는 항, 깊이 다양성을 유지하는 엔트로피 항, 평균 깊이를 목표값에 고정하는 예산 제어 항으로 구성된다. 엔트로피 계수 λH를 조절하면 성능과 메모리 효율 사이의 균형을 직접 조절할 수 있다.

두 번째 개선은 직교 입력 주입(OrthoInj)이다. 기존 Parcae 방식에서는 캐리오버 Λhr_t가 입력 qt 방향의 성분을 가질 수 있어 입력이 증폭되거나 상쇄된다. OrthoInj는 캐리오버를 입력 qt에 직교하는 방향으로 투영한 후 qt를 더한다. 수식으로는 ζr_t = Q_qt Λhr_t + qt이며, Q_qt = I - qt qt^T / (||qt||^2 + ε)이다. 이렇게 하면 모든 반복에서 입력 방향의 불필요한 캐리오버를 제거해 qt의 주입을 일정하게 유지하도록 하고, 직교 성분만 자유롭게 진화한다. 투영 행렬의 노름이 1 이하이므로 수축성도 유지된다. 이 방법은 기존의 직교 잔차 업데이트와 달리, 모듈 출력이 아니라 캐리오버 상태를 입력에 직교화한다는 점이 다르다.

결과와 숫자의 의미

학습된 깊이 사전은 고정 PLN 사전보다 모든 규모(100M, 400M, 1.6B)에서 검증 혼란도를 0.7~1.8% 낮추고, 다운스트림 평균을 높인다. 특히 1.6B 모델에서 말단 KV 공유를 적용해 KV 캐시를 3배 줄여도, 고정 깊이 학습의 전체 캐시 다운스트림 평균과 일치한다. 특히 이 GSM8K 설정에서는 엔트로피 항이 중요한데, λH=0이면 1.6B 모델의 GSM8K 정확도가 47.92에서 36.47로 떨어진다. 또한 학습된 사전은 같은 파라미터 수와 KV 캐시를 가진 비공유 4블록 모델(Untied 4)보다 다운스트림 평균에서 규모가 커질수록 앞서며, 1.6B에서는 8.9포인트 차이를 보인다.

OrthoInj는 가장 강력한 기준인 Parcae-Decay보다 모든 규모에서 검증 혼란도를 0.3~1.4% 낮추고 다운스트림 평균을 높인다. 학습 종료 시점의 학습 손실도 모든 규모에서 가장 낮다. 말단 KV 공유를 적용한 상태에서도 성능이 유지된다. 또한 RL 실험에서 저장된 롤아웃 상태를 재사용하면 전체 BPTT 대비 스코어링 및 역전파 시간이 GSM8K에서 1.99배, MBPP+에서 2.02배 빨라진다. 증류된 프리필은 8K 프롬프트에서 교사 모델 대비 1.5~1.8배 빠르며, 다운스트림 평균은 1.0~4.5포인트 뒤처진다. 같은 지연 시간에서 교사를 2회 반복으로 조기 중단하는 것보다 0.5~0.9포인트 높은 성능을 보인다.

구체적인 예시

말단 KV 공유의 효과를 이해하기 위해 1.6B 모델의 예를 들어보자. 고정 깊이 5로 학습한 모델은 전체 KV 캐시를 사용할 때 GSM8K 정확도가 50.6이지만, 말단 KV만 공유하면 21.2로 떨어진다. 반면 학습된 깊이 사전(λH=0.01)을 사용한 모델은 전체 캐시에서 50.42, 말단 공유에서 47.92로 차이가 2.5포인트에 불과하다. 이는 학습된 사전이 다양한 깊이에서 지도 신호를 제공해, 말단 컨텍스트만으로도 잘 예측하도록 만들었기 때문이다.

RL에서의 상태 재사용 예시도 있다. GSM8K 미세 조정에서 전체 BPTT는 업데이트당 스코어링 및 역전파 시간이 2.77초 걸리지만, Reuse + Neumann-4는 1.39초로 약 절반이다. 성능은 전체 BPTT의 pass@1 63.20%에 비해 61.65%로 1.55포인트 낮지만, 논문은 이 차이를 재계산 대조군과의 차이에서 추정한 실행 변동 범위 안으로 해석한다. 여러 시드로 통계적 동등성을 입증한 결과는 아니다. 또한 증류된 프리필의 경우, 1.6B 모델에서 교사 프리필(R=5)은 8K 프롬프트에 1482.1ms 걸리지만, 증류된 학생은 830.3ms로 1.79배 빠르다. 다운스트림 평균은 교사 60.00에서 학생 55.53으로 4.47포인트 하락한다.

한계와 오해하기 쉬운 점

이 연구의 모델 규모는 최대 1.6B 파라미터이며, 각 설정당 시드가 1개뿐이다. 따라서 결과의 통계적 변동성을 완전히 평가하지 못했고, 더 큰 규모나 다른 모델 구성에서는 검증되지 않았다. 실제 대규모 서비스 적용 가능성도 추가 연구가 필요하다. 또한 1.79배 가속은 8K 입력의 프리필 최대 가속이며, 2배 가속은 RL의 스코어링+역전파 부분에만 해당한다. 전체 추론이나 전체 RL 속도와 혼동해서는 안 된다. RL에서 롤아웃 생성이 전체 시간의 대부분을 차지하므로, 업데이트만 2배 빨라져도 전체 RL 시간은 크게 줄지 않을 수 있다.

말단 KV 공유가 항상 무손실인 것은 아니다. 고정 깊이 학습 모델에서는 성능이 크게 떨어지며, 학습된 사전에서도 깊이 5에서는 최대 0.85%의 혼란도 증가가 관찰된다. 깊이가 깊어질수록 공유 비용은 줄어들지만, 완전한 무손실은 아니다. 또한 증류된 프리필은 규모가 커질수록 교사와의 격차가 벌어진다. 1.6B에서는 다운스트림 평균이 4.5포인트 차이나며, 더 깊은 교사(R=25)를 증류하면 속도 향상은 커지지만 품질 손실이 더 커져 R=5 학생보다 오히려 느리고 부정확해질 수 있다. 따라서 실제 적용 시에는 작업의 지연 시간 요구와 정확도 요구 사이의 균형을 신중히 평가해야 한다.

실제로 어떻게 활용할까

이 연구의 기법은 루프 언어 모델을 배포할 때 비용을 줄이는 데 직접 활용할 수 있다. 말단 KV 공유는 추론 시 KV 캐시 메모리를 반복 깊이에 비례해 줄여주므로, 긴 컨텍스트를 처리하는 서비스에서 메모리 사용량을 크게 낮출 수 있다. 예를 들어 5회 반복 모델에서 캐시 뱅크 수를 12개에서 4개로 줄이면 이 캐시 부분의 메모리가 원래의 3분의 1이 된다. 증류된 프리필은 첫 토큰 지연 시간을 줄여야 하는 대화형 애플리케이션에 유용하다. RL 파이프라인에서는 저장된 롤아웃 상태를 재사용해 업데이트 계산을 가속화할 수 있다.

다만 적용 시에는 모델이 고정점을 잘 형성하도록 학습되었는지 확인해야 한다. 고정 깊이로 학습된 모델에 말단 KV 공유를 적용하면 성능이 급락할 수 있으므로, 학습된 깊이 사전이나 PLN 샘플링을 사용한 모델이어야 한다. 또한 증류된 프리필은 교사 모델의 디코딩을 그대로 사용하므로, 프리필 비용을 줄이는 선택지지만, 학생의 초기 상태 오차 때문에 최종 과제 정확도가 낮아질 수 있다. RL 상태 재사용은 매개변수가 바뀌기 전의 온-폴리시 업데이트에서 검증되었으며, 구현은 오래되거나 토큰이 맞지 않는 저장 상태를 거부한다. 오프-폴리시나 여러 번 갱신하는 설정은 별도 검증이 필요하다. 이러한 조건을 고려해 각 기법을 선택적으로 결합하면, 학습부터 서빙까지 전 단계에서 깊이 의존적 비용을 줄일 수 있다.

원문에서 확인한 근거 5곳

고정 깊이 학습은 말단 KV 공유를 깨뜨려 1.6B 모델에서 GSM8K 정확도가 50.6에서 21.2로 떨어진다.Fixed-depth training breaks KV sharing
학습된 깊이 사전은 고정 PLN 사전보다 모든 규모에서 검증 혼란도를 0.7~1.8% 낮춘다.learned prior keeps sharing intact
OrthoInj는 Parcae-Decay보다 모든 규모에서 검증 혼란도를 0.3~1.4% 낮추고 다운스트림 평균을 높인다.OrthoInj outperforms existing input injection
RL에서 저장된 롤아웃 상태를 재사용하면 전체 BPTT 대비 스코어링 및 역전파 시간이 GSM8K에서 1.99배, MBPP+에서 2.02배 빨라진다.update2× faster than full BPTT
증류된 프리필은 8K 프롬프트에서 교사 모델 대비 1.5~1.8배 빠르며, 다운스트림 평균은 1.0~4.5포인트 뒤처진다.prefill trades downstream accuracy for1.5–1.8×

출처원문 — 허깅페이스 화제 논문 PDF

10월 6일(화) 정리 · AI가 쓰고 원문과 대조