LLM의 수면 학습: 기존 연구를 풀어쓴 Google의 새 해설

배경과 문제

LLM의 사전 학습된 파라미터에는 학습 이후 새로 생긴 사실이 자동으로 추가되지 않는다. 문맥이나 외부 자료로 정보를 제공할 수는 있지만, 그것을 다음 세션에도 내부 지식으로 활용하는 문제는 별개다. 새 데이터로 파라미터를 계속 갱신하면 이전에 잘하던 작업의 성능이 떨어지는 파국적 망각이 생길 수 있다. 연구진은 같은 저장 공간에 새 지식을 넣는 과정에서 기존 지식이 덮이는 문제를 강조한다.

문맥 내 학습(ICL)은 입력에 예시와 자료를 넣어 그 자리에서 적응하는 방식이다. 모델의 가중치를 바꾸지 않으므로 문맥에서 자료가 사라지면 같은 정보를 다시 제공해야 할 수 있다. 논문은 이를 단기 경험이 오래 유지되는 기억으로 이어지지 않는 문제에 비유한다. 사람의 기억 공고화에서 영감을 얻었지만, 뇌의 기억 체계를 그대로 복제했다는 뜻은 아니다. 핵심 질문은 임시 정보를 어떤 주기로 더 안정된 파라미터에 통합할지다.

기존 접근의 한계

모델을 최신 상태로 유지하는 기존 방법은 크게 세 가지다. 첫째, 확장된 데이터셋으로 다시 사전 학습하는 방법은 효과적이지만 계산 비용이 매우 커서 자주 업데이트하기 어렵다. 둘째, 파인튜닝이나 LoRA 같은 경량 업데이트를 반복할 때도 망각 위험을 관리해야 한다. 셋째, 문맥 내 학습은 효율적이지만 지식이 문맥 창 안에만 머물러 세션이 끝나면 사라진다. 즉, 지식의 노후화와 파국적 망각, 그리고 업데이트 비용 사이에서 방법마다 서로 다른 비용과 한계가 있다.

최근에는 '온폴리시 자기 증류(OPSD)'라는 방법이 주목받고 있다. 이는 같은 모델이 교사와 학생 역할을 번갈아 하며 자신이 생성한 데이터로 스스로를 학습시키는 방식이다. 논문의 관련 연구 절은 교사에게만 주어진 정보를 이용하는 자기 증류에서 분포 밖 성능 저하와 학습 붕괴를 보고한 후속 연구들을 논의한다. 이는 수면 연구가 직접 모든 자기 증류 모델을 같은 조건으로 시험해 얻은 결론은 아니다. 연구진은 이 한계를 '용량 부족' 문제로 재해석했다. 새 지식을 저장할 파라미터 공간이 부족해서 기존 지식을 덮어쓰게 된다는 것이다. 따라서 단순히 학습 목표를 바꾸는 것이 아니라, 기억 시스템의 구조 자체를 바꿔야 한다고 주장한다.

연구방법을 단계별로

수면 프레임워크는 모델의 수명 주기를 '활동(wake)'과 '수면(sleep)' 두 상태로 나눈다. 활동 단계에서 모델은 외부 입력을 받아 처리하고, 그 정보는 주의(attention) 모듈 같은 고주파(빠르게 업데이트되는) 단기 기억에 저장된다. 수면 단계에서는 외부 입력을 받지 않고 내부 계산에 집중해, 단기 기억을 저주파(천천히 업데이트되는) 장기 파라미터로 옮긴다. 이때 수면은 두 하위 단계로 구성된다. 첫째는 '기억 공고화'로, 단기 기억을 장기 기억으로 옮기는 과정이다. 둘째는 '꿈(dreaming)'으로, 모델이 스스로 합성 데이터를 만들어 연습하며 추론 능력을 개선하는 과정이다.

기억 공고화의 핵심은 '지식 시딩(Knowledge Seeding)'이라는 위로 증류다. 먼저 모델은 저주파 메모리 블록에 새로운 저랭크 전문가(expert)를 추가해 용량을 늘린다. 저랭크 전문가는 원래 파라미터보다 훨씬 작은 두 행렬의 곱으로 표현되는 추가 파라미터로, 새 지식을 옮길 공간을 제공한다. 증류에는 새 저랭크 파라미터를 사용하지만, 전체 절차에는 보내는 블록의 기본 가중치 갱신도 포함된다. 그런 다음, 고주파 블록의 지식을 새로 추가된 저주파 전문가로 증류한다. 이때 '온폴리시 증류'와 '모방 학습'을 결합한 일반화 지식 증류(GKD)를 사용한다. 온폴리시 증류는 학생 모델이 스스로 생성한 시퀀스에 대해 교사 모델의 토큰별 피드백을 받아 학습하는 방식이고, 모방 학습은 학생이 교사의 출력을 의미적 유사성과 레벤슈타인 거리(문자열 편집 거리)로 보상받으며 따라 하도록 강화 학습을 적용하는 방식이다. 공고화 후에는 미리 계산한 기본 가중치 갱신을 적용하고, 보내는 블록에 누적된 추가 전문가를 초기화한다. 따라서 단기 블록의 모든 파라미터를 무작위로 지운다는 뜻은 아니다.

꿈 단계는 렘(REM) 수면에서 뇌가 시나리오를 시뮬레이션하며 새로운 연결을 탐색하는 것을 모방한다. 모델은 주어진 과제 문맥을 바탕으로 여러 개의 '꿈'(합성 훈련 샘플)을 생성한다. 이때 MoE(혼합 전문가) 라우터가 무작위로 비표준 전문가를 활성화해, 평소에는 섞이지 않던 지식 영역을 강제로 결합시킨다. 그래디언트 기반 점수가 높은 꿈을 고르되 다양성을 위해 무작위 샘플도 함께 남긴다. 선택된 꿈으로 모델을 파인튜닝하고, 그 결과가 다운스트림 과제 성능을 실제로 개선했는지 평가해 보상으로 사용한다. LoRA로 시험한 뒤 실제 과제 성능의 개선 여부를 보상으로 삼고 ReSTEM으로 생성 방식을 갱신한다. 추가 사람 피드백은 줄이지만 평가 과제와 보상 규칙은 사람이 정하므로, 정답이나 외부 평가가 전혀 필요 없다는 뜻은 아니다.

결과와 숫자의 의미

수학 추론 벤치마크에서 수면 프레임워크는 Qwen3-8B 모델 기준 AIME24 79.2%, AIME25 69.0%, HMMT25 46.1%의 정확도를 기록했다. 이는 기본 모델(73.8%, 68.1%, 42.4%)과 SFT(75.5%, 66.4%, 43.7%)보다 높다. 여기서 정확도는 average@16, 즉 각 문제에 대해 16개의 샘플을 생성해 평균을 낸 값이다. Qwen3-1.7B 모델에서도 수면은 53.2%, 40.2%, 29.3%로 기본 모델(49.8%, 34.5%, 25.7%)과 SFT(47.3%, 36.1%, 22.9%)를 능가했다. 이 비교 조건에서는 수면 방식의 점수가 높았다. 여러 요소가 함께 바뀐 방법이므로 개별 단계의 기여는 절제 실험과 함께 읽어야 한다.

사실 지식 통합 실험에서는 SQuAD 데이터셋의 지문을 모델에 학습시킨 후, 지문을 다시 제공하지 않고 질문에 답하는 정확도를 측정했다. 단일 지문(n=1) 설정에서 4단계 수면 모델은 48.9%를 기록해 SEAL(46.7%)과 기본 모델(31.9%)을 앞섰다. 연속 사전 학습(CPT) 설정에서는 200개 지문과 974개 질문을 사용했는데, 수면 모델은 46.2%로 SEAL(43.2%)보다 높았다. CPT에서는 각 지문마다 5개의 꿈을 생성해 합성 데이터셋을 만들었다. 이 점수는 지문을 다시 보지 않고 새 사실에 답한 정도를 나타낸다. 해당 표만으로 기존 모든 지식이 보존됐다고 판정할 수는 없다.

긴 문맥 이해에서는 BABILong 벤치마크에서 수면 모델이 1000만 토큰까지 거의 완벽한 성능을 유지했다. 비교 대상에는 큰 모델과 다른 소형 장문맥 모델이 포함되지만, 큰 모델은 제로샷이고 소형 모델은 과제별 미세조정을 거친 조건이어서 모델 크기만 바꾼 공정한 대조 실험은 아니다. 다만 이 결과는 해당 벤치마크로 미세조정된 소형 모델이 과제 관련 정보를 파라미터로 압축한 것이지, 모든 실세계 1000만 토큰 원문을 원형 그대로 기억한다는 뜻은 아니다. 미세조정 없이는 소형 모델의 성능이 크게 떨어진다고 논문은 명시한다.

연속 학습 실험에서는 만주어와 칼라망어 같은 사전 학습에서 보지 못한 언어의 번역을 순차적으로 학습할 때, 여러 공고화 단계를 쓴 Hope-3가 각 언어를 따로 배웠을 때의 성능에 가까워졌다. 반면 ICL, Cartridges, SFT는 심각한 파국적 망각을 겪었다. 클래스 증분 학습에서도 Hope 아키텍처가 CLINC, Banking, DBpedia 데이터셋에서 EWC, InCA, ICL보다 높은 정확도를 보였다. 소수샷 추론(ARC)에서는 Llama3.2-1B 모델로 11개 학습 과제와 8개 테스트 과제를 사용했는데, 수면 모델이 80% 성공률을 기록해 SEAL(72.5%)을 앞섰다. 이 80%는 테스트 과제당 5개 꿈 중 정답을 내는 꿈의 비중이며, 전체 ARC 공식 점수나 모든 문제 해결률이 아니다.

구체적인 예시

수면 프레임워크의 작동을 이해하기 위해 가상의 예를 들어보자. 어떤 고객 지원 챗봇이 활동 단계에서 사용자로부터 '새로 출시된 제품 X의 환불 정책은 30일 이내 전액 환불'이라는 정보를 받았다고 하자. 이 정보는 먼저 주의 모듈의 단기 기억에 저장된다. 세션이 끝나면 이 정보는 사라질 위기에 처한다. 수면 단계가 시작되면, 모델은 저주파 메모리 블록에 새로운 저랭크 전문가를 추가하고, 단기 기억의 정보를 이 전문가로 증류한다. 이 과정에서 모델은 '환불 정책'이라는 추상적 개념과 '30일'이라는 구체적 사실을 함께 압축해 저장한다. 공고화가 끝나면 단기 기억은 초기화되어 다음 대화를 위한 공간을 확보한다.

꿈 단계의 가상 예로 수학 문제 풀이를 생각해보자. 모델은 주어진 과제 문맥에서 합성 문제와 풀이를 만든다. 무작위 전문가 선택은 평소와 다른 조합을 탐색하게 하고, 그래디언트 점수와 일부 무작위 표본으로 연습 자료를 고른다. 선택한 자료로 작은 추가 학습을 시험한 뒤 과제 성능이 나아지는지 평가한다. 이것은 방법을 이해하기 위한 예이며, 특정 전문가가 대수나 기하 전담으로 분리됐거나 공식 시험 정답을 자유롭게 사용해 자기 약점을 완벽히 찾아낸다는 실험 결과가 아니다.

한계와 오해하기 쉬운 점

첫째, '수면'과 '꿈'은 생물학적 의식이나 실제 잠의 증거가 아니다. 이는 사람이 정한 학습 규칙의 비유일 뿐이며, 모델은 고정된 아키텍처 안에서 사람이 정의한 훈련 규칙에 따라 파라미터를 업데이트할 뿐이다. 코드 자체를 마음대로 개조하거나 임의 성능을 보장하는 시스템이 아니다. 둘째, 주요 결과는 특정 데이터셋과 소형 모델에서 얻었다. 프런티어 모델에서 같은 효과가 확인됐다는 주장은 원문에 없다. 셋째, 효율성 측면에서 같은 학습 스텝 수에서는 SFT가 수면보다 4배 효율적이다. 다만 같은 목표 성능에 도달하는 데 걸리는 시간을 비교하면, SFT가 AIME24에서 4.3배, AIME25에서 3.6배, HMMT25에서 4.8배 더 오래 걸렸다. 즉, 무조건 4배 빠르다고 말할 수 없고 비교 기준에 따라 다르다.

평가마다 성공의 뜻이 다르다. BABILong은 과제별 학습을 거친 장문 벤치마크이고, ARC는 선별한 작은 과제 집합에서 합성 연습의 성공 비율이며, SQuAD는 지문을 다시 주지 않은 질문의 정답률이다. 이 숫자를 같은 “기억력” 지표처럼 합쳐서는 안 된다. 모델의 저장 용량 확장, 수면 중 추가 학습, 합성 자료 선별에는 비용이 든다. 또한 새 Google 글의 날짜와 기존 연구 공개 시점이 다르며, 이번 확인은 공개 본문·논문의 표와 조건을 대조한 것이지 실험을 독립 재현한 것은 아니다.

실제로 어떻게 활용할까

배포 뒤 새 정보를 계속 반영해야 하는 시스템을 연구할 때, 이 방법은 임시 입력을 언제 장기 지식으로 옮길지 설계하는 출발점이 될 수 있다. 고객 지원의 정책 변경처럼 내용이 바뀌는 과제에 적용한다면, 새 정책의 정답률과 이전 업무의 성능, 학습 비용을 함께 측정해야 한다. 앞의 챗봇은 설명용 예시이며 이 논문에서 실제 서비스로 검증한 결과가 아니다. 특히 장문 벤치마크의 성공을 법률·의료 문서 전체의 신뢰성 있는 기억으로 곧바로 확장할 근거는 없다.

연구 관점에서는 이 프레임워크가 망각을 용량과 기억 갱신 주기의 문제로 함께 보자는 관점을 제시한다. 자기 증류의 모든 방식이 실패한다는 뜻은 아니며, 수면은 기억 공고화와 자기 개선을 분리하고 점진적으로 파라미터를 확장함으로써 안정성을 높인다. 이는 향후 자기 개선형 LLM을 설계할 때, 단순히 학습 목표를 바꾸는 것이 아니라 기억 시스템의 구조와 업데이트 주기를 함께 고려해야 함을 시사한다. 다만 이 아이디어가 대규모 모델이나 실제 서비스 환경에서도 동일하게 작동할지는 추가 검증이 필요하다.