Copy-Paste 언어모델: 복사 통로를 따로 만들면 학습이 쉬워질까

배경과 문제

언어에는 같은 단어가 반복해서 나타나는 성질이 강하다. 논문에 따르면 사전학습 말뭉치인 FineWeb-Edu에서 4k 토큰 문맥 안에 이미 등장한 토큰이 약 60%에 이른다. 문서는 같은 개체와 사건을 다시 언급하고, 대화는 이전 발화를 반복하며, 코드는 같은 변수와 함수를 계속 참조한다. 따라서 문맥에서 필요한 토큰을 복사하는 것은 언어 모델이 수행하는 가장 기본적인 연산 중 하나다. 실제로 트랜스포머 언어 모델은 유도 헤드(induction head)나 검색 헤드(retrieval head) 같은 여러 어텐션 헤드를 복사 작업에 사용한다.

그런데 표준 신경망 언어 모델 구조에서는 복사가 의외로 배우기 어렵다. 모든 다음 토큰 예측은 어휘 크기 V보다 훨씬 작은 은닉 차원 D를 가진 선형 투사층인 LM head를 통해서만 만들어진다. 이 저차원 층은 모델이 표현할 수 있는 확률 분포를 제한할 뿐 아니라, 역전파 과정에서 어휘 공간의 기울기를 D차원으로 압축하면서 학습 신호의 대부분을 버린다. 복사는 백본이 쉽게 모델링할 수 있어도 이 두 효과에 그대로 노출된다. 그 결과 일반 트랜스포머는 어휘 크기가 커지면 단순한 합성 복사 과제조차 풀지 못한다고 논문은 지적한다.

기존 접근의 한계

포인터 네트워크는 인코더-디코더나 순환 신경망 모델에 입력 위치를 직접 가리키는 능력을 주기 위해 제안됐지만, 셀프 어텐션이 등장하면서 거의 쓰이지 않게 됐다. 디코더 전용 트랜스포머에서는 셀프 어텐션이 이미 이전 토큰을 검색할 수 있으므로 포인터가 불필요하다고 여겨졌기 때문이다. 그러나 저자들은 문제의 핵심이 출력 쪽에 있다고 본다. 백본이 복사할 위치를 찾아도, 복사된 토큰을 최종 예측으로 바꾸려면 반드시 저차원 LM head를 통과해야 한다.

기존의 소프트맥스 병목 완화 방법들은 여러 LM head를 섞거나 비선형성을 추가해 표현력을 높이려 했지만, 출력 행렬이 문맥과 무관하게 고정된다는 점은 그대로였다. 따라서 역전파 때 학습 신호가 손실되는 문제는 해결하지 못한다. 신경 캐시와 kNN-LM은 외부 메모리를 활용하는 관련 연구다. 이 논문이 직접 비교한 것은 조정한 신경 캐시이며, 미학습 복사 경로와 모든 kNN-LM 방식의 무효성을 함께 검증한 것은 아니다. 해당 신경 캐시를 기존 모델의 추론에만 더했을 때는 거의 이득이 없었다. CPLM은 이와 달리 복사 경로를 처음부터 언어 모델과 함께 학습시킨다.

연구방법을 단계별로

CPLM은 기존 LM head 옆에 가벼운 복사-붙여넣기 헤드(CP head)를 추가한다. CP head는 현재 은닉 상태로 쿼리를 만들고, 과거 각 위치의 은닉 상태로 키를 만들어 내적 점수를 계산한 뒤 소프트맥스로 위치 확률을 얻는다. 같은 토큰이 여러 위치에 있으면 그 위치 확률을 합쳐 토큰 확률을 만든다. 이 분포는 문맥에 실제로 등장한 토큰만 지원하므로, 복사할 대상이 없을 때를 대비해 학습 가능한 싱크(sink) 키를 추가한다.

복사 경로를 언제 사용할지는 LM head가 결정한다. 어휘에 더미 <copy> 토큰을 추가하고, LM head가 이 토큰에 부여하는 확률을 게이트로 사용한다. 최종 예측은 LM head 분포와 CP head 분포의 볼록 결합이다. <copy> 확률이 복사 경로를 열고, 싱크 확률이 다시 LM head로 되돌아갈 수 있게 한다. 학습은 표준 다음 토큰 교차 엔트로피만 사용하며, 별도의 복사 정답이나 보조 손실은 없다. 모델이 언제 어디서 복사할지 스스로 배운다.

이 구조는 기존 LM head와 다른 기울기 경로를 만든다. LM head는 V×D 행렬로 기울기를 압축하지만, CP head의 키 행렬은 문맥 길이 t×D라서 t가 V보다 훨씬 작은 일반적인 상황에서 기울기 손실이 훨씬 적다. 논문의 측정에 따르면 135M 모델에서 LM head는 기울기 노름의 99% 이상을 잃지만, CP head 경로는 초기 위치에서 최대 85%를 보존한다. 이것이 백본에 더 풍부한 학습 신호를 전달하는 핵심 원리다.

결과와 숫자의 의미

사전학습은 135M, 360M, 1.7B 모델을 FineWeb-Edu 데이터로 최대 200B 토큰까지 수행했다. 전체 어텐션(Full), 슬라이딩 윈도우(SW), 혼합(Hybrid) 백본 모두에서 CPLM이 바닐라 모델보다 빨리 수렴했다. 1.7B 규모에서 Full과 Hybrid는 최종 손실 도달이 1.25배 빨랐고, SW는 2배 빨랐다. 이는 학습 곡선에서 같은 손실에 도달하는 토큰 또는 스텝 효율을 뜻하며, 추론 속도나 개별 학습 스텝이 2배 빨라졌다는 의미가 아니다.

1.7B SW CPLM은 4k 문맥에서 Full 바닐라 모델과 비슷한 혼란도를 내면서 토큰당 메모리를 12배 적게 쓴다. 이 12배는 토큰별 캐시 비교이며 전체 모델 가중치나 GPU 메모리가 12분의 1이라는 뜻이 아니다. 실제 B300 GPU 한 장에서 1.7B 훈련 처리량은 55,862에서 54,113 tokens/s로 약 3% 감소했고, CP 헤드가 추가하는 파라미터는 약 0.5%다. 9B와 30B는 성능 훈련 없이 비용만 측정한 미학습 구조이므로 큰 모델 품질 향상을 검증한 것은 아니다.

지도 미세조정(SFT) 후 평균 점수는 Full 24.2→26.4, Hybrid 24.3→25.5, SW 18.9→24.0으로 올랐다. 이 평균은 서로 다른 평가 지표를 합친 것이다. 수학은 MATH 하위 난도 861문제와 GSM8K pass@4(8샘플), 코딩은 HumanEval과 MBPP pass@10(20샘플), IFEval은 엄격/느슨한 프롬프트·지침 평균이다. 따라서 단일 시도 정답률로 부르면 안 되고, 1.2~5.1점의 절대 차이를 배수나 상대 백분율로 혼동해서도 안 된다. Hybrid MBPP는 19.0→17.4로 하락했고, 기본 모델 표 1에서도 개별 과제 일부가 하락한다.

구체적인 예시

단일 숫자 찾기 실험은 7자리 '마법의 숫자'를 중립 텍스트 속 8개 깊이 중 한 곳에 넣고, 문맥 길이를 1k~64k로 늘리며 각 조건 200개 예시로 평가했다. SW 바닐라 모델은 숫자가 마지막 256토큰 안에 있을 때만 찾아서 평균 14.3%였지만, SW CPLM은 99.4%로 거의 완벽하게 찾았다. 그러나 이것은 단순 7자리 숫자 복사 시험이며 모든 장문 추론이 99.4%라는 뜻이 아니다. Full 모델은 CPLM이어도 16k 이상에서 숫자 찾기에 실패한다.

HotpotQA에서는 학습 세트에 정답 문단 2개와 무작위 방해 문단 5~50개를 넣어 각 모델을 1에포크 미세조정했다. 그 뒤 별도 검증 질문 200개에서 방해 문단을 5~500개로 늘려 평가했다. 문서를 백본 어텐션에서 숨기고 CP 헤드의 복사 키만 읽게 하면, 방해 문단 5개에서 문서를 모두 보던 성능의 90~97%를 유지했다. Full 모델의 문서 캐시보다 약 50배 작은 캐시를 사용하지만 90~97%는 절대 정답률이 아니다. 마지막 층 키·값만 허용한 바닐라 대조군은 문서를 보지 못한 모델 수준인 14% EM에 머물렀다.

LongBench 평균은 좋아지지만 모든 항목이 좋아진 것은 아니다. Full 요약과 일부 다중 문서 항목은 하락하고, BABILong 다단계 추론은 SW가 대체로 낮다. 표 6의 B300 추론 측정은 정적 캐시, FlexAttention, CUDA graph 환경에서 4k 또는 16k 입력과 256 greedy 출력을 사용했다. 디코드 단계는 1.0~3.8% 느려졌고 전체 요청은 0.8~1.7% 느려졌다. 1.7B 훈련 메모리는 기본 125.4GB에서 137.5GB(9.6%)로 늘지만, 청크 계산으로 추가 3.4GB(2.7%)까지 줄일 수 있다고 설명한다. 따라서 추가 비용이 전혀 없는 구조는 아니다.

한계와 오해하기 쉬운 점

기울기 경로를 끊은 135M 단일 시드 절제 실험에서 NLL 개선이 0.031에서 0.008로 줄어 대부분 사라졌다. 또 어휘 크기가 257인 바이트 수준 모델에서는 이득이 없었다. 이는 출력 헤드의 학습 신호 병목 설명을 지지하지만, 모든 복사 문제의 단일 원인을 증명하지는 않는다. 3개 시드 견고성은 135M 주 실험에만 해당하며, 1.7B와 모든 다운스트림 결과가 반복 검증된 것은 아니다.

기존 포인터 설계와의 차이는 1~2 시드 표준편차 수준이라 특정 게이트 방식이 압도적으로 우월하다고 주장하지 않는다. GDN 변형은 135M 주 설정보다 약 20% 크므로 어텐션 백본과 직접 동일 규모로 비교할 수 없다. CPLM은 문맥에 등장한 토큰에 대해서만 LM head 병목을 완화하며, 실험 규모는 1.7B 파라미터에서 멈춘다. 복사 메커니즘을 여러 토큰 구간이나 외부 말뭉치로 확장하는 것과 더 큰 규모에서 이득이 어떻게 변하는지는 후속 과제로 남는다.

실제로 어떻게 활용할까

CPLM의 가장 직접적인 활용처는 메모리가 제한된 환경이다. 슬라이딩 윈도우 백본에 CP 헤드를 추가하면 전체 어텐션 모델과 비슷한 혼란도를 훨씬 적은 토큰당 캐시로 달성할 수 있다. 논문은 4k 문맥에서 12배 적은 메모리로 비슷한 성능을 냈다고 보고한다. 다만 이 수치는 토큰별 캐시 비교이며, 실제 배포 시에는 모델 가중치와 활성화 메모리까지 포함한 전체 비용을 따로 계산해야 한다.

RAG 환경에서는 문서를 백본 어텐션에서 숨기고 CP 헤드의 복사 키만으로 질문에 답하게 할 수 있다. 문서별 복사 키를 한 번 계산해 여러 질문에 재사용하면 캐시를 크게 줄일 수 있다. HotpotQA 실험에서 CPLM은 방해 문서 5개일 때 원래 성능의 90~97%를 유지했고, 500개까지 늘려도 34~38% EM을 기록했다. 그러나 이는 특정 데이터셋과 미세조정 조건에서 나온 결과이므로, 다른 도메인에 적용할 때는 별도 검증이 필요하다.

예산이 제한된 사전학습에서는 같은 손실까지 필요한 토큰 수와 실제 처리 시간을 함께 비교해 볼 수 있다. 이 연구에서 개별 훈련 처리량은 약간 줄지만 목표 손실까지 필요한 학습량이 더 크게 줄었다. 다만 이미 학습한 모델에 복사 캐시만 붙이는 것으로 같은 이득을 얻는 것은 아니며, 구조와 학습을 함께 바꿔야 한다. 기존 출력 헤드와 다른 방식의 확률 혼합을 구현해야 하므로 특정 서빙 시스템에 바로 들어간다고 보장하지 않는다.