합성 데이터 예비학습의 이득은 문법보다 장거리 정보 검색에서 나온다

배경과 문제

대규모 언어 모델을 처음부터 학습하는 사전훈련(PT)은 수조 개의 토큰을 소비할 만큼 비용이 크다. 최근 연구들은 PT 전에 합성 비자연어 시퀀스로 짧게 예열하는 '프리프리트레이닝(PPT)'이 이후 자연어 PT의 토큰 효율을 높인다고 보고했다. 예를 들어 k-Shuffle Dyck처럼 괄호가 섞인 균형 잡힌 문자열을 먼저 학습하면, 같은 양의 자연어 데이터로 더 나은 성능에 도달한다는 것이다. 기존 연구는 이 이득을 '문법적 사전 지식(grammatical prior)'으로 설명했다. 즉 PPT 단계에서 자연어 어휘나 세계 지식과 무관하게 구조적 귀납 편향을 배우고, 이것이 자연어 문법으로 전이된다는 주장이다.

그러나 이 설명은 매우 제한된 실험 조건에서만 검증되었다. 기존 PPT 연구는 대부분 1B 이하 모델, 2B 토큰 미만의 짧은 PT, 그리고 웹 텍스트 중심의 단일 도메인 데이터만 사용했다. 현대 PT는 2B 이상 모델에서 100B 토큰 규모로 진행되고, 코드와 수학을 섞은 큐레이션 혼합 데이터를 쓴다. 코드와 수학에는 중첩 의존성과 엄격한 구조 규칙이 있어 PPT가 주는 구조적 신호를 이미 제공할 수 있다. 따라서 PPT의 실용적 가치는 '더 큰 모델, 더 긴 PT, 더 다양한 PT 데이터'라는 현실적 조건에서 이득이 유지되는지에 달려 있다. 이 논문은 바로 이 질문에 답하기 위해 설계되었다.

기존 접근의 한계

기존 PPT 연구는 세 가지 측면에서 전형적인 PT 시나리오와 어긋난다. 첫째, 모델 규모가 1B 이하에 머물렀다. Hu et al.(2025)과 Mita et al.(2026)은 1B를 넘는 규모에서 PPT의 행동을 열린 문제로 남겼다. 더 큰 트랜스포머는 표준 훈련 목표만으로도 계층적 추상화를 내재화할 수 있다는 이론적·경험적 증거가 있어, 용량이 커지면 PPT가 불필요해질 가능성이 있다. 둘째, PT를 2B 토큰 미만에서 일찍 멈추는 경우가 많았다. 이는 관찰된 이득이 일시적인 초기화 효과에서 비롯되었을 가능성을 남긴다. 최적화가 진행되면서 파라미터가 예열 상태에서 멀어지면 이득이 사라질 수 있다. 셋째, C4처럼 웹 텍스트가 지배적인 단일 도메인 말뭉치에 의존했다. 현대 PT는 코드와 수학을 포함한 큐레이션 혼합을 사용하므로, 이런 도메인이 PPT와 유사한 구조적 신호를 공급해 PPT를 불필요하게 만들 수 있다.

또한 기존 연구는 작은 배치 크기(예: 32)로 훈련해 확률적 경사 하강의 노이즈가 컸다. 노이즈가 큰 환경에서는 보고된 이점이 내구성 있는 편향이 아니라 초기화 분산을 반영했을 수 있다. 이 논문은 배치 크기를 512 시퀀스(단계당 약 210만 토큰)로 키우고, 표준 PT 예산을 21B 토큰으로 설정해 기존 연구보다 토큰 노출을 12.8~25.6배 늘렸다. 확장 예산은 100B 토큰까지 도달해, PPT의 이득이 장기 훈련에서도 유지되는지 직접 시험한다.

연구방법을 단계별로

이 연구는 PPT의 효과를 네 가지 차원에서 평가한다: PPT 과제, PT 데이터 혼합, 모델 규모, PT 예산. 먼저 PPT 과제로는 형식 언어 두 가지(k-Shuffle Dyck, MP-Struct Core), 형식 문법이 없는 구조적 합성 과제 두 가지(Set, NCA), 그리고 PT 말뭉치에서 뽑은 자연어 텍스트로 같은 500단계 예열을 하는 대조군(Control)을 사용한다. k-Shuffle Dyck은 괄호 쌍이 섞인 문맥 민감 언어로, 닫는 괄호가 여러 열린 괄호 중 어느 것과 짝인지 모호할 수 있다. MP-Struct Core는 각 괄호 쌍 옆에 마커 토큰을 두어 짝을 명확히 한다. Set은 중복 토큰을 제거하면서 원래 순서를 유지하는 과제로, 계층적 재귀 없이 이전에 본 토큰을 추적하기만 하면 된다. NCA는 신경 세포 자동자의 연속 상태를 재현하는 과제로, 의존성이 시간에 따라 반복되지만 중첩되지 않는다.

PT 데이터 혼합으로는 웹 텍스트만 있는 C4, 웹 중심의 Marin, 코드와 수학이 균형 잡힌 SmolLM3, STEM 가중치가 높은 OLMo3를 비교한다. C4는 코드와 수학이 0%이고, SmolLM3는 코드 12.0%와 수학 3.0%로 가장 높은 비중을, OLMo3는 웹 비중이 76.9%로 가장 낮다. 모델 규모는 500M, 1B, 3B, 7B 네 가지를 사용하며, 3B는 Biderman et al.(2023)이 복잡한 사실·구조 능력이 생기기 시작하는 전환점으로 보고한 규모다. 7B는 계산 제약으로 Marin 혼합과 k-Shuffle Dyck에서만 평가한다. 모든 모델은 SmolLM3 아키텍처와 토크나이저(어휘 128,256개)를 공유하고, 너비·깊이·헤드 수만 바꾼다. PPT는 무작위 초기화에서 500단계(약 10.5억 토큰)만 수행하고, 이후 PT는 이 체크포인트에서 시작하되 옵티마이저 모멘트와 스케줄러는 초기화한다. 따라서 PPT 실행과 PT-Only 실행의 유일한 차이는 초기화 상태다.

평가 지표는 일반 능력과 언어 능력으로 나뉜다. 일반 능력은 독해(RACE, ReCoRD), 과학 QA(SciQ, ARC-Easy, OpenBookQA), 상식 추론(HellaSwag, PIQA, COPA, SocialIQA), 언어 모델링(LAMBADA)의 10개 벤치마크로 측정한다. 언어 능력은 BLiMP로 문법 수용성을, verbatim retrieval로 장거리 검색 능력을 본다. BLiMP는 한 문법 자질만 다른 두 문장을 비교해 정확도를 재는 벤치마크다. Verbatim retrieval은 앞 문맥에서 본 명사 목록을 반복하도록 유도하고 전체 자극에 대한 평균 음의 로그 우도(NLL)를 보고하며, 낮을수록 검색이 신뢰할 만하다. 결과는 훈련 후반부(5K~10K 단계) 체크포인트들의 평균과 표준편차로 보고한다. 평균이 표준편차를 넘으면 '안정적(stable)' 이득으로 본다.

결과와 숫자의 의미

일반 능력에서 k-Shuffle Dyck PPT는 12개 규모-혼합 쌍 중 9개에서 하위 과제 평균을 최소 0.6포인트 올렸고, 이 9개 쌍에서 이득의 평균은 1.6포인트였다. 이득은 규모에 따라 500M에서 0.8, 1B에서 1.4, 3B에서 1.3포인트로 비슷해, 모델 용량이 커져도 PPT 효과가 줄지 않았다. Control은 모든 규모에서 PT-Only와 거의 차이가 없어(평균 차이 -0.2, +0.4, +0.2포인트), 이득이 추가 최적화 단계가 아니라 합성 PPT 데이터에서 온다는 것을 보여준다. k-Shuffle Dyck은 12쌍 중 10쌍에서 Control을 능가했고, 평균 마진은 규모별로 1.0, 1.0, 1.1포인트였다. 과제 유형별로는 언어 모델링이 모든 규모에서 가장 크게 향상되었다(1.2, 1.8, 1.7포인트). 특히 ReCoRD와 HellaSwag는 12쌍 모두에서, LAMBADA는 10쌍에서 향상되었다. 이 세 과제는 모두 답을 결정하려면 앞 문단의 정보가 필요하다는 공통점이 있다.

그러나 문법 수용성(BLiMP) 결과는 기존의 '문법적 사전 지식' 설명과 맞지 않는다. k-Shuffle Dyck은 12쌍 중 9쌍에서 BLiMP 전체 정확도를 올렸지만, 안정적인 이득은 1쌍(OLMo3 1B)뿐이었다. 반면 하위 과제 평균은 12쌍 중 10쌍에서 안정적이었다. 500M 규모에서도 C4와 SmolLM3는 오히려 BLiMP 점수가 떨어졌다. 형태론(Morphology)과 통사론(Syntax) 하위 그룹에서도 안정적 이득이 없었다. 이 두 그룹은 일치, 구성 성분 같은 계층적 의존성을 시험하는데, k-Shuffle Dyck이 전이할 것으로 가정된 바로 그 의존성이다. 반면 verbatim retrieval은 12쌍 모두에서 NLL을 낮췄고, 7쌍에서 안정적이었다. BLiMP는 문장 내 증거로 두 문장을 비교하지만, verbatim retrieval은 긴 문맥에서 앞의 특정 위치를 찾아 복사해야 한다. k-Shuffle Dyck도 닫는 괄호를 임의의 거리만큼 떨어진 여는 괄호와 짝지어야 하므로, PPT는 문법적 사전 지식이 아니라 장거리 검색 능력을 유도한다고 해석할 수 있다.

확장 실험에서도 하위 과제 이득은 유지되었다. 3B 모델을 C4와 Marin에서 100B 토큰까지 훈련하고, 7B 모델을 Marin에서 75.5B 토큰까지 훈련한 결과, 하위 과제 평균은 세 확장 실행의 모든 14개 예산 지점에서 향상되었다. 평균 이득은 C4에서 1.0, Marin 3B에서 1.3, 7B에서 0.6포인트였다. 100B 토큰에서도 C4는 +1.6, Marin은 +1.2포인트로 21B 시점(+1.2, +1.1)보다 줄지 않았다. Marin 3B에서 PPT는 63B 토큰 시점에 평균 62.3에 도달했고, PT-Only는 84B 토큰이 되어서야 62.0에 도달했다. 이는 최소 21B PT 토큰을 절약한 셈이다. 7B에서는 이득이 3B의 1.3에서 0.6포인트로 좁아졌지만 모든 예산에서 양수였다. 이 축소는 용량보다 예산 때문일 수 있는데, 7B 실행은 파라미터당 약 11토큰에 그친 반면 3B는 33토큰이었고, 7B의 가장 큰 이득은 가장 긴 예산(+1.0, 75.5B)에서 나왔다.

구체적인 예시

PPT 과제 간 차이를 보여주는 대표적 예는 Set 과제의 실패다. Set은 입력 시퀀스에서 중복 토큰을 제거하고 처음 등장 순서대로 유일한 값들을 출력한다. 예를 들어 '1 2 2 | 1 2' 같은 입력에서 모델은 '1'과 '2'를 본 적이 있는지만 추적하면 된다. 이 과제는 특정 이전 위치를 찾을 필요가 없다. 3B 규모에서 Set PPT는 하위 과제 평균을 7.2포인트나 떨어뜨렸고, 4개 혼합 중 어느 것에서도 향상되지 않았다. 반면 k-Shuffle Dyck(+1.3), MP-Struct Core(+0.9), NCA(+1.2)는 모두 4개 중 3개 혼합에서 향상되었다. 이 세 과제는 모두 시퀀스의 특정 이전 위치를 검색해야 한다. k-Shuffle Dyck은 닫는 괄호를 여는 괄호와 짝짓고, MP-Struct Core는 명시적 구조 마커를 고정하며, NCA는 이전 자동자 상태의 해당 셀을 재현한다. Set은 '본 적 있는가'만 답하면 되므로 위치 검색이 없다. 이 대조는 PPT의 효과가 형식 문법의 유무가 아니라 장거리 위치 검색 요구에서 온다는 강력한 증거다.

PT 데이터 구성의 효과를 보여주는 예는 Marin 혼합의 변형 실험이다. Marin 전체(웹 92.6%, 코드 6.1%, 수학 1.3%)에서 k-Shuffle Dyck의 하위 과제 평균 이득은 1.9포인트였다. 수학 비중을 1.3%에서 17.0%로 13배 늘리고 웹 비중을 76.9%로 낮춘 변형에서도 이득은 2.0포인트로 거의 변하지 않았다. 반면 웹 텍스트를 완전히 제거하고 코드 82%와 수학 18%만 남긴 Marin\DCLM에서는 이득이 0.2포인트로 붕괴했다. DCLM만 남긴 경우 1.5포인트, FineWeb-Edu로 대체한 경우 1.0포인트를 유지했다. 이는 PPT 이득이 코드·수학 비중보다 웹 텍스트의 존재에 달려 있음을 보여준다. 다만 OLMo3에서 PPT 이득이 약한 이유는 수학 비중이나 웹 비중으로 설명되지 않았다. 17% Math 변형은 OLMo3와 같은 76.9% 웹 비중을 가지면서도 2.0포인트 이득을 유지했기 때문이다. 저자들은 OLMo3의 어떤 속성이 이 차이를 만드는지는 향후 과제로 남겼다.

한계와 오해하기 쉬운 점

이 연구의 가장 중요한 한계는 각 설정이 대부분 단일 실행이라는 점이다. 계산 제약 때문에 3B PT 실험만 약 1.07T 토큰을 소비해 모든 셀을 반복할 수 없었다. 다만 결론이 가장 의존하는 Marin 3B 설정은 세 개의 무작위 시드로 반복해 민감도를 확인했다. PT-Only 하위 과제 평균은 시드 간 0.5포인트, k-Shuffle Dyck의 이득은 0.2포인트 변동에 그쳤고, 모든 과제 범주가 세 시드에서 같은 부호를 유지했다. 그러나 BLiMP 전체 점수는 같은 설정 내에서도 -0.3에서 +0.9까지 부호가 바뀌어, 문법 수용성 측정의 불안정성을 다시 보여준다. 따라서 BLiMP에 대한 결론은 단일 체크포인트가 아니라 여러 체크포인트 평균에 의존한다.

또 하나의 오해하기 쉬운 점은 'PPT가 문법적 사전 지식을 준다'는 기존 주장을 완전히 부정하는 것처럼 읽힐 수 있다는 것이다. 실제로 이 논문은 PPT가 문법 수용성을 일관되게 향상시킨다는 증거를 찾지 못했을 뿐, PPT가 언어 구조에 아무 영향도 주지 않는다고 주장하지 않는다. BLiMP 점수는 혼합과 규모에 따라 오르기도 내리기도 했고, 변동 폭이 커서 단일 체크포인트로는 효과를 판단할 수 없다. 대신 verbatim retrieval은 12쌍 모두에서 향상되어 훨씬 일관된 신호를 보였다. 따라서 'PPT의 하위 과제 이득은 장거리 검색 능력에서 온다'는 주장은 문법 수용성보다 검색 능력의 향상이 더 신뢰할 만하다는 관찰에 기반한다. 인과 관계를 직접 증명한 것은 아니며, 두 능력이 상관되어 있을 가능성도 배제할 수 없다.

또한 7B 실험은 Marin 혼합과 k-Shuffle Dyck에만 국한되었고, 최대 예산도 75.5B 토큰으로 3B의 100B보다 짧다. 7B에서 이득이 3B보다 작아진 것이 모델 용량 때문인지, 아니면 파라미터당 토큰 수가 부족해서인지는 이 데이터만으로 분리할 수 없다. 저자들도 7B 실행이 파라미터당 약 11토큰에 그쳐 3B의 33토큰보다 훨씬 적음을 지적하며, 가장 큰 7B 이득이 가장 긴 예산에서 나왔다는 점을 근거로 예산 효과 가능성을 제기한다. 마지막으로, OLMo3에서 PPT 이득이 약한 이유는 밝혀지지 않았다. 웹 비중이나 수학 비중으로는 설명되지 않았고, 저자들은 OLMo3의 직접적인 절제 실험을 향후 과제로 남겼다.

실제로 어떻게 활용할까

실무적으로 이 연구는 PPT를 PT 파이프라인에 저비용으로 추가할 수 있음을 보여준다. 3B 모델 기준으로 500단계 PPT는 A100 40GB GPU 16개에서 3시간 32분(약 56.5 GPU 시간)이 걸렸고, 21B 토큰 PT는 2일 23시간(약 1,136 GPU 시간)이 걸렸다. PPT 단계는 전체 실행 시간의 4.74%에 불과하다. 그 대가로 Marin 3B에서는 최소 21B PT 토큰을 절약할 수 있었다. PPT 약 10.5억 토큰은 기본 PT 예산 210억 토큰의 약 5%이며, 확장 예산 1,000억 토큰에 대해서만 약 1%다. 210억 PT 토큰 절약은 Marin 3B의 특정 성능 비교에서 얻은 결과이며, PPT 자체의 토큰 비용은 별도로 든다.

PPT 과제를 고를 때는 형식 문법의 유무보다 '특정 이전 위치를 검색해야 하는가'를 기준으로 삼는 것이 안전하다. k-Shuffle Dyck과 NCA는 비슷한 이득을 주었고, MP-Struct Core도 유효했다. 반면 Set처럼 단순히 본 토큰을 추적하는 과제는 오히려 성능을 크게 떨어뜨렸다. 따라서 새 PPT 과제를 설계할 때는 자연어 문법의 계층 구조를 모방하려 하기보다, 긴 시퀀스에서 앞의 특정 위치를 찾아 복사하거나 짝짓는 연산을 포함하도록 하는 것이 더 효과적일 수 있다. 또한 PT 데이터에 웹 텍스트가 포함되어 있다면 코드와 수학 비중이 높아도 PPT 이득이 유지되므로, 현실적인 혼합 데이터에서도 PPT를 적용할 수 있다. 다만 웹 텍스트가 전혀 없는 특수한 도메인에서는 이득이 사라질 수 있으므로 주의가 필요하다.