커뮤니티 해설난이도 보통파이토치 한국 사용자 모임 · 10월 26일(월) 공개

추론 전용 NPU로 325M 모델을 학습하고 GPU와 비교한 실험

추론용 칩에서 소형 언어모델을 처음부터 학습한 뒤, 미사용 데이터의 오차를 GPU 학습 모델과 짝지어 비교했습니다.

쉽게 말하면비유하자면 완성된 요리를 데우는 용도로 만든 주방에서 요리를 처음부터 만들어 본 실험이다. 같은 재료와 조리법으로 일반 주방(GPU)에서도 만든 뒤 같은 기준으로 맛을 견줬다. 이 측정 수준에서는 둘의 차이를 가려내지 못했다.

왜 봐야 하나: 추론 전용 칩 한 종에서 작은 언어모델을 처음부터 학습할 수 있음을 한 차례 실험으로 보였다. 다만 장비마다 한 번씩만 돌렸고 속도, 비용, 전력은 재지 않았다. 학습 방법도 비공개라 구매 판단의 근거로 쓰기는 이르다.

이 글은 추론 전용으로 설계된 상용 NPU(리벨리온 ATOM-Max)에서 3억 2,560만 파라미터의 언어 모델을 무작위 초기값부터 사전학습하고, 주요 설정을 맞춰 B200 GPU에서 학습한 모델과 품질을 비교한 실험을 다룬다. 핵심 결과는 학습에 사용하지 않은 텍스트에서 NPU 모델의 손실이 0.7993, GPU 모델이 0.7994로, 짝지은 차이의 평균이 -0.0001(표준오차 0.0007)에 불과해 이 평가 해상도에서 두 실행의 차이를 구분하지 못했다는 것이다. 10월 26일 개발자가 공개한 실험 해설이다. 이는 시험한 추론 전용 가속기에서도 안정적인 역전파 기반 사전학습이 가능함을 보여주지만, 하드웨어당 1회 실험이라는 한계와 학습 스택 미공개 등의 제약이 있다.

알아낸 것

325.6M 바이트 단위 모델을 50억 바이트 토큰으로 학습했습니다.
학습에 노출된 평가 구간을 바로잡고 별도 미사용 텍스트에서 NPU0.7993, GPU0.7994의 손실을 보고했습니다.
측정 해상도에서 차이를 구분하지 못한 결과이며, 가중치와 평가 코드는 공개됐지만 학습 스택은 공개되지 않았습니다.

한계와 주의할 점

10월 26일 영문 기술보고서와 한국어 해설로 발표한 개발자 자체 실험입니다.
하드웨어당 1회 실험이며 학습 샘플 순서도 달라, 완전한 품질 동등성이나 모든 모델에서의 우위를 증명하지 않습니다.
NPU32칩과 B2001GPU의 속도·비용 우위를 측정한 연구가 아니며, 특허 출원 중인 학습 방법은 비공개입니다.

용어 풀이

추론 전용 NPU: 신경망 추론(순전파)만을 빠르게 실행하도록 설계된 가속기. 학습에 필요한 역전파와 옵티마이저 상태 갱신을 기본적으로 지원하지 않는다. 이 연구에서는 리벨리온 ATOM-Max를 사용했다.
AdamW: 가중치 감쇠를 적용한 Adam 옵티마이저. 학습 중 파라미터별 1차·2차 모멘트를 유지하며, 이 연구에서는 β=(0.9, 0.95), weight decay 0.1을 사용했다.
FineWeb-Edu: 교육적 가치가 높은 웹 텍스트로 구성된 공개 데이터셋. 이 연구에서는 sample/10BT의 샤드 000과 001을 학습에, 샤드 013을 평가에 사용했다.

더 깊이 읽기 읽는 데 약 7분

배경과 문제

추론용 가속기는 이미 학습된 모델의 순전파를 빠르게 실행하는 데 최적화되어 있다. 따라서 사전학습을 하려면 모든 층의 역전파와 파라미터별 기울기 계산, AdamW 옵티마이저의 1차·2차 모멘트 상태 유지, 수만 스텝에 걸친 수치적 안정성이 추가로 필요하다. 특히 마지막 항목이 실제로 가장 까다로웠는데, 짧은 시험에서는 정상으로 보이던 학습이 수천 스텝 뒤에 발산하는 일이 있었고, 이런 문제는 GPU 기준 실험을 옆에 두고 긴 학습을 돌려 보기 전에는 드러나지 않았다.

개발자는 '추론 전용 NPU에서 학습할 수 있을까'라는 문제를 시험했다. 상용 추론 전용 NPU인 리벨리온 ATOM-Max에서 325.6M 파라미터의 디코더 전용 트랜스포머를 무작위 초기값부터 학습하고, 동일한 초기 가중치·데이터·배치·학습률 스케줄로 B200 GPU에서도 학습하여 주요 설정을 맞췄다. 다만 학습 창을 보는 순서는 두 실행에서 달랐다. 학습 안정화 방법은 특허 출원 중이라 공개하지 않았지만, 결과적으로 76,292스텝 동안 발산이나 손실 급증 없이 학습이 완료되었다.

기존 접근의 한계

추론용 소프트웨어는 이미 학습한 모델의 출력을 계산하는 데 맞춰져 있다. 학습에는 중간 계산을 거꾸로 따라가는 역전파, 가중치 갱신 상태, 긴 실행 동안의 안정성이 필요하다. 이 프로젝트는 별도의 학습 스택을 만들어 이를 수행했다고 보고한다. 칩만 구입하면 제공되는 추론용 기본 소프트웨어로 곧바로 학습할 수 있다는 뜻은 아니다.

이전 VKORE-46M-NPU 실험은 TinyStories에서 작은 모델의 학습 가능성을 보였고, 이번에는 약 7배 큰 모델과 실제 웹 텍스트로 규모를 늘렸다. 학습 스택과 안정화 기법은 특허 출원 중이라 공개하지 않았다. 따라서 공개 결과를 통해 품질 평가를 다시 수행할 수는 있어도, 같은 방식의 NPU 학습 전체를 재현할 수는 없다.

연구방법을 단계별로

실험 설계의 핵심은 모델과 주요 학습 조건을 맞춘 대조군을 두는 것이다. 같은 시드와 같은 초기 가중치, 같은 데이터 파일(6.94GB), 스텝당 65,536 바이트 토큰 배치, AdamW(β=(0.9, 0.95), weight decay 0.1), 기울기 노름 1.0 클리핑, 학습률 스케줄(500스텝 워밍업 후 3e-4, 18,000스텝에서 1.5e-4로 하강, 마지막 20% 선형 감쇠)을 동일하게 적용했다. 모델카드는 NPU 32칩, 보고서는 대조군 B200 GPU 1개를 명시한다. 무작위 창의 순서가 다르고 하드웨어마다 한 번만 실행했으므로, 하드웨어 효과만 완벽히 분리한 반복 실험으로 해석하면 안 된다.

모델은 20층, 은닉 차원 1024, FFN 3584, 쿼리 헤드 8개·KV 헤드 2개, 헤드 차원 256인 디코더 전용 트랜스포머로, RoPE(θ=1e5), RMSNorm, SwiGLU, GQA를 사용한다. 어휘는 256개의 바이트 단위로, 토큰 ID가 곧 바이트 값이다. 이는 토크나이저 선택이 결과에 영향을 주지 않게 하고, 손실을 ln 2로 나누면 바로 바이트당 비트(bits per byte)로 변환되도록 하기 위함이다. 학습 데이터는 FineWeb-Edu sample/10BT의 샤드 000과 001을 UTF-8 바이트로 인코딩하고 문서 사이에 빈 줄을 넣어 구성했다.

결과와 숫자의 의미

개발자가 공개한 학습 곡선은 대체로 겹치며, 두 실행 모두 손실이 약 5.8에서 약 0.80으로 감소했다. 국소적인 출렁임이 다른 것은 두 실험이 무작위 창을 다른 순서로 뽑기 때문이다. 평가에서는 처음에 학습 파일 끝 0.5% 구간의 256개 고정 창을 '보류셋'으로 사용했지만, 학습 샘플러가 파일 전체에서 균등하게 창을 뽑는다는 사실을 발견하여 진짜 미사용 데이터로 다시 측정했다.

진짜 미사용 데이터는 학습에 사용하지 않은 FineWeb-Edu 샤드 013에서 고정 시드로 256바이트 창 1,024개를 뽑아 평가했다. 결과는 NPU 모델 손실 0.7993, GPU 모델 0.7994였고, 바이트당 비트는 각각 1.1531, 1.1533이었다. 짝지은 차이(NPU - GPU)의 평균은 -0.0001, 표준오차는 0.0007이며, NPU 모델이 더 낮은 손실을 보인 창은 50.1%였다. 이는 약 0.0014(표준오차 2배) 해상도에서 차이를 검출할 수 없다는 의미로, '완전히 같다'보다는 약하고 '평균이 비슷해 보인다'보다는 강한 진술이다.

구체적인 예시

공개된 생성 예시는 두 모델 모두 그럴듯한 문장을 만들면서도 사실을 틀릴 수 있음을 보여준다. 광합성에 관한 문장을 이어 쓰게 하면 산소·이산화탄소를 언급하지만 과정의 설명이 정확하지 않다. 낮은 예측 손실이 곧 과학 지식의 정확성이라는 뜻은 아니다. 이 자료는 기초 모델의 학습 결과를 보여주며, 유능한 대화형 비서를 검증한 예시가 아니다.

평가 코드는 두 가중치를 불러와 같은 미사용 데이터 창의 손실을 나란히 계산한다. 여러 학생을 서로 다른 시험으로 비교하는 대신 같은 문제별로 점수 차이를 보는 것에 비유할 수 있다. 문제 난도의 공통 영향을 줄여 두 실행의 작은 차이를 더 세밀하게 살핀다. 다만 이 비유는 방법을 설명하기 위한 것이며, 여기서 보고한 실험을 독립 실행한 것은 아니다.

한계와 오해하기 쉬운 점

이 실험은 하드웨어당 1회만 수행되어 시드 간 분산을 측정하지 않았다. 따라서 NPU와 GPU의 차이가 통계적으로 유의미하지 않다는 결론은 이 특정 실행에 한정된다. 또한 학습 스택과 안정화 기법이 특허 출원 중이라 공개되지 않아, 공개된 가중치와 설정으로 평가는 재현할 수 있지만 동일한 NPU 학습 방법을 재현할 수는 없다.

처음 모델 카드에는 학습 파일 끝 256개 창의 손실(0.8067/0.8070)을 강조했지만, 이 창들은 학습 중에 노출되었을 가능성이 있어 진짜 보류셋이 아니다. 수정된 보고서는 미사용 샤드 013의 1,024개 창에서 0.7993/0.7994를 제시하며, 이것이 보고서에서 학습 미사용 데이터 평가로 제시하는 수치다. 또한 NPU 32칩과 B200 GPU 1개를 비교한 것이므로 1대1 속도 비교가 아니며, 처리 속도·비용·전력 우위는 측정하지 않았다.

실제로 어떻게 활용할까

이 결과는 추론용 하드웨어를 이미 보유한 조직이 해당 인프라에서 모델을 적응시키거나 사전학습할 수 있는 가능성을 시사한다. 보고서는 장차 학습과 추론을 같은 종류의 하드웨어에서 수행하는 가능성을 제안한다. 아직 구매나 비용 판단을 뒷받침하는 비교 결과는 아니다. 다만 이는 325M 모델과 50억 토큰이라는 작은 규모의 자가 실험이므로, 더 큰 모델이나 모든 NPU에 일반화할 수는 없다.

공개된 가중치와 평가 스크립트를 활용하면 연구자나 엔지니어가 직접 두 모델의 품질을 비교하고, 바이트 단위 언어 모델의 동작을 실험해 볼 수 있다. 향후 계획으로는 같은 하드웨어 클래스에서 더 큰 모델과 더 긴 토큰 예산으로 확장하고, 이미 NPU를 보유한 고객을 위한 미세조정 워크로드를 개발하며, 특허 출원이 완료되면 전체 방법을 담은 논문을 발표할 예정이다.

원문에서 확인한 근거 3곳

NPU 모델과 B200 GPU 모델의 미사용 텍스트 손실은 각각 0.7993과 0.7994이며, 짝지은 차이의 평균은 -0.0001(표준오차 0.0007)이다.5.2 Loss on unseen text
학습 파일 끝 256개 고정 창은 학습 샘플러가 파일 전체에서 균등하게 창을 뽑기 때문에 진짜 보류셋이 아니다.4. 평가에서 바로잡은 실수: 「보류셋」이 보류셋이 아니었다
하드웨어당 실험이 1회라 시드 간 분산은 측정하지 않았으며, 처리 속도와 학습 비용은 이 글의 범위가 아니다.8. 한계

출처소개 글 — 파이토치 한국 다룬 원문

10월 27일(화) 정리 · AI가 쓰고 원문과 대조

AI 목록