추론 모델을 직접 구현하며 배우는 8개 강의

배경과 문제

저자는 현재 대부분의 최신 대형언어모델(LLM)이 추론 모델이거나 추론 모드를 제공한다고 설명한다. 추론 모델은 기존 LLM에 검증 가능한 보상(verifiable rewards)을 이용한 강화학습과 선택적으로 추론 시점 확장(inference scaling) 기법을 더해 더 어려운 문제를 풀 수 있게 만든 모델이다. 이 글은 이런 추론 모델이 어떻게 동작하는지, 특히 추론 시점 확장·강화학습·증류(distillation)를 PyTorch로 직접 구현해 배우는 강좌를 소개한다.

저자는 추론 모델을 에이전트 하네스(agent harness) 안에서 작동하는 '엔진'에 비유한다. 에이전트 하네스는 LLM이나 추론 모델 주변의 소프트웨어·도구 프레임워크로, 더 큰 코딩 작업이나 여행 예약 같은 복잡한 문제를 처리하도록 문맥 관리와 도구 접근을 담당한다. 따라서 추론 모델을 이해하는 것은 현대 LLM 에이전트를 이해하는 핵심이다.

기존 접근의 한계

추론 모델을 처음부터 사전학습까지 구현하려면 방대한 자원과 시간이 필요하다. 이 강좌는 그 대신 사전학습된 소형 Qwen3 0.6B 모델을 불러와 '흥미로운 부분'인 평가, 추론 시점 확장, 강화학습, 증류에 집중한다. 이는 'from scratch'가 사전학습까지 0부터 한다는 뜻이 아니라, 사전학습된 모델 위에 추론 기법을 직접 구현한다는 의미다.

또한 강좌에서 다루는 기법들이 항상 정확도를 높인다고 단정할 수 없다. 예를 들어 여러 답을 생성해 다수결로 고르는 자기일관성(self-consistency)이나 모델이 스스로 답을 비판하고 수정하는 자기수정(self-refinement)은 추가 계산 비용이 들며, 평가를 통해 실제로 유용한지 확인해야 한다. 원문에는 방법별 정확도 향상 수치나 완전한 실험 로그가 없어 정량적 비교는 제시되지 않는다.

강좌를 따라가는 순서

강좌는 8개 영상으로 구성된다. 첫 영상은 환경 설정으로, Python/PyTorch 의존성 설치(uv 사용), 하드웨어 선택, CUDA·Apple Silicon 지원 확인, 원격 GPU 사용과 문제 해결을 다룬다. 저자는 초반 텍스트 생성·평가 예제는 CPU로 가능하지만 후반 학습 실험은 GPU가 현실적이라고 밝힌다. 특정 GPU 최소 사양은 이 글에 없다. 두 번째 영상은 Qwen3 0.6B 사전학습 가중치를 불러와 텍스트 생성 과정을 구현한다. 토큰 인코딩·디코딩, 로짓(logits)과 다음 토큰 예측, 탐욕적 디코딩(greedy decoding), 스트리밍 생성, 종료 토큰 처리, 생성 속도 측정을 다룬다. 효율화를 위해 KV 캐시를 추가해 어텐션 키·값을 재사용하고 torch.compile과 결합해 하드웨어 성능을 비교한다.

세 번째 영상은 수학 답 검증기(verifier)를 만든다. 답 추출, 정규화, 수학적 동등성 확인을 단계적으로 구현하고, 이를 MATH-500 평가 데이터셋에 적용해 기본 모델 성능을 측정한다. 이 검증기는 나중에 검증 가능한 보상을 이용한 강화학습(RLVR)에서 보상 신호로 재사용된다.

네 번째와 다섯 번째 영상은 모델 가중치를 고정한 채 추론 시점에 성능을 높이는 기법을 다룬다. 먼저 temperature 스케일링, 다항 분포 샘플링, top-p 필터링으로 같은 프롬프트에서 다양한 답을 생성하고, 자기일관성으로 최종 답에 다수결 투표를 적용한다. 이어서 토큰·시퀀스 로그 확률을 계산해 여러 답을 비교·점수화하고, 모델이 자신의 답을 비판하고 수정하는 자기수정 루프를 구현한다. 각 기법은 MATH-500 정확도와 추가 계산 비용의 트레이드오프로 평가된다.

여섯 번째와 일곱 번째 영상은 RLVR을 구현한다. 먼저 단순화된 GRPO(Group Relative Policy Optimization)를 구현해 응답 그룹을 생성하고 검증기로 점수를 매겨 상대적 보상으로 모델 가중치를 업데이트한다. RLHF(인간 피드백 강화학습)와 RLVR의 차이를 논의하고, 시퀀스 로그 확률과 단순화된 GRPO 손실을 계산한다. 이후 학습 지표(엔트로피, advantage 통계, 클리핑된 정책 비율, KL 손실 항, 형식 보상)를 추가해 학습 로그를 분석하고, 클리핑과 KL 항이 도움이 되는지 확인한다.

여덟 번째 영상은 증류(distillation)로, 더 크고 강한 교사 모델(DeepSeek R1)이 생성한 답으로 소형 모델을 지도학습한다. 소프트·하드 증류, 온폴리시·오프폴리시 증류를 비교하고, 교사 생성 답을 수집해 데이터셋을 준비한 뒤 교차 엔트로피 손실로 지도학습을 수행한다. 마지막으로 MATH-500에서 증류 모델을 평가해 강화학습 대안으로서의 결과를 비교한다.

결과와 숫자의 의미

이 글은 강좌 안내이므로 구체적인 정확도 향상 수치나 실험 로그는 포함하지 않는다. 다만 각 단계에서 무엇을 평가하는지는 명확하다. 예를 들어 네 번째 영상은 'MATH-500 정확도 대 추가 추론 계산 비용'을 평가하고, 다섯 번째 영상은 자기수정이 MATH-500에서 유용한지 확인한다. 일곱 번째 영상은 클리핑된 정책 비율과 KL 손실 항이 학습에 도움이 되는지 학습 로그와 평가 결과로 검토한다.

모델 크기 0.6B는 Qwen3의 파라미터 수를 뜻하며, MATH-500은 500개 수학 문제로 구성된 평가 데이터셋 이름이다. 강좌는 총 8개 영상, 약 11시간 분량이며, 별도로 90분짜리 LinkedIn Learning 개념 강좌가 언급되지만 24시간 무료 접근은 현재 보장되지 않는다. 유료 동반 책(Build a Reasoning Model (From Scratch))은 더 자세한 설명과 연습문제를 제공하지만, 이 글의 범위에는 포함되지 않는다.

구체적인 예시

추론 시점 확장의 예로, 같은 수학 문제에 temperature를 높여 여러 답을 생성한 뒤 다수결로 최종 답을 고르는 자기일관성을 들 수 있다. 설명용 가상 예로 모델이 '42', '42', '43'을 생성하면 다수결로 '42'를 선택한다. 하지만 이는 항상 정확도를 높이지 않으며, 추가 생성 비용이 든다. 원문은 정확도와 계산 비용의 트레이드오프를 평가하라고 안내한다.

강화학습 예로는 GRPO가 있다. 모델이 같은 프롬프트에 여러 응답을 생성하고, 검증기가 각 응답의 정답 여부를 점수화한다. 이 점수들을 그룹 내 상대적 advantage로 변환해 정책을 업데이트한다. RLVR은 사람의 선호도 피드백 대신 검증 가능한 정답 신호를 사용하므로 수학·코딩처럼 정답 확인이 자동화된 영역에 적합하다.

한계와 오해하기 쉬운 점

이 글은 무료 공개 강좌 안내 글이며, 연구 논문이나 새로운 실험 결과가 아니다. 동영상 11시간 전체나 유료 동반 책을 시청·확보한 것이 아니므로, 각 기법의 실제 성능 향상 폭이나 실험 조건은 원문에서 확인할 수 없다. 따라서 'from scratch'라는 표현이 사전학습까지 포함한다고 오해하면 안 된다. 강좌는 사전학습된 Qwen3 0.6B 모델을 출발점으로 삼는다.

또한 여러 답 다수결이나 자기비평이 항상 정확도를 높인다고 단정해서는 안 된다. 원문은 각 기법을 MATH-500에서 평가해 유용성을 확인하라고 명시한다. RLVR과 RLHF는 서로 다른 보상 신호를 사용하므로 구별해야 하며, 증류는 강화학습의 대안으로 제시된다. 하드웨어 요구사항도 초반 CPU 가능, 후반 GPU 현실적이라는 저자 설명만 있을 뿐 특정 GPU 사양은 없다.

실제로 어떻게 활용할까

이 강좌는 Python과 PyTorch에 익숙한 사람이 추론 모델의 내부 동작을 코드로 이해하려 할 때 유용하다. 저자는 각 영상을 보며 잠시 멈추고 자신만의 작은 실험을 해보라고 권한다. 예를 들어 샘플링 설정을 바꾸거나 실패한 답을 살펴보거나 연습문제의 변형을 시도하는 것이다.

더 깊이 공부하려면 유료 동반 책을 함께 활용할 수 있다. 책은 각 장의 자세한 설명, 그림, 연습문제를 제공하므로 영상과 병행하면 이해를 높일 수 있다. 다만 이 글 자체는 강좌 소개이므로, 실제 구현과 실험 결과를 확인하려면 제공된 YouTube 링크와 GitHub 저장소의 코드를 직접 살펴봐야 한다.