OPPD: 여러 답을 탐색하던 추론 능력을 한 번의 생성에 담기

배경과 문제

언어 모델이 질문 x에 대해 답안 y를 생성할 확률 p(y|x)는 토큰별 조건부 확률의 곱으로 주어진다. 문제는 정답 하나가 어떤 오답 하나보다 확률이 높더라도, 오답들이 여러 개로 나뉘어 전체 확률을 합치면 정답보다 커질 수 있다는 점이다. 이해를 돕는 가상 예시로, 정답 확률이 0.3이고 오답 10개가 각각 0.07씩이라면, 단일 오답보다는 정답이 더 그럴듯하지만 무작위 샘플링에서는 70% 확률로 오답이 나온다. 따라서 개별 정답의 확률이 높다는 사실만으로 한 번의 생성이 정답임을 보장할 수 없다.

파워 분포(power distribution)는 완성 답안의 확률 p(y|x)를 α승으로 거듭제곱하고 모든 답안의 합 Zα(x)로 나눈 분포다. α가 1보다 크면 높은 확률과 낮은 확률의 비율이 더 벌어져, 모델이 가장 그럴듯하게 여기는 답안 쪽으로 확률이 모인다. 이를 샤프닝(sharpening)이라고 부른다. 다만 대형 언어 모델에서 가능한 모든 답안의 합을 직접 구하기는 어렵다. 실제로는 순차 몬테카를로(SMC) 샘플러가 여러 후보를 유지하며 이 분포를 근사하는데, 질문마다 여러 답안을 생성하고 점수를 계산해야 하므로 추론 비용이 커진다.

기존 접근의 한계

대형 언어 모델의 파워 분포에서 직접 샘플을 뽑기 어렵기 때문에, 기존 연구들은 추론 시점에 근사 샘플러를 실행한다. 대표적으로 Azizi et al. (2026)의 SMC 샘플러는 N개의 후보 답안을 토큰 블록 단위로 병렬 확장하고, 각 후보에 중요도 가중치를 부여한다. 이 가중치는 해당 후보가 파워 분포에서 생성 분포보다 얼마나 더 높은 확률을 갖는지를 측정한다. 가중치가 너무 불균등해지면 낮은 가중치의 후보를 버리고 높은 가중치의 후보를 복제하는 '재표본화(resampling)'를 수행한다. 이 방식은 학습 없이도 정확도를 크게 높일 수 있지만, 모든 질문에 대해 후보 생성과 교사 모델의 점수 계산을 반복해야 한다.

또한 일반적인 증류(distillation)는 학생이 교사의 다음 토큰 확률을 모방하도록 학습시키는데, 파워 분포의 다음 토큰 확률은 해당 접두사에서 가능한 모든 연속을 알아야 계산할 수 있어 교사의 순전파 한 번으로는 얻을 수 없다. 따라서 파워 분포의 지식을 학생에게 직접 전달하는 것은 어렵다. 온도(temperature)를 낮추는 것은 토큰 수준의 샤프닝으로, 각 위치에서 다음 토큰 분포를 1/τ 제곱하고 재정규화한다. 그러나 이는 완성 답안 전체에 대한 정보를 보지 못한다. 예를 들어 어떤 접두사의 모든 연속이 불확실하다면, 파워 분포는 그 접두사로 시작하는 답안들에 낮은 총 확률을 주지만 온도 샤프닝은 첫 토큰의 확률만 보고 판단하므로 그런 정보를 반영하지 못한다.

연구방법을 단계별로

OPPD의 목표는 학생 모델 pφ가 교사의 파워 분포 πα와의 레니 발산(Rényi divergence) Dβ(πα∥pφ)를 최소화하도록 학습시키는 것이다. 그런데 Zα를 계산할 수 없어 πα를 직접 평가하거나 샘플링할 수 없고, 발산의 그래디언트도 같은 문제를 갖는다. 논문의 Theorem 2는 이 그래디언트가 ∇φDβ(πα∥pφ) = -E_{π̄(β)}[∇φ log pφ(y)]로 다시 쓸 수 있음을 보인다. 여기서 π̄(β) ∝ p_T^{αβ} p_φ^{1-β}이다. 이 형태에서는 Zα가 그래디언트에서 사라지므로, π̄(β)에서 답안을 샘플링하거나 중요도 가중치를 사용해 근사하면 된다.

학습 과정은 Figure 1b의 네 단계를 따른다. 첫째, 학습 중인 학생 모델이 N=16개의 후보 답안을 생성한다. 이때 제안 분포(proposal distribution)는 학생 모델을 온도 1/α로 샘플링한 것이다. 논문의 α=4 조건에서 온도 1의 학생을 제안 분포로 쓰면 중요도 가중치의 로그가 토큰당 약 4.6내트(nats)의 표준편차를 갖는 무관한 항을 포함해, 64토큰 블록에서 후보 간 차이가 약 37내트에 달해 사실상 한 후보만 살아남는다. 온도 1/α를 쓰면 이 항이 상쇄되어 학습 중 측정된 유효 표본 크기 비율(ESS/N)이 0.39~0.64로 유지된다. 둘째, 후보들은 64토큰 블록 단위로 확장된다. 셋째, 동결된 교사가 각 블록의 새 토큰들을 한 번의 순전파로 점수 매긴다. 넷째, 교사 확률로부터 두 가지 가중치를 얻는다. 중요도 가중치(SMC 가중치)는 어떤 부분 답안을 버리거나 복제할지 결정하고, 학습 가중치는 각 완성 답안이 학생 갱신에 얼마나 기여할지 정한다.

학습 가중치는 후보들의 상대적인 기여도가 합계 1이 되도록 정규화한다. 작은 확률들을 오래 곱하면 계산이 불안정해지므로 로그를 누적한다. 이때 재표본화를 결정하는 중요도 가중치와 손실에 쓰는 학습 가중치는 구분하며, 후자의 누적은 블록 경계마다 다시 시작한다. 재표본화로 후보가 복제되면 과거 블록의 학습 가중치도 다시 정규화하여, 살아남은 답안의 첫 부분이 반복 집계되는 것을 막는다. 최종 학습은 답안 전체를 평가하는 시퀀스 수준 항과, 교사의 다음 토큰 분포에서 크게 벗어나지 않게 하는 앵커 항으로 구성된다. 계수 λ는 두 역할의 균형을 조절한다. 앵커는 특히 출력 다양성이 낮은 모델에서 확률이 한 답안으로 몰리는 실패를 완화하는 역할이다.

결과와 숫자의 의미

주요 실험은 Qwen2.5-Math-7B에서 교사와 학생을 같은 체크포인트로 시작하고 교사만 동결하는 자기 증류(self-distillation)다. GSM8K와 MATH500에서 각각 200문항에 답안을 4개씩 생성해, 전체 답안의 평균 정답률인 pass@1을 추정했다. 온도 1/α에서 OPPD의 pass@1은 MATH500 78.50%, GSM8K 91.13%였다. 기존에 발표된 64개 후보 파워 샘플링의 76.1%, 87.6%보다 높지만, 그 발표 수치는 평가 프로토콜이 달라 통제된 동일 조건 비교로 볼 수 없다. 온도 1에서는 미학습 모델보다 각각 23.0, 27.3퍼센트포인트 높았다. 4개 중 하나라도 정답인 문제의 비율인 best-of-4도 올랐으므로, 같은 답의 반복만으로 평균 점수가 오른 현상은 아니라는 근거가 된다.

별도의 MATH500 250문항 비교에서는 미학습 모델이 16개 후보를 탐색할 때 66.8%에서 79.2%로 12.4퍼센트포인트 올랐다. OPPD는 단일 생성으로 78.4%를 얻어 이 중 11.6포인트, 약 94%를 회복했다. 여기에 탐색을 다시 적용한 점수는 80.0%로 추가 이득이 1.6포인트였다. GRPO와의 통제 비교는 Qwen3-8B-Base를 같은 체크포인트에서 300단계, 단계당 2개 프롬프트와 각 16개 답안으로 학습했다. OPPD의 MATH500·GSM8K·AIME 점수는 각각 3.75·4.00·5.42포인트 높았으나, 차이는 약 1~2 표준오차 수준이므로 개별 벤치마크의 확정적 우위로 읽으면 안 된다. GRPO는 600개 프롬프트 중 234개(39%)에서 답안들의 보상이 모두 같아 해당 프롬프트의 학습 신호가 0이었다. 이미 GRPO로 훈련한 Qwen2.5-Math-7B에 OPPD를 더하면 MATH500 9.25포인트, GSM8K 8.38포인트가 추가되어 상호보완 가능성도 보였다.

구체적인 예시

논문의 Appendix A는 토큰 샤프닝과 시퀀스 샤프닝의 차이를 보여주는 2토큰 수학 예시를 제시한다. 실제 벤치마크 측정값은 아니다. 어휘가 두 개의 토큰 a와 b로 이루어져 있고, 답안 길이가 2라고 하자. p(a)=0.6, p(a|a)=0.9, p(a|b)=p(b|b)=0.5이다. 그러면 완성 답안의 확률은 p(aa)=0.54, p(ab)=0.06, p(ba)=p(bb)=0.20이 된다. α=2로 파워 분포를 계산하면 aa, ab, ba, bb에 각각 0.777, 0.010, 0.107, 0.107이 할당되어, b로 시작하는 답안들의 총 확률은 0.213이다. 반면 온도 τ=1/2로 토큰 샤프닝을 하면 b로 시작하는 답안들의 총 확률은 0.308이 된다. 파워 분포가 b로 시작하는 답안에 더 낮은 확률을 주는 이유는 b의 모든 연속이 불확실하여 어떤 b로 시작하는 답안도 높은 총 확률에 도달할 수 없기 때문이다. 온도는 첫 토큰에서 0.6과 0.4만 비교할 뿐 그 뒤의 연속에 대한 정보가 없어 이런 차이를 표현하지 못한다. OPPD는 바로 이 정보를 모델 파라미터에 전달한다.

제안 분포 선택도 같은 원리로 이해할 수 있다. 학생을 온도 1로 샘플링하면 학습에 필요한 교사·학생 차이 외에 큰 잡음 항이 가중치에 끼어든다. α=4의 측정에서는 이 잡음 때문에 16개 후보 중 사실상 하나가 가중치를 독점했고, 유효 표본 크기 비율인 ESS/N이 1/16에 머물렀다. 온도 1/α를 쓰면 해당 항이 상쇄되어 ESS/N이 0.39~0.64로 유지된다. 후보를 많이 만들기만 해서는 충분하지 않고, 그 후보들에서 유용한 비교 신호를 얻을 수 있어야 한다는 뜻이다.

한계와 오해하기 쉬운 점

23.0과 27.3은 정확도의 상대 증가율이 아니라 퍼센트포인트 변화다. 예컨대 MATH500에서 50.25%가 73.25%가 된 차이가 23.0포인트다. 94% 회복 역시 전체 문제의 94%를 맞혔다는 뜻이 아니다. 250문항에서 탐색이 추가로 주던 12.4포인트 중 11.6포인트를 학습으로 얻었다는 비율이며, 다른 문항 집합이나 후보 수에서도 같은 비율이 유지된다고 보장하지 않는다.

또한 '정답 레이블을 쓰지 않았다'는 것은 학습 보상으로 정답 여부를 사용하지 않았다는 뜻이지, 교사 모델의 점수나 학습 계산이 필요 없다는 뜻은 아니다. OPPD는 동결된 교사의 확률을 사용하며, 학습 중 16개 후보를 생성하고 교사가 각 블록을 점수 매겨야 하므로 상당한 계산이 필요하다. 다만 이 비용은 학습 단계에서 한 번만 지불되고, 배포 후에는 한 번의 생성만으로 샘플러의 이득을 얻는다. GRPO와의 비교도 한 가지 표준 구현과 한 가지 예산에서만 이루어졌으므로, 검증된 보상을 쓰는 강화학습 전체를 대체한다고 주장하지 않는다. 논문은 명시적으로 'OPPD를 검증된 보상 강화학습의 대체로 제안하지 않는다'고 밝히고 있다.

또한 확인한 자료는 arXiv 프리프린트다. 이 공개본만으로 별도의 동료 심사 상태까지 확인한 것은 아니다. 실험은 주로 수학 벤치마크(GSM8K, MATH500, AIME)와 HumanEval 코드 생성에서 이루어졌다. 수학 문제에만 학습시켰음에도 HumanEval 정확도가 최대 5.3포인트 올랐다는 것은 전이 가능성을 보여주지만, 다른 도메인이나 더 큰 모델에서의 일반화는 추가 검증이 필요하다. 흡수된 샤프닝 지수 측정은 교사 분포의 엔트로피가 충분히 클 때만 신뢰할 수 있으며, 7B~8B 모델에서는 노이즈가 커서 직접적인 엔트로피 측정으로 대체되었다. λ 계수의 최적값은 모델마다 다르며, 학습되지 않은 모델의 온도 하강 이득으로 예측할 수 있다고 제안하지만 이는 세 모델에서만 확인된 경험적 규칙이다.

실제로 어떻게 활용할까

OPPD는 정답 레이블이나 검증자가 없는 환경에서 유용하다. 예를 들어 수학 문제의 정답을 자동으로 채점하기 어렵거나, 정답이 여러 형태로 표현될 수 있는 경우에도 질문 텍스트만 있으면 학습할 수 있다. 논문의 Appendix B.12에서는 OpenR1-Math-220k의 12,000개 항목 중 8,236개만 GRPO가 사용할 수 있는 단일 표현의 정답을 가졌지만, OPPD는 12,000개 모두를 사용할 수 있었다. 또한 이미 GRPO 등으로 검증된 보상 학습을 마친 모델에도 적용하여 추가 이득을 얻을 수 있다. deepseek-math-7b-rl처럼 이미 강화학습된 모델에서 온도 하강이 더 이상 효과가 없을 때도 OPPD는 MATH500에서 4.38포인트 향상을 주었다.

실무에서는 λ를 모델별로 검증해야 한다. 논문은 미학습 모델의 온도를 1/α로 낮췄을 때 정확도가 크게 오르면 시퀀스 수준 학습 여지가 남아 있다고 보고 λ=0을, 이득이 작으면 앵커를 둔 λ=1을 선택하는 경험적 규칙을 제안한다. Qwen2.5-Math-7B는 온도 하강 이득이 19.9포인트여서 λ=0이, Llama-3.1-8B-Instruct는 0.6포인트여서 λ=1이 가장 좋았다. 확인된 모델들의 경험적 관계이므로 새 모델에서도 반드시 성립하는 자동 설정법은 아니다. 1.5B 학생이 7B 교사보다 자기 자신을 교사로 삼았을 때 GSM8K가 5.62포인트 높았던 결과도 있어, 교사의 크기뿐 아니라 학생과의 분포 차이를 함께 고려해야 한다.