ReDiST: 정답 풀이도 학생 모델이 배울 수 있게 고쳐야 한다

배경과 문제

추론 궤적 증류는 언어 모델이 중간 추론 과정과 최종 답을 함께 학습하도록 하여, 정답만 학습할 때보다 더 풍부한 감독 신호를 제공한다. 증거가 풍부한 다중 홉 질문 응답에서는 추론 과정이 뒷받침하는 사실과 중간 관계를 전달할 수 있어 새로운 질문에 유용하다. 그러나 추론 궤적은 학생이 예측해야 할 또 하나의 시퀀스가 되므로, 누락된 단계나 불필요한 설명, 낯선 표현이 있으면 최종 답이 맞더라도 효과적인 학습 목표가 되지 못한다.

이 문제는 Figure 1에서 구체적으로 드러난다. MuSiQue로 학습할 때 정답만 학습한 Qwen3-8B는 원천 과제 EM이 34.2%에서 56.2%로 오르지만, 2Wiki 전이 EM은 51.6%에서 47.9%로 떨어진다. 반대로 원본 학생 추론을 학습하면 원천 과제 42.6%, 전이 52.1%로 순위가 뒤집힌다. 즉 원천 과제 성능이 높다고 해서 교차 벤치마크 성능이 좋은 것은 아니며, 추론 감독의 가치는 원천 과제와 전이 분포 모두에서 평가해야 한다.

기존 접근의 한계

기존 연구는 자기 학습과 수정, 메타인지적 재작성, 궤적 선택 등을 통해 추론 감독을 개선해 왔다. STaR은 모델이 생성한 근거를 부트스트래핑하고 실패 시 정답을 힌트로 합리화를 생성하며, MBT-R은 학생 시도를 재작성하고 실패한 추론을 정답 안내로 교정한다. RSR과 LARK는 학생별 정보 정렬이나 학습 가능성 프록시로 궤적을 선택한다.

ReDiST의 특징은 학생 초안을 근거 문서에 맞게 편집하여 후보를 만든 뒤, 같은 학생의 신호로 그 후보를 고르는 두 단계를 결합한다는 데 있다. 선행 방법들도 학생과 자료의 적합성을 고려하므로, 기존 연구가 모두 이를 무시했다고 볼 수는 없다. 최종 답이 맞은 원본 초안에도 근거 없는 중간 문장이 있을 수 있고, 교사가 처음부터 새로 작성한 풀이가 학생에게 가장 배우기 쉬운 목표라는 보장도 없다. 이 논문은 풀이의 겉보기 품질보다 실제로 그 학생을 학습시킨 뒤의 성능을 확인한다.

연구방법을 단계별로

ReDiST는 학생 특화 교수 문제로 추론 증류를 다룬다. 먼저 각 학습 예제에 대해 초기 학생이 기본 Kd=4개의 초안을 생성하고, 동결된 학생 복사본인 reader가 각 초안에 검증 답안 점수를 매긴다. 정답이 맞는 초안 중 점수가 가장 높은 것을 선택하고, 없으면 형식을 만족하는 초안 중 점수가 가장 높은 것을 선택한다. 주실험의 학생은 Qwen3-8B이고, 교사로는 Qwen3-14B를 쓴다. 추가 학생 Qwen3-4B와 Gemma4-E2B/E4B, 별도 교사 Gemma4-26B-A4B 비교도 포함한다.

선택된 초안의 답이 맞으면 교사 모델이 질문, 증거, 초안만 받고 기본 Kr=4개의 수정 후보를 생성한다. 이때 검증 답안은 별도 필드로 제공되지 않지만, 원초안의 정답은 볼 수 있다. 답이 틀리면 교사는 검증 답안을 추가로 받아 증거에 맞게 추론을 수리한다. 이렇게 생성된 원본과 편집 후보들은 동결된 reader가 답 복원과 검증 답안 확률로 선별한다.

reader는 각 후보에 대해 답을 예측하고, 예측 답이 검증 답과 일치하는 후보만 통과시킨다. 통과한 후보 중 검증 답안 점수가 가장 높은 것을 학습 목표로 선택한다. 통과한 후보가 없으면 원초안이 정답이었을 경우 원초안을 유지하고, 아니면 빈 궤적으로 정답만 학습한다. 수리된 궤적은 학습 혼합에서 기본 m=4번 반복 노출되고, 다른 예제는 한 번만 노출된다.

학습 시에는 전체 완성 손실과 보조 답안 토큰 손실을 기본 가중치 α=0.15로 결합한다. α=0이면 모든 토큰을 균등하게 학습하고, α=1이면 답안 토큰만 직접 감독하지만 추론은 조건부 맥락으로 남는다. 이는 궤적을 제거한 정답만 학습 통제와 다르다. 구성과 선별은 오프라인에서 이루어지고, 추론 시에는 증류된 학생만 사용한다. 기본 실험은 학습 질문 4,000개에서 시작하여 LoRA로 500번의 최적화 갱신을 수행한다. 교사 호출과 reader 점수 계산은 이 학습 이전에 필요한 비용이며, 추론 때 학생만 쓴다고 해서 전체 훈련 비용도 줄었다는 뜻은 아니다.

결과와 숫자의 의미

Table 1에서 Qwen3-8B를 MuSiQue로 학습한 결과, ReDiST는 MuSiQue EM 58.4%, 2Wiki EM 68.6%, HotpotQA EM 63.3%, QuALITY 정확도 64.0%를 기록해 그 표에 실린 비교법 중 가장 높은 점 추정치를 보였다. 정답만 학습한 경우는 각각 56.2%, 47.9%, 49.7%, 52.3%였고, 원본 추론 학습은 42.6%, 52.1%, 51.2%, 62.7%였다. QA 세 과제는 각 검증 세트의 고정된 1,000문항, QuALITY는 300문항으로 평가했다. EM은 정규화한 답 문자열의 완전일치 비율이며, 선택형 문제의 정답률이나 답 토큰의 부분 일치를 보는 F1과는 다른 지표다.

MBT-R과 비교하면 MuSiQue EM은 57.9% 대 58.4%로 0.5%p 차이, 2Wiki EM은 63.3% 대 68.6%로 5.3%p 차이, HotpotQA EM은 62.7% 대 63.3%로 0.6%p 차이다. 따라서 이 비교에서 눈에 띄는 이득은 원천 과제보다 2Wiki 전이에 있다. 부록의 부트스트랩 구간은 고정된 평가 문항을 다시 표집한 불확실성이다. 다른 모델의 점수가 한 모델의 구간 바깥에 있다는 것만으로 두 방법 차이의 유의성을 확정할 수 없고, 여러 번 다시 학습했을 때의 변동도 이 구간으로 알 수 없다.

Table 2의 구성 요소 분석에서 Selected student target은 원본 추론보다 MuSiQue EM을 42.6%에서 55.2%로 12.6%p 올리고, Full ReDiST는 여기서 58.4%로 3.2%p 추가 상승한다. 2Wiki에서는 Selected student target 57.7%에서 Full ReDiST 68.6%로 10.9%p 상승해 전이에서 이득이 더 크다. Fresh rewrite는 학생 초안을 빼고 새로 작성하면 2Wiki EM이 48.3%로 급락해, 학생 초안 조건화가 전이에 중요함을 보여준다.

답안 손실 가중치 α를 0으로 하면 MuSiQue EM이 59.2%로 Full ReDiST의 58.4%보다 높지만 2Wiki EM은 65.2%로 낮다. α=1이면 2Wiki EM이 41.7%로 원시 모델보다 낮아진다. 따라서 답안 보조 손실이 모든 지표를 향상시키는 것은 아니며, 적절한 가중치가 필요하다.

구체적인 예시

Figure 3은 두 영화 감독의 국적을 묻는 2Wiki 예시다. 원시 Qwen3-8B는 방해 자료인 Mr. Right의 감독 David Morris와 Jacqui Morris를 Two Brothers Running의 감독으로 잘못 연결한다. 전개된 풀이에서는 이들이 영국인이라고 쓰면서 최종 답은 UNANSWERABLE로 내놓는다. MBT-R로 학습한 학생은 올바른 감독 Ted Robinson에 방해 자료의 Jacqui Morris를 공동 감독처럼 덧붙이고, 그 국적 정보가 없다고 하면서 최종적으로 no라고 답한다.

반면 ReDiST로 학습한 학생은 'Assassin's Creed (Film)'의 감독 Justin Kurzel과 'Two Brothers Running'의 감독 Ted Robinson을 각각 호주인으로 연결하고, 두 감독이 같은 국적을 가진다고 정확히 답한다. 이 사례는 질문의 대상과 관계없는 감독을 끌어들이지 않고 필요한 근거를 연결한 성공 예다. 다만 저자들이 선택해 보여 준 한 사례이므로, ReDiST가 항상 방해 정보를 배제한다거나 내부 사고가 모두 사실에 충실하다는 증명은 아니다.

한계와 오해하기 쉬운 점

ReDiST의 reader는 교사가 아니라 같은 학생의 동결된 복사본이다. 따라서 답 복원 가능성은 중간 풀이의 모든 문장이 진실하거나 충실하다는 것을 보장하지 않는다. reader가 질문과 증거를 함께 받기 때문에, 성공적인 답 복원이 단계별 정확성이나 학습 이득을 입증하는 것은 아니다.

모든 방법은 4,000개 질문에서 시작하지만 실제 보존 질문 수가 다르다. MuSiQue에서 Answer-only는 4,000개, Original trace는 1,466개, MBT-R은 3,995개, ReDiST는 3,691개를 사용한다. ReDiST의 3,691개는 1,813개 수정, 253개 정답 유지, 1,004개 수리, 621개 정답만 학습으로 구성된다. 따라서 동일 학습 질문이나 토큰 수를 완전히 일치시킨 실험이라고 말할 수 없다.

네 학생 모두 ReDiST가 answer-only나 original trace보다 좋지만, Qwen3-4B의 2Wiki에서는 NLL이 63.5%로 ReDiST의 63.0%보다 높다. 교육 효용은 평가 분포별로 확인해야 하며, 전체 범용 추론이나 내부 사고의 충실성, 최소 훈련 비용을 보장하지 않는다. 또한 학습 전 오프라인 수정과 선별 비용이 발생한다.

실제로 어떻게 활용할까

ReDiST는 신뢰할 정답과 근거 문서가 있는 질문 응답 시스템에서 시험해 볼 수 있다. 학생이 직접 만든 초안을 교사가 수정하고, 학생의 동결된 복사본이 정답을 복원할 수 있는지 확인해 학습 목표를 정하는 방식이다. 연구에서는 실패한 초안을 정답 힌트로 수리한 예제도 활용했다. 다만 학습 자료가 적을수록 더 유리하다는 데이터 규모 실험은 아니므로, 소량 자료나 근거 없는 개방형 과제에서의 효과는 따로 검증해야 한다.

실무에서는 오프라인 구성 비용과 추론 시 학생만 사용하는 이점을 저울질해야 한다. 답안 손실 가중치 α와 수리 노출 횟수 m은 검증 세트에서 조정할 수 있으며, 원천 과제와 전이 벤치마크 모두에서 평가하는 것이 중요하다. 특히 전이 성능이 중요한 경우 학생 초안 조건화와 수리 단계를 유지하는 것이 효과적이다.