Sherpa: 답을 잘 푸는 AI를 학생에 맞춰 가르치는 AI로 훈련하기

배경과 문제

LLM은 수학 문제를 잘 풀어도 학생이 스스로 풀도록 돕는 데 서툴 수 있다. 이 논문이 인용한 선행연구에서도 문제 해결 능력과 교수 능력은 일치하지 않았다. 답을 곧바로 대신 내주는 도우미는 학습자의 독립적 사고를 돕는다는 교육 목표와 어긋날 수 있다. SHERPA는 교사 응답이 그럴듯한지를 넘어서, 학생이 지도를 받고 문제를 더 잘 푸는지를 훈련 신호로 삼는다.

기존 접근에는 프롬프트나 외부 장치로 교수 전략을 주는 방식과, 시연·선호 데이터로 교사 모델을 직접 학습시키는 방식이 있다. 최근 강화학습도 이용하지만 교육 행동을 미리 정한 평가 기준으로 채점하는 경우가 많다. 같은 설명이 모든 학생에게 효과적이지는 않으므로, SHERPA는 어떤 학생에게 어떤 지도가 도움이 되었는지를 시뮬레이션 안에서 직접 연결하려 한다.

기존 접근의 한계

기존 교사 훈련의 핵심 문제는 훈련 신호가 개별 학생의 학습 결과에 근거하지 않는다는 점이다. 지도 미세조정은 인간이 작성하거나 합성한 시연 데이터에 의존하고, 선호 최적화는 후보 응답 간 비교에 의존한다. 이는 수집·생성된 데이터의 질과 포괄 범위에 훈련 성과가 좌우됨을 의미한다. PedagogicalRL은 학생 성공과 정답 누출·도움됨 판단을 결합하고, PEARL은 여러 교육 기준을 명시적으로 최적화하지만, 결국 바람직한 교사 행동을 점수 규칙으로 직접 규정한다는 점에서 동일하다. 이러한 사전 정의는 다양한 학생의 필요를 포착하지 못하고, 특정 기준에 과적합될 위험이 있다.

학생 시뮬레이션 측면에서도 한계가 있다. 기존 방법은 프롬프팅이나 파인튜닝으로 학습자 반응과 오류를 모방하지만, 모방 자체가 교사 지도에 대한 반응성을 보장하지는 않는다. 또한 학생 행동을 학습시키면 모델의 지식과 추론 능력이 손상될 수 있다. 언러닝으로 초보 모델을 구성하는 접근도 있지만, 지식 제어가 어려워 목표 정보가 여전히 접근 가능하거나 유지된 능력이 영향받을 수 있다. SHERPA는 이러한 문제를 피하기 위해 의도적으로 약한 모델을 학생 백본으로 사용하고, 학습자 선호를 적응형 게이트로 인코딩하며, 오류 모방이나 지식 억제를 위한 추가 파라미터 업데이트를 하지 않는다. 목표는 인간 학생처럼 지도로부터 이익을 얻는 능력을 보존하면서 뚜렷한 교수 요구를 가진 학생 원형을 만드는 것이다.

연구방법을 단계별로

SHERPA의 훈련은 준비–튜터링–시험의 3단계 교실 주기로 구성된다. 준비 단계에서 교사는 문제를 스스로 풀어 해설 초안을 비공개로 보관한다. 이는 인간 교사가 수업 전에 문제 풀이와 추론을 준비하는 것과 유사하며, 특히 소형 LLM 교사가 대화가 길어질 때 맥락에서 벗어나는 것을 줄여준다. 튜터링 단계에서 교사는 학생 원형과 대화를 시작하고, 각 턴마다 비공개 추론과 학생에게 보이는 지시를 생성한다. 비공개 추론은 학생 선호에 구애받지 않고 자유롭게 사고할 수 있게 한다. 시험 단계에서는 튜터링 후 학생에게 원래 문제를 처음부터 풀게 하고, 반복 시험으로 정답률을 추정한다. 무도움 성과는 상호작용 이력 없이 같은 학생 모델을 평가해 측정한다.

학생 원형 설계는 선택성(selective)과 정보성(informative)이라는 두 원칙을 따른다. 선택성은 학생의 향상이 교사 지도가 학생의 요구를 충족하는지에 따라 달라져야 함을, 정보성은 학생 응답이 그 선호를 반영해야 함을 의미한다. 이를 구현하기 위해 SHERPA는 약한 모델(Qwen3-1.7B)을 학생 백본으로 사용하고, 두 개의 게이트를 도입한다. 가이던스 게이트는 교사 지시가 정답을 직접 누설하는지 확인해 차단한다. 적응형 게이트는 여섯 가지 교수 전략(시도 진단, 인과적 정당화, 하위 목표 분해, 단계 시연, 독립적 검증, 대조 비교) 중 학생이 선호하는 전략을 충족하는지 판단한다. 게이트를 통과한 지시만 학생 백본에 전달되어 실질적 추론을 이끌어내고, 거부된 지시는 스크립트된 불만 응답으로 대체된다. 교사는 학생의 선호를 직접 관찰하지 못하므로 상호작용에서 이를 추론해야 한다. 주 실험의 학습에는 선호 없음과 시도 진단·하위 목표 분해·대조 비교의 네 원형만 사용한다. 인과적 정당화·단계 시연·독립적 검증의 세 원형은 학습하지 않은 유형으로 평가한다.

교사의 보상은 지도를 받은 학생의 정답률에서 같은 학생 모델의 무도움 정답률을 뺀 개선량이다. 학생 백본은 고정되므로 이 차이를 키우는 것과 사후 성공률을 키우는 목적은 같다. 한 문제에서 같은 학생 원형과 준비 맥락을 공유하는 여러 대화를 생성해 서로 비교하고 교사를 강화학습으로 갱신한다. 게이트를 통과하지 못한 지시는 학생의 실제 추론 맥락에 들어가지 않으므로 해당 턴의 반환값을 마스킹한다. 이후 턴별 비교·정규화를 거친 학습 신호로 비동기 PPO를 적용한다. 이렇게 보상은 학생 성과에서 얻되, 유효한 교수 턴에 학습 신호를 집중시키는 구조다.

결과와 숫자의 의미

표 1에서 학생의 무도움 평균 정답률은 36%이며, 기본 Qwen3-8B 교사의 지도를 받은 경우는 48.6%다. PedagogicalRL은 52.7%, 선호 없는 학생으로만 훈련한 SHERPA NP는 52.0%였다. 다양한 선호로 훈련한 SHERPA DP는 69.0%로, 평가한 모든 학생 원형에서 다른 교사들을 앞섰다. 논문 초록은 기본 교사 대비 평균 향상을 20.5퍼센트포인트로 보고한다. 표에 반올림해 표시된 69.0과 48.6의 차이는 20.4포인트이므로 두 표현을 구별해야 한다. 20.5는 무도움 36%를 기준으로 한 향상이 아니며, 반올림 수치만으로 차이의 원인을 확정할 수는 없다.

MathTutorBench 평가에서 SHERPA DP는 교사 응답 생성 네 가지 지표(Scaffolding, Instruction Following, Scaf.-H, IF-H)의 평균인 Pedagogy Average에서 79.2%를 기록해, 훈련되지 않은 백본의 52.5%, PedagogicalRL의 63.2%를 크게 앞선다. 특히 지시 따르기 승률은 표준 설정에서 74.0%→90.3%, 어려운 설정에서 70.6%→87.2%로 상승했고, 스캐폴딩 점수도 33.1%→72.0%, 32.4%→67.3%로 향상됐다. 그러나 이는 교사 응답 생성 관련 지표만의 평균이며, 모든 교육 능력의 종합 점수가 아니다. 실제로 오류 위치 찾기(Mistake Location) 정확도는 모든 훈련된 교사에서 하락했고, 소크라테스식 질문(Socratic Questioning)도 대부분 악화됐다. SHERPA DP는 그래도 PedagogicalRL보다 높은 오류 위치 찾기 정확도(30.3% 대 18.7%)를 유지했다.

인간 평가에서는 80개의 CoMTA 대화에서 320개의 응답 쌍을 구성하고, 각 쌍에 세 번의 무작위 판단을 받아 총 960개의 판단을 얻었다. 동률 45개를 제외하면 SHERPA DP가 728개, 기본 모델이 187개를 받아 선호율 79.6%를 기록했다. 이는 응답 쌍의 다수결 비율이 아니라 개별 판단 기준이며, 96명의 교사 중 87명이 SHERPA DP를 더 자주 선호했고, 다수결 투표에서는 320개 쌍 중 270개에서 SHERPA DP가 이겼다. 선호는 훈련 중 본 선호(하위 목표 분해, 대조 비교)와 보지 못한 선호(인과적 정당화, 오류 예상) 모두에서 75.6%~85.5%로 고르게 나타났다. 참가자 설명은 주로 학생이 요청한 접근에 맞춘 더 나은 지도와 실수 식별·수정을 이유로 꼽았다. 소수는 SHERPA DP의 설명이 압도적일 수 있다고 지적해, 적응성 향상이 때로는 단순성을 희생할 수 있음을 시사한다.

구체적인 예시

그림 2는 기본 모델과 SHERPA DP의 응답 차이를 보여준다. 학생이 f(x)=tan(b(x−c))의 점근선이 0, 2π, 4π에 있을 때 b와 c를 찾는 두 가지 접근법을 비교해 달라고 요청하자, 기본 모델은 점근선 간 거리로 주기를 구하고 b=±1/2, c=−π를 직접 계산해 답을 제시한다. 반면 SHERPA DP는 '점근선 거리 접근법'과 '점근선 위치 접근법'이라는 두 가지 방법을 나열하고, 첫 번째 접근법부터 시작하자고 초대한다. 이는 학생의 대조 비교 선호를 충족하면서도 최종 답을 바로 알려주지 않고 학생이 스스로 풀도록 유도하는 모습을 보여준다.

학생 원형의 작동 방식을 이해하기 위해 적응형 게이트의 예를 들 수 있다. '하위 목표 분해' 선호를 가진 학생에게 교사가 '다음 단계는 이렇게 하세요'라고 평평한 단계 목록만 제시하면 게이트가 이를 거부하고, 학생은 '현재 하위 목표가 무엇이고 그것이 최종 목표에 어떻게 도움이 되는지 알려주세요'라는 스크립트된 불만을 반환한다. 교사는 이 피드백을 통해 학생의 선호를 추론하고, 다음 턴에는 현재 하위 목표를 명시하고 전체 해결과의 연결을 설명하는 방식으로 적응해야 한다. 이러한 게이트 메커니즘은 교수 전략이 학습 결과에 실질적 영향을 미치도록 만들어, 교사가 단순히 일반적인 설명을 반복하는 것을 막는다.

한계와 오해하기 쉬운 점

이 연구의 가장 중요한 한계는 평가가 실제 학생이 아닌 LLM 기반 가상 학생에서 이루어졌다는 점이다. 학생 백본은 Qwen3-1.7B로, 교사보다 작은 학생 모델이며 평가에서 무도움 정답률이 36%다. 어떤 문제도 혼자 풀 수 없다는 뜻은 아니다. 따라서 '학생 정답률 향상'은 이 특정 모델의 성능 변화를 의미하며, 인간 학습자의 장기 학업 성취나 개념 이해 향상을 직접 증명하지 않는다. 또한 MATH 데이터셋에서 교사가 풀 수 있고 학생이 무도움으로는 풀지 못하는 문제만 선별했기 때문에, 결과는 이렇게 필터링된 759개 훈련·528개 평가 문제에 국한된다. 더 어렵거나 다른 유형의 문제, 다른 교과목으로의 일반화는 확인되지 않았다.

79.2%는 MathTutorBench의 교사 응답 생성 관련 네 지표 평균이며, 수학 전문성과 학생 이해까지 합친 종합 교육 점수가 아니다. 실제로 오류 위치 찾기와 소크라테스식 질문 일부는 악화됐다. 인간 평가의 79.6% 역시 교사들의 개별 응답 선호 판단에서 동률을 제외한 값이다. 학생이 실제로 수업을 받고 장기적으로 개념을 이해하거나 시험 성적이 올랐다는 결과와는 구별해야 한다.

여섯 가지 교수 선호와 선호 없음으로 만든 원형은 실제 학생의 복합적이고 암묵적인 필요를 단순화한 것이다. 학습에는 그중 네 원형만 사용하며, 인간 학습자 전체의 다양성을 재현하지는 않는다. 주 실험 밖에서는 Ministral-3-8B 교사로의 훈련 적용과 다른 학생 백본에 대한 평가도 보고했다. Gemma-3-1B-IT 학생에서 14.3%→21.7%, Llama-3.1-8B 학생에서 37.5%→53.5%로 올랐는데, 여기서 출발 수치는 무도움 성과가 아니라 기본 교사의 지도를 받은 성과다. 이를 주 실험과 섞어 모든 학생에게 같은 크기의 이득이 난다고 해석할 수 없다.

실제로 어떻게 활용할까

SHERPA의 프레임워크는 교사와 학생을 분리하고 학생 측에 다양한 선호를 게이트로 구현함으로써, 교사 훈련을 위한 시뮬레이션 환경을 제공한다. 이는 실제 학생 데이터를 대규모로 수집하기 어려운 상황에서 교사 LLM을 훈련하는 데 활용될 수 있다. 예를 들어, 수학 튜터링 시스템에서 학생의 선호(단계별 설명 선호, 스스로 시도하고 피드백 받기 선호 등)를 프로파일로 정의하고, 각 프로파일에 맞는 게이트를 설계한 후 교사 모델을 강화학습으로 훈련할 수 있다. 훈련된 교사는 학생의 요청을 더 잘 따르고, 정답을 바로 알려주지 않으면서도 적절한 스캐폴딩을 제공하는 경향을 보인다.

실제 튜터링 시스템에 적용하려면 교사의 선호 평가를 넘어 학생의 학습 성과와 참여도를 확인해야 한다. 이 연구가 제공한 것은 학생 원형을 교사 모델과 분리해 바꿀 수 있는 훈련 틀이다. 원형들의 조합이나 학생 자신도 선호를 모르는 상황까지 다루는 일은 아직 남은 과제다. 새 환경에서는 시뮬레이션의 게이트를 잘 만족하는 것이 실제 학습에도 도움이 되는지부터 검증할 필요가 있다.