LLM-as-Jev 해설: 기존 LLM을 선택지 판단기로 쓰고, 필요한 경우만 학습하기

배경과 문제

소프트웨어가 내리는 판단은 대부분 정해진 선택지 중 하나를 고르는 일이다. 고객 문의를 어느 팀으로 보낼지, 사용자의 의도가 무엇인지, 제출된 근거가 규칙을 충족하는지 같은 문제가 그 예다. 일반 채팅 모델도 이런 판단을 할 수 있지만, 답을 문장으로 생성하므로 프로그램이 그 문장을 다시 파싱해 값으로 바꿔야 한다. 생성에 시간이 들고, 형식이 어긋난 출력이 나올 위험도 남는다.

Jev식 결정 모델은 앱이 현재 상태와 후보 선택지를 보내면 선택지마다 확률을 돌려준다. 새 작업에는 전용 분류기를 매번 학습하는 대신 지시문과 선택지를 바꿔 적용할 수 있다. 실제로 믿을 만한지는 작업별 평가가 필요하다. LLM-as-Jev는 범용 LLM도 별도 구조를 붙이지 않고 이런 결정 모델처럼 쓸 수 있는지, 추가 학습은 언제 도움이 되는지를 묻는다.

기존 접근의 한계

기존 방법은 학습 여부와 답을 읽는 방식이 함께 다르다. SemIf처럼 원래 모델에서 A·B·C 같은 선택지 글자의 점수를 읽는 방식은 간단하지만, 사용하는 글자 집합보다 선택지가 많아지면 형식을 바꿔야 한다. LLM2Jev나 jev-local처럼 선택지를 하나씩 따로 평가하면 개수 제한은 줄일 수 있어도 후보끼리 비교하는 문맥을 공유하지 못한다. 가장 저렴한 요금제나 해당 없음처럼 전체 후보를 함께 봐야 하는 질문이 그 차이를 드러낸다.

미세조정이나 전용 분류 헤드를 붙이는 방법도 있지만 성능이 일률적으로 좋아지지는 않았다. 같은 기반 모델을 학습한 커뮤니티 모델 사이에도 결과 차이가 컸고, 새 헤드는 기반 모델이 바뀌면 다시 학습해야 할 수 있다. 따라서 저자들은 구조와 가중치를 그대로 둔 출발점을 먼저 측정하고, 실제 약점이 드러날 때만 학습을 추가하는 접근을 택했다.

연구방법을 단계별로

먼저 선택지에 [1]부터 [K]까지 번호를 붙이고 현재 상황과 전체 후보를 한 프롬프트에 넣는다. 모델의 응답 앞부분은 Best answer: [로 미리 채운다. 이를 프리필이라고 한다. 그 뒤에 1]을 이어 쓰면 1번, 12]를 쓰면 12번 선택이다. 이 후보 접미어는 모두 닫는 괄호로 끝나므로 1]이 12]의 앞부분과 혼동되지 않는다. 글자 개수에 묶인 형식적 상한은 없지만 입력 길이와 메모리의 실제 제약은 남는다.

학습 없는 방식에서는 각 후보 접미어의 토큰 로그 확률을 더하고, 소프트맥스로 정규화해 후보별 확률을 얻는다. 모든 후보가 한 입력에 있으므로 서로 비교한 상태에서 평가할 수 있다. 입력의 키-값 캐시를 공유해 후보 분기를 병렬로 계산한다. 이는 항상 한 번의 순전파라는 뜻은 아니다. 충분한 배치 용량이 있는 조건에서 숫자 단위 토크나이저의 151개 선택지는 프롬프트 프리필 외에 최대 세 번의 짧은 순전파가 필요할 수 있다.

추가 학습은 후보 번호들이 이루는 접두사 트리를 이용한다. 각 갈림길에서 유효한 후보로 이어지는 토큰끼리 확률을 정규화하고, 정답 경로의 확률이 커지도록 리스트와이즈 손실을 줄인다. 이 손실은 후보끼리의 상대적 선택을 학습하므로, 유효한 답 전체의 확률이 낮아지거나 답 바깥의 출력 습관이 변해도 그것만으로는 제어하지 못한다.

이를 보완하는 KL 앵커는 원래 모델에서 지나치게 멀어지는 변화에 벌점을 준다. L_mass는 허용 토큰과 비허용 토큰의 확률 비율, L_out은 비허용 토큰 내부 분포, L_pos는 응답 시작과 닫는 괄호 다음 위치의 분포를 붙잡는 역할이다. 완전히 같게 고정하는 보장은 아니다. 세 항의 공통 가중치 기본값은 λ=1이며 전체 파라미터 학습과 LoRA 모두에 적용한다. 계산량을 줄이기 위해 상위 64개 토큰을 남기고 나머지 확률은 묶어 근사한다.

결과와 숫자의 의미

학습하지 않은 Qwen3.5-4B는 JevBench 공개 231개 문항 중 188개를 맞혀 81.4%를 기록했다. 같은 모델의 글자 점수를 읽는 SemIf는 186개(80.5%), 미세조정한 reflex 4B는 184개(79.7%)였다. SemIf와의 차이는 서로 다르게 맞힌 문항 기준 15승·13패, p=0.85로 통계적으로 유의하지 않았다. 반면 외부 6종 벤치마크의 매크로 평균은 78.6% 대 75.4%로 3.2퍼센트포인트 높았다. 이는 각 데이터셋 정확도를 같은 비중으로 평균한 별도 지표이며, 모든 문항을 합친 정답률과 구별해야 한다.

77개 의도를 고르는 Banking77에서 학습 없는 4B 모델은 69.0%였다. JevBench ECE는 0.057로 SemIf의 0.061보다 낮았다. ECE는 확신도와 실제 정확도의 어긋남을 요약한 값이므로, 낮을수록 해당 평가에서 확률 보정이 나았다는 뜻이지 모든 새 상황에서 확률이 정확하다는 보장은 아니다. 동일 프롬프트로 답을 직접 생성했을 때도 공개 231개 문항에서 같은 후보를 골랐고 형식 오류가 없었다.

작은 Qwen3-0.6B의 Banking77은 학습 전 22.2%에서 Reason+Long-12k 데이터와 λ=1의 전체 미세조정 후 60.5%로 올랐다. JevBench ECE는 별도 지표로 0.278에서 0.118이 됐다. 같은 학습 데이터와 λ=1에서 4B의 전체 미세조정은 JevBench 80.1%, LoRA는 84.0%였다. LoRA와 전체 미세조정 비교의 p=0.01을 학습 없는 81.4% 대비 유의성으로 읽어서는 안 된다. 표 2의 0.6B LoRA 61.0%는 λ=0.01이라는 다른 조건이다.

정확도 개선과 출력 동작 보존은 다른 문제였다. 앵커 없는 전체 미세조정 4B는 JevBench 231개 중 69개에서 번호 뒤로 문장을 계속 썼고, 0.6B는 176개가 길이 상한에 걸렸다. 그런데 정답 선택 정확도와 일반 능력 평균은 크게 나빠지지 않았다. 별도 대화 평가에서도 작은 모델은 앵커가 약할수록 끝나지 않는 응답이 늘었다. 따라서 저자들은 이 실험 범위에서 두 크기 모두 λ=1을 기본값으로 권했다.

구체적인 예시

논문 그림 1의 설명용 고객 문의 예시는 같은 주문에 두 번 결제됐다는 상황에 [1] billing, [2] technical, [12] refund를 제시한다. 모델은 미리 채운 Best answer: [ 뒤에 1]·2]·12]가 이어질 확률을 계산한다. 그림은 번호 구조를 보여주는 예시이며 실제 고객센터 도입 성능이나 정답 확률을 측정한 실험은 아니다. 설명용 비유로는 심사위원이 긴 판정문을 쓰는 대신 후보별 점수표를 제출하는 것과 비슷하지만, 점수의 신뢰성은 별도로 검증해야 한다.

이미지 문제도 같은 형식으로 처리한다. Qwen3.5-4B는 MMBench에서 82.4%, MMStar에서 64.6%를 기록했다. MMBench 점수는 선택지 순서를 돌려 가며 모두 맞혀야 정답으로 치는 CircularEval 기준이다. 이미지를 빼면 점수가 15.2%와 28.8%로 떨어져, 모델이 실제로 이미지를 보고 답했음을 확인했다. Qwen 팀이 텍스트 생성 방식으로 보고한 값(MMBench 89.4, MMStar 78.3)과는 평가 방식이 달라 직접 비교할 수 없다고 저자들은 밝혔다.

한계와 오해하기 쉬운 점

JevBench 수치는 공개 문항 231개에 대한 진단 결과로, 비공개 평가나 공식 순위가 아니다. LLM-as-Jev의 비공개 문항 점수는 보고되지 않았다. 저자들은 공개 문항의 오류를 보고 학습 데이터 구성을 바꾸었으므로 관련 비교를 탐색적 결과로 취급한다. 학습 문항과 평가 문항의 중복을 걸렀다는 사실만으로 이런 평가 관찰의 영향을 없앴다고 볼 수는 없다.

모든 학습 설정은 단일 시드라 작은 점수 차이는 다른 실행에서 달라질 수 있다. 속도도 최적화하지 않았다. RTX A5500 한 장의 FP32 참조 구현에서 지연 중앙값은 4B 194ms, 0.6B 76ms였고, SemIf의 46ms는 BF16 조건이다. 따라서 이 논문은 새 방식이 더 빠르다는 비교를 입증하지 않는다. 학습 데이터에는 비상업 조건 등이 있으므로 도입 전에 각 데이터의 허용 범위를 확인해야 한다.

번호의 표현도 영향을 준다. 숫자를 한 자리씩 나누는 토크나이저에서는 1번과 10번이 첫 토큰을 공유하며, 미세조정 뒤 일부 평가에서 10번보다 1번을 더 고르는 현상이 나타났다. 닫는 괄호가 완성 답의 접두사 충돌을 막아도 이런 점수 편향까지 없애지는 못한다. 또한 논문에는 자체 코드나 학습 가중치 공개 링크가 없어, 설명과 부록을 바탕으로 재현하려면 추가 구현이 필요하다.

실제로 어떻게 활용할까

실무에서는 학습 없는 방법으로 자신의 작업을 먼저 측정하고, 작은 모델이나 선택지가 많은 라우팅처럼 확인된 약점에만 학습을 추가할 수 있다. 학습을 더 하면 항상 좋아진다는 가정은 피해야 한다. 예를 들어 의도 분류 중심 데이터로 4B를 한 에폭 학습했을 때 JevBench는 81.4%에서 74.9%로 떨어졌으며, 예 응답 편향과 해당 없음 회피가 나타났다. KL 앵커가 있어도 허용 답들 사이의 편향까지 자동으로 막지는 못한다.

저자들은 예·아니오와 해당 없음, 실제 입력 길이를 반영하는 데이터를 만들고, 성능 좋은 기반 모델에는 KL 앵커를 둔 LoRA를 출발점으로 제안한다. 긴 문서를 처리할 서비스라면 짧은 질문만으로 학습하지 말아야 한다. 실제로 4B의 짧은 추론 데이터를 9000개에서 3만 개로 늘린 설정은 JevBench가 81.4%에서 77.1%로 낮아졌고 긴 입력에 손실이 몰렸다. 도입 평가는 선택 정확도·확률 보정·긴 입력 전이·대화 종료를 함께 확인해야 하며, 논문의 기본값이 모든 모델의 최적값이라는 뜻은 아니다.