학습 전 모델의 코딩 에이전트 잠재력을 미리 측정하는 법

배경과 문제

코딩 에이전트를 만들려면 기본 모델을 고른 뒤 많은 계산과 개발 노력을 들여 사후학습해야 한다. 그러나 어느 모델이 좋은 출발점인지는 미리 알기 어렵다. SWE-bench Verified처럼 저장소 작업을 처음부터 수행하는 평가에서는 도구 사용 형식에 익숙하지 않은 기본 모델들이 낮은 pass@1을 받는다. 반면 HumanEval이나 MBPP는 실행할 수 있어도 긴 상호작용을 요구하지 않는다. 이 논문의 열 개 모델 비교에서 사후학습 성능과의 Spearman 상관은 RepoBench XFirst 0.830, HumanEval -0.394 등으로 달랐다. 제한된 코딩 문제가 모두 무의미하다는 뜻보다, 무엇을 평가하느냐에 따라 모델 순위가 크게 달라진다는 뜻이다.

이 문제의 핵심은 기본 모델이 아직 에이전트처럼 행동하지 못한다는 점이다. 기본 모델은 채팅 템플릿에 익숙하지 않고 구조화된 도구 호출을 안정적으로 생성하지 못한다. 따라서 에이전트 벤치마크를 그대로 돌리면 대부분 0점이 되어 모델 간 차이를 구별할 수 없다. 논문의 Appendix F에서 여섯 개 기본 체크포인트를 SWE-bench Verified에서 콜드 스타트로 평가한 결과, 다섯 개는 0%였고 Qwen3.5-35B-A3B만 20.2%를 기록했다. 이 유일한 비영점 신호조차 사후학습 순위와 반대 방향을 가리켜 오히려 오해를 불러일으킨다. 따라서 기본 모델의 잠재력을 평가하려면 에이전트처럼 행동하도록 강요하지 않으면서도 에이전트 능력과 연결된 신호를 찾아야 한다.

기존 접근의 한계

기존 프록시 평가 APTBench는 참조 패치와 LLM이 가공한 선택지로 기본 모델을 평가한다. 논문 저자들은 에이전트 보조 채점 기준과 자동 검토를 이용해 APTBench SWE MCQ의 네 구성요소 1,682문항을 감사했고, 필요할 때 코드를 실행하고 저장소를 확인했다. 그 결과 지정 정답의 정확성·유일성이 성립하지 않는 문항을 727개(43.2%)로 분류했다. 예를 들어 질문과 무관한 답을 정답으로 지정하거나, 동일한 두 선택지 중 하나만 정답으로 취급한 경우다. 이는 저자들의 감사 기준에 따른 결과이며, Patch MCQ에서 모든 선택지를 동일한 실행 검증기로 확인하려는 동기가 된다.

저자들은 기본 모델이 이미 좋은 응답에 어느 정도 확률을 주고 있는지가 사후학습의 출발점이라는 선행 연구에도 주목한다. 관련 연구들은 좋은 응답에 대한 기본 모델의 확률 질량과, 강화학습이 기존 해법의 선택 확률을 바꾸는 효과를 논의한다. 이 논문은 그 신호를 저장소 문제의 결정적 행동에서 측정하자는 제안이다. 모든 사후학습이 새로운 능력을 만들 수 없다는 일반 법칙을 이번 실험으로 증명한 것은 아니다.

연구방법을 단계별로

연구진은 성공한 사후학습 에이전트 궤적을 기본 모델 평가를 위한 '룩어헤드 신호'로 사용한다. 먼저 GPT-5.6-Sol, Opus-5, Kimi-K3 같은 프론티어 사후학습 모델이 mini-swe-agent 하네스에서 SWE-bench Verified, SWE-Pro, DeepSWE 작업을 해결한 궤적을 수집한다. 각 궤적을 재생하면서 코드 변경 단계마다 누적 패치를 작업의 검증기에 돌려 실패에서 성공으로 바뀌는 첫 단계를 찾는다. 이 단계가 '결정적 단계(decisive step)'이며, 그 단계의 행동이 '골든 액션(golden action)'이 된다. 골든 액션은 인간이 작성한 참조 패치가 아니라 실제 에이전트가 생성했고 동일한 검증기가 인증한 행동이다. 결정적 단계 이전의 행동들은 실패 상태를 유지하므로 문제 해결 능력보다 궤적 생성자의 모방을 측정하게 되고, 이후의 행동들은 작업 해결과 무관한 변경을 포함할 수 있어 평가 대상에서 제외된다.

결정적 단계에서 세 가지 상호 보완적인 프로브를 구성한다. 첫째, Decisive-Action BPB(Bits Per Byte)는 기본 체크포인트가 골든 액션에 부여하는 확률 질량을 측정한다. 궤적 접두부와 골든 액션을 하나의 범용 채팅 템플릿으로 직렬화한 뒤, 골든 액션에 완전히 포함된 토큰들의 음의 로그 우도를 바이트 길이로 정규화한다. BPB가 낮을수록 해당 행동에 더 많은 확률 질량을 부여한다는 뜻이다. 채팅 템플릿이 기본 모델에 낯설 수 있으므로 도구 호출 형식 토큰은 마스킹하여 점수에서 제외한다. 둘째, Patch MCQ는 골든 액션과 동일한 접두부에서 검증기에 실패한 대안 행동들을 함께 제시하고, 기본 체크포인트가 정답 문자(A, B, C, D)를 선택하도록 하는 4지선다형 판별 과제다. 위치 편향을 줄이기 위해 선택지를 순환 재배열하고 각 재배열에서 답 문자 확률을 평균하여 예측을 집계한다. 셋째, Prefix-conditioned pass@K는 결정적 단계 직전까지의 궤적 접두부를 제공하고 기본 체크포인트가 K개의 연속을 샘플링하도록 한 뒤, 그중 하나라도 검증기를 통과하면 해당 인스턴스를 해결한 것으로 간주한다. 이는 기본 모델이 실제로 해결 행동을 생성할 수 있는지를 검사하는 동적 프로브다.

결과와 숫자의 의미

열 개의 기본 체크포인트(Nemotron-3-Nano·Super·Ultra, Qwen-3.5-35B-A3B, DeepSeek-V4-Flash·Pro, Kimi-K2, GLM-4.5-Air, Hy3-Preview, Gemma-4-26B)를 대상으로 프로브 점수와 사후학습된 SWE-bench Verified pass@1의 관계를 측정했다. DeepSWE 궤적 기반 평가에서 BPB는 작을수록 좋으므로 부호를 뒤집은 -BPB를 비교했고, Spearman ρ=0.964, Pearson r=0.965였다. Patch MCQ는 선택지 순환과 최대 1,000토큰 추론을 허용한 조건에서 ρ=0.867(r=0.915), 접두부 pass@32는 ρ=0.951(r=0.917)이었다. 세 순위 상관은 같은 모델 집합에서 RepoBench XFirst의 0.830보다 높았다. SWE-Verified 자체 궤적을 사용하면 각각 ρ=0.915, 0.903, 0.906이었다.

여기서 Spearman ρ는 열 개 체크포인트의 순위 일치도이고, Pearson r는 두 점수가 선형적으로 함께 변하는 정도다. 어느 쪽도 정답률은 아니다. 예를 들어 ρ=0.988은 SWE-Verified 접두부와 같은 SWE-Verified 목표를 사용하는 K=8/16 조건에서 나온 값이며, K=32에서는 ρ=0.906으로 떨어진다. DeepSWE 접두부 K=16은 ρ=0.952다. 또한 Patch MCQ의 문항 수는 DeepSWE 392개 인스턴스에서 756문항, SWE-Verified 249개 인스턴스에서 576문항이며, 접두부 pass@K는 별도로 DeepSWE 120개 인스턴스와 SWE-Verified 98개 접두부를 사용한다. 비교 단위는 모델 10개와 문제 수를 혼동하지 말아야 한다. SWE-bench Multilingual에서는 BPB가 ρ=0.976으로 가장 높았고, Terminal-Bench 2.1에서는 접두부 pass@K가 ρ=0.930으로 가장 잘 전이되었다.

구체적인 예시

결정적 단계 선택의 효과는 Figure 2에서 볼 수 있다. DeepSWE 작업의 모든 단계 BPB를 평균할 때 순위 상관은 0.915였지만 결정적 단계만 쓰면 0.964였다. 모든 단계로 평가하면 DeepSeek V4 Flash를 Nemotron Ultra보다, Kimi K2를 Qwen 3.5 35B보다 낮게 놓았다. 결정적 단계에서는 두 쌍이 사후학습 성적과 같은 순서로 바뀌었다. 이 비교는 이번 모델 집합에서 결정적 단계의 신호가 더 유용했음을 보여준다.

Patch MCQ의 점수 방식도 결과를 바꾼다. 선택지를 각각 평가해 BPB가 가장 낮은 것을 고르면 DeepSWE에서 순위 상관이 0.665였다. 네 선택지를 함께 보여주고 순환 배치한 답 문자 확률을 종합하면 추론 없는 조건에서 0.806, 추론 허용 조건에서 0.867이었다. SWE-Verified에서도 0.578→0.842→0.903이었다. Table 11의 DeepSWE 정확도 범위는 개별 점수 방식에서 약 0.26~0.28, 공동 비교 방식에서 약 0.29~0.51이었다. 이는 DeepSWE 열의 범위이며 다른 문항 집합까지 같은 범위를 적용하면 안 된다.

접두부 조건부 pass@K의 샘플링 예산 효과도 흥미롭다. DeepSWE 접두부에서 K=8일 때 ρ=0.915, K=16일 때 0.952, K=32일 때 0.951로 K=16에서 거의 포화된다. SWE-Verified 접두부에서는 K=8과 K=16에서 ρ=0.988로 높지만 K=32에서는 0.906으로 떨어지는데, 이는 통과율이 83.7%까지 포화되면서 Nemotron Ultra와 DeepSeek V4 Pro가 동점이 되기 때문이다. 따라서 K를 무작정 늘린다고 더 나은 선별 지표이 되는 것은 아니다.

한계와 오해하기 쉬운 점

주 분석은 서로 다른 연구소의 사후학습 방법과 평가 하네스로 만든 공개 모델을 비교하므로 기본 모델 자체의 기여를 완전히 분리하지 못한다. 별도 실험에서는 Nemotron Nano·Super와 Qwen 35B, 세 기본 모델을 동일한 자료·1,000스텝·16.8B 토큰의 SFT 조건으로 학습했다. SWE-Pro 궤적 기반 프로브의 순서가 사후 SFT 성적 순서와 맞았지만 표본은 세 개뿐이며, 다른 궤적 소스에서는 일치가 약한 프로브도 있었다. 주 분석의 열 개 모델 상관과 이 별도 세 모델 실험을 구분해야 한다. 신뢰구간 없는 기술적 점 추정치이므로 미래 성능에 대한 보정된 예측 보증은 아니다.

골든 액션의 정의도 오해하기 쉽다. 골든 액션은 실행 테스트에서 실패에서 성공으로 바꾸는 최초의 결정적 기록 행동이며, 반드시 인간 정답 패치나 유일한 정답 행동은 아니다. 접두부 평가에서는 정답 단계 이전까지 기존 기록을 그대로 제공하므로 콜드 스타트 평가와 다르다. 기본 모델의 콜드 스타트 비교에서 여섯 개 중 다섯 개가 0%였지만 Qwen3.5-35B-A3B는 20.2%를 기록했으므로 '모든 기본 모델이 전혀 못 푼다'고 일반화하면 안 된다. 또한 접두부 조건부 pass@K는 후보 체크포인트가 하네스를 직접 구동하므로 모델-하네스 시스템의 속성이며 에이전트 형식 간에 비교할 수 없다. 기본 체크포인트를 하네스에 연결하기 위해 프리필(prefill)이라는 기법으로 행동 봉투를 미리 열어주는데, 이는 기본 모델이 산문을 계속 쓰는 문제를 해결하지만 평가 조건을 인위적으로 만든다는 점을 인지해야 한다.

실제로 어떻게 활용할까

실무 흐름은 성공 궤적 캡처, 코드 변경 후보 추출, 재생·검증, 결정적 단계 탐색, 평가 항목 구성 순서다. 이 준비는 궤적 모음마다 수행하고 여러 후보 모델에 재사용한다. 이후 BPB·MCQ는 정적 점수를 계산하고, pass@K는 실제 하네스에서 이어서 실행한다. 검증기 호출이 비싸므로 논문은 결정적 단계 탐색에 이진 탐색을 쓴다. 다만 한 번 통과한 뒤 나중 접두부도 계속 통과한다는 단조성을 가정할 때의 O(log|C|) 절감이다. 이 가정을 위반하는 기록에는 선형 탐색 모드를 사용한다.

실무자는 이 프로브를 기본 체크포인트 선별에 사용할 수 있다. 예를 들어 사후학습에 투자하기 전에 후보 기본 모델들에 대해 DeepSWE 같은 별도 벤치마크의 성공 궤적으로 BPB를 계산하고, 낮은 BPB(즉, 높은 -BPB)를 가진 모델을 우선 선택할 수 있다. Patch MCQ는 판별 능력을, 접두부 pass@K는 실제 생성 능력을 보완적으로 확인한다. 다만 이 연구의 상관은 열 개 모델에 대한 기술적 관찰이므로, 새로운 모델 패밀리에 적용할 때는 자체 검증이 필요하다. 또한 프로브가 SWE 계열 작업에 맞춰져 있으므로 터미널 명령줄 작업 같은 다른 에이전트 도메인에는 해당 도메인의 궤적으로 프로브를 구성해야 한다. 논문은 여러 작업 패밀리의 궤적 소스에서 프로브를 집계하는 것을 자연스러운 확장으로 제안한다.