TestPrism: AI가 만든 테스트가 다른 올바른 구현까지 틀렸다고 판정하는가

배경과 문제

LLM 코딩 에이전트는 저장소를 탐색하고 구현을 수정하며 실행 피드백으로 변경을 검증할 수 있다. 이런 능력은 자동 테스트 생성에도 활용되는데, 신뢰할 수 있는 테스트는 다양한 올바른 구현에서 통과하면서도 명세 위반 구현은 걸러내야 한다. 그러나 기존 테스트 생성 벤치마크는 대부분 단일 참조 평가를 사용한다. 즉, 생성된 테스트가 초기 프로그램에서는 실패하고 하나의 정답 구현에서는 통과하면 성공으로 간주한다.

문제는 하나의 요구사항이 여러 올바른 구현을 허용할 수 있고, 그럴듯하지만 잘못된 구현도 존재한다는 점이다. 단일 참조 평가를 통과한 테스트도 필요한 동작을 빠뜨리거나 불필요한 구현 제약을 강요할 수 있다. 예를 들어 포커 테스트가 에이스 낮은 스트레이트와 쓰리 오브 어 카인드를 비교하지 않으면, 스트레이트를 높은 카드로 잘못 분류하는 후보를 통과시킬 수 있다. 이런 테스트는 초기 프로그램에서 실패하고 참조 구현에서는 통과하므로 기존 기준으로는 문제가 드러나지 않는다.

기존 접근의 한계

기존 벤치마크는 함수 수준 과제부터 저장소 이슈까지 다양한 범위를 다루지만, 성공 기준은 대부분 단일 참조 평가에 머문다. 예를 들어 SWT Bench와 TDD Bench Verified는 초기 프로그램에서 실패하고 하나의 정답 구현에서 통과하는지를 본다. TestGenEval은 변이 테스트를 사용하고, OmniCode는 참조 수용과 모든 잘못된 패치 거부를 함께 요구하지만, 올바른 대안 구현의 수용 여부는 평가 범위 밖이다.

단일 참조 평가는 테스트가 요구사항의 한 구현에만 맞춰져 있어도 통과할 수 있다. 이는 테스트가 필요한 입력 조합을 빠뜨리거나, 관련 동작을 실행하더라도 잘못 판단하는 경우를 놓치게 만든다. 논문은 이런 한계를 극복하기 위해 하나의 참조 구현이 아니라 여러 올바른 구현과 잘못된 구현으로 구성된 패널을 사용하는 평가 방식을 제안한다.

연구방법을 단계별로

TestPrism은 17개 공개 벤치마크에서 2,000개 과제를 수집해 1,700개 학습 과제와 300개 평가 과제로 나눈다. 평가 과제마다 기준 구현 1개, 올바른 대안 4개, 잘못된 후보 5개로 총 10개 구현을 구성한다. 초기 미수정 상태까지 포함하면 테스트가 판정하는 실행은 과제당 11개다. 후보 패치는 다양한 코딩 에이전트와 모델로 생성해 대안적 해법과 오류를 모두 포착한다.

패널 구성은 다양성 기준을 따른다. 올바른 그룹은 평균 AST 거리가 0.5를 넘어야 하고, 잘못된 그룹은 실패한 검증기 검사 집합이 다르거나 AST 자카드 검사를 통과해야 한다. 평가 프로토콜은 제출된 테스트를 초기 상태와 모든 패널 구현에서 실행해, 초기 실패, 모든 올바른 구현 수용, 모든 잘못된 구현 거부를 요구하는 Joint Success Function을 계산한다.

TestHelix는 세 가지 구성 요소를 결합한다. 이질적 합성은 서로 다른 탐색 전략을 가진 에이전트가 테스트와 수리 쌍을 독립적으로 생성하게 한다. 피어 교차 검증은 한 쌍의 테스트를 다른 수리 구현에 실행해 지나치게 제한적인 테스트나 불완전한 수리를 드러내고, 공개 요구사항에 비춰 생성된 수리 구현을 보지 않는 별도의 의미 검토와 교정 피드백으로 수정한다. 재귀적 자기 개선은 학습 과제에서 전략을 최적화해 평가에 적용한다.

결과와 숫자의 의미

14개 기준선 구성 중 최고 성능은 Claude Fable 5.1로, 단일 참조 성공률(RAR) 59.67%, 전체 패널 공동 성공률(JSF) 28.00%를 기록했다. 이는 단일 참조 평가를 통과한 과제 중 절반 이상이 올바른 대안을 거부하거나 잘못된 후보를 수용했음을 뜻한다. 다섯 계열은 잘못된 후보 거부율(IRR)이 올바른 대안 수용률(VAR)보다 높았지만, Qwen3.8 Max는 VAR 77.00%, IRR 66.00%로 반대였다. 모든 모델이 같은 약점을 보이는 것은 아니다. RAR와 JSF는 전체 평가 300과제를 분모로 하고, VAR는 참조 구현을 제외한 네 개 대안, IRR은 다섯 개 잘못된 후보의 판정률을 과제별로 구한 뒤 평균한다. 뒤의 두 값은 RAR를 통과한 과제만의 조건부 점수가 아니다.

14개 모델·하네스 구성 사이의 비교에서 커버리지 지표는 공동 성공과 강한 상관을 보였다. 변경 커버리지(∆C)와 진입 커버리지(EC)의 피어슨 상관계수는 각각 0.91과 0.96이었다. 그러나 커버리지가 높다고 해서 단언이 올바른지는 보장되지 않는다. 예를 들어 괄호 파서 테스트가 짝이 맞지 않는 괄호를 포함하지만 출력 개수만 확인하면, 유효한 그룹을 버리는 후보를 통과시킬 수 있다.

TestHelix는 GPT 5.6 sol과 Kimi K3에서 각각 JSF 32.33%와 33.33%를 달성했다. 이는 네이티브 에이전트 기준선 대비 9.00/8.67퍼센트포인트, 단일 쌍 생성 대비 12.00/11.67퍼센트포인트 향상이다. 구성 요소별로 보면, 이질적 합성만으로는 최대 1포인트 향상에 그쳤지만 피어 교차 검증을 추가하면 6포인트 이상 올랐다. 재귀적 자기 개선은 K=3 교차 검증 설정 대비 4.33~4.67포인트를 추가로 높였다.

구체적인 예시

실패 분석은 여섯 계열의 최고 설정마다 JSF에 실패한 실행 50개씩을 골랐다. 총 300개에서 시간 초과 14개를 제외하고 두 전문가가 286개를 분류한 결과, 커버리지 공백 34.6%, 잘못된 검사 50.0%, 실행 로직 오류 15.4%로 나타났다. 이는 남은 표본의 구성비이며 전체 벤치마크나 모든 AI가 만드는 오류의 비율은 아니다. 커버리지 공백의 예로 포커 테스트가 에이스 낮은 스트레이트와 쓰리 오브 어 카인드를 비교하지 않아, 스트레이트를 높은 카드로 잘못 분류하는 후보를 통과시키는 경우가 있다. 이 테스트는 초기 프로그램에서 실패하고 참조 구현에서는 통과하므로 단일 참조 평가에서는 문제가 드러나지 않는다.

잘못된 검사의 예로 괄호 파서 테스트가 짝이 맞지 않는 괄호를 포함하지만 출력 개수만 확인해, 유효한 그룹을 버리는 후보를 수용하는 경우가 있다. 실행 로직 오류의 예로 EvoEval 테스트가 self를 통해 테스트 클래스의 함수에 접근해 의도치 않게 추가 인자를 바인딩해 참조 구현에서도 실패하는 경우가 있다. 이런 오류는 단일 참조 맹점을 직접 증명하지는 않지만 전반적인 신뢰성 문제를 설명한다.

한계와 오해하기 쉬운 점

TestPrism의 패널은 과제당 올바른 구현 5개와 잘못된 구현 5개로 균등하게 구성된다. 이는 실제 현장에서 올바른 패치와 잘못된 패치가 나타나는 비율을 추정하지 않는다. 또한 패널 정답 라벨은 원래 출처 검증기에 의존하며, 모든 원천 벤치마크를 독립적으로 다시 증명하지는 않았다. 따라서 JSF는 이 유한한 패널 내에서의 판별 성공을 측정하는 것이지, 모든 가능한 구현에 대한 정확도를 의미하지 않는다.

TestHelix의 추론 상한은 다섯 변형끼리만 동일하게 적용된다. 네이티브 에이전트 기준선은 같은 추론 상한을 적용받지 않았으며, 같은 상한도 실제 소비 계산량이 같음을 뜻하지 않는다. RSI 전략 개발에는 Opus 4.6과 학습용 600과제를 사용하고 단일 참조 성공률인 RAR를 최적화했다. 선택된 하나의 전략을 고정해 두 모델에 적용했으며, 평가 중 모델 가중치를 개선하거나 숨겨진 패널에 접근한 것이 아니다. 추가 RSI만의 이득은 K=3 교차검증 설정 대비 4.67/4.33포인트로, 비교 기준이 다르다는 점에 유의해야 한다. 이 전략을 개발한 계산 비용은 평가 단계의 추론 비용과 별도로 계산한다. 따라서 같은 추론 상한에서의 개선을 전체 개발비까지 동일한 비교로 읽어서는 안 된다.

실제로 어떻게 활용할까

테스트 생성 시스템을 평가할 때 단일 참조 성공률만 보는 것은 위험하다. TestPrism의 JSF를 사용하면 올바른 대안 수용과 잘못된 후보 거부를 함께 측정할 수 있다. 예를 들어 VAR과 IRR을 따로 보면, 어떤 모델은 거부는 잘하지만 수용이 약하고, 다른 모델은 그 반대임을 알 수 있다. 표 2의 여섯 대표 설정 중 GLM 5.3은 IRR 86.33%로 가장 높지만 VAR 50.33%와 JSF 11.33%로 낮아, 거부만으로는 충분하지 않다는 교훈을 준다.

TestHelix의 구성 요소는 실제 테스트 생성 파이프라인에 적용할 수 있다. 이질적 합성으로 다양한 관점의 테스트-수리 쌍을 만들고, 피어 교차 검증으로 서로의 테스트를 검증하며, 재귀적 자기 개선으로 전략을 학습 과제에서 최적화하는 방식이다. 다만 추론 예산이 고정된 상황에서는 추가 쌍을 늘리는 것보다 테스트를 개선하고 검사하는 방식을 개선하는 것이 더 효과적일 수 있다는 점을 고려해야 한다.