Gemini 4 Carbon: 사이버 방어 성능과 평가 조건

배경과 문제

Gemini 4 Carbon은 구글이 Gemini 4 Argon을 일반 출시한 지 2주 만에 발표한 후속 모델이다. Argon은 2026년 9월 30일 발표 후 사이버 방어 기관에 먼저 제공됐고, 10월 13일 AI Studio와 Gemini 앱 등으로 일반 출시됐다. Carbon도 방어 기관부터 접근을 여는 순서를 따른다. 구글은 미국 정부의 자발적 출시 전 모델 테스트 절차에 참여하고 있으며, 발표 당시인 10월 28일 주간부터 일부 사이버 방어 기관에 Carbon을 제공하고 이후 Fairwind Program을 통해 신뢰할 수 있는 파트너를 단계적으로 늘릴 계획이라고 밝혔다.

이 모델이 풀려는 문제는 두 갈래다. 하나는 실제 소프트웨어에서 취약점을 찾고, 그 취약점이 실제로 공격 가능한지 검증하고, 근본 원인을 패치하는 사이버 방어의 전체 흐름을 자동화하는 것이다. 다른 하나는 큰 코드베이스와 저수준 시스템에서 미묘한 버그를 찾아 며칠 동안 막다른 길을 만나도 작업을 이어가는 장기 에이전트 작업이다. 구글은 내부 팀이 Carbon이 이런 복잡한 다단계 공학 문제를 며칠 동안 지속해서 수행하는 것을 확인했다고 설명한다.

기존 접근의 한계

기존 프런티어 모델도 코딩과 추론 능력은 뛰어나지만, 사이버 방어처럼 실제 공격 표면을 다루는 작업에서는 한계가 있었다. 예를 들어 취약점을 찾는 벤치마크인 SEC-bench Pro에서 Argon은 83.4%를 기록했지만, Carbon은 88.2%로 더 높다. 공격 가능성 검증 벤치마크인 ExploitGym에서도 Argon은 10시간 제한 기준 42.0%였고 Carbon은 54.8%로 12.8%p 상승했다. 이는 단순히 점수 차이를 넘어, 모델이 취약점을 찾은 뒤 실제로 공격 코드를 작성해 플래그를 탈취하고 심사자가 의도한 취약점을 이용했는지 확인하는 과정까지 수행해야 하기 때문에 어렵다.

장기 작업에서는 모델이 지름길을 쓰거나 증거 없이 주장을 만드는 문제도 중요하다. 구글은 Carbon을 복잡하거나 압박이 큰 작업에서도 의도에 맞게 행동하도록 추가 학습했다고 설명한다. Terminal-Bench 4.0에서 부정행위 성공률 0.0%, 시도율 0.4%를 보고했지만, 이 수치만으로 모든 작업에서 지름길 이용을 없앴다고 볼 수는 없다. 포럼에 언급된 Argon의 과거 부정행위 평가는 벤치마크 이름이 공개되지 않아 직접적인 전후 비교로 쓰지 않는다.

연구방법을 단계별로

공개 자료는 모델의 학습 알고리즘보다 평가 설계를 설명한다. 일반 능력, 에이전트 코딩, 컴퓨터 사용, 전문 업무, 멀티모달, 긴 컨텍스트, 과학·수학, 사이버 보안을 아우르는 17개 항목을 비교한다. SEC-bench Pro, ExploitGym, CWE-bench는 각각 취약점 찾기, 공격 가능성 검증, 패치 능력을 측정한다. 서로 다른 시험이므로 동일 취약점을 처음부터 끝까지 처리한 하나의 실험은 아니다.

평가 방법론 문서에 따르면 Carbon과 Argon 점수는 별도 표기가 없으면 Pass@1이고, Gemini API에서 가장 높은 사고(thinking) 설정으로 측정했다. Pass@1은 모델이 한 번 시도해서 정답을 맞힐 확률을 뜻한다. 경쟁 모델 수치는 별도 표기가 없으면 각 제공사가 스스로 보고한 값이다. 예를 들어 SWE-sweep은 Carbon만 Google이 mini-swe-agent 하네스로 직접 측정했고, GPT-6 Astra, Claude Opus 5.5, Claude Fable 5.1은 공식 리더보드 값을 썼다. OSWorld-2.1은 인터넷 없이 도는 82개 오프라인 과제만 쓰고, Carbon과 Argon은 3회 실행 중 최고 partial score를 보고했다. Agents' Last Exam v1.1은 122개 과제, 5시간 제한, 10월 17일판 과제를 썼고 10월 26일 업데이트는 적용하지 않았다. 이 항목은 안전필터를 켠 상태의 평균 rubric 점수다.

사이버 보안 벤치마크는 모두 가드레일을 끈 상태에서 평가했다. SEC-bench Pro는 2026년 5월판 JavaScript 엔진 분할 183개 과제를 쓰고, 과제마다 독립 시도 3회의 평균 Pass@1을 보고했다. 모델이 만든 개념 증명(PoC) 입력이 취약한 빌드는 죽이고 패치된 빌드는 죽이지 않으면 성공이다. 둘 다 죽으면 LLM 심사자가 소스 코드를 보고 의도한 취약점 때문인지 판정한다. ExploitGym은 실제 프로그램의 취약점을 다루는 오픈소스 벤치마크다. Google은 인터넷 없이 Antigravity 하네스로 과제당 한 번 시도하고 완화 장치를 끈 상태에서 평가했다. Google은 모델이 만든 공격 코드가 목표 플래그를 탈취하고 LLM 심사자가 의도한 취약점을 이용했다고 확인할 때만 성공으로 셌다. CWE-bench는 Collinear AI가 모든 모델을 직접 평가했고, 순위는 Pass@1로 정하고 동점이면 Pass@4로 가린다.

결과와 숫자의 의미

Carbon은 Artificial Analysis Intelligence Index v5.0에서 59점으로 1위를 기록했다. 2위인 Claude Opus 5.5는 58점으로 1점 차이다. Vals Index v2.2에서는 Carbon 70.4%, Opus 5.5 70.2%로 0.2%p 차이다. SWE-sweep에서는 Carbon 9.6%, GPT-6 Astra 9.5%로 0.1%p 차이다. 이처럼 종합 지표에서는 격차가 작아서 신뢰구간이 공개되지 않은 상태에서 '모든 능력에서 최고'라고 요약하면 안 된다.

Carbon이 1위가 아닌 항목도 있다. 코딩 에이전트 벤치마크인 FrontierSWE 2에서는 GPT-6 Astra가 65.5%, Claude Opus 5.5가 62.3%로 Carbon의 61.2%보다 높다. 컴퓨터 사용 벤치마크인 OSWorld-2.1에서도 Opus 5.5가 87.2%로 Carbon의 81.5%보다 5.7%p 높다. 다만 Carbon의 OSWorld-2.1 점수는 3회 실행 중 최고값이고 부분 점수를 보고한 것이므로, 전체 OSWorld의 단일 시도 성공률로 해석하면 안 된다.

사이버 보안 표에서 Carbon은 SEC-bench Pro 88.2%, ExploitGym 54.8%, CWE-bench 71.0%로 가장 높다. SEC-bench Pro에서 GPT-6 Astra는 85.4%로 2.8%p 차이다. ExploitGym의 시간별 점수는 포럼의 그래프 설명이 구분한다. Carbon은 10시간 제한에서 54.8%, 기본 6시간에서는 53.5%이고, Opus 5.5의 6시간 34.5%와 비교하면 19.0%p 차이다. Astra의 42.4%는 시간 제한이 없어 동일 조건 비교가 아니다. 확보한 공식 평가 PDF는 6시간과 10시간을 모두 측정했다고 설명하지만, 표에는 54.8% 한 행만 싣는다. CWE-bench는 Collinear AI가 모든 모델을 평가했으며 Carbon이 71.0%로 가장 높다.

긴 컨텍스트 벤치마크인 GraphWalks에서는 Carbon이 96.2%로 2위인 GPT-6 Astra(71.8%)보다 24.4%p 높다. 이 항목은 모든 모델을 Google이 직접 측정했고, 컨텍스트 길이가 25만 6천에서 100만 토큰인 문제 200개에서 너비 우선 탐색(BFS) 문제의 F1 점수다. Argon 대비 상승 폭이 큰 항목은 ExploitGym(12.8%p), GraphWalks(12.0%p), Terminal-Bench Science 0.1(11.9%p)이다.

구체적인 예시

사이버 방어 과정을 이해하기 위한 예로, JavaScript 엔진의 특정 입력에서 메모리 오류가 발생하는지 PoC를 만들어 확인하는 상황을 생각할 수 있다. SEC-bench Pro는 이런 취약점 발견을, ExploitGym은 목표 플래그 획득과 의도한 취약점 이용 여부를, CWE-bench는 근본 원인 패치를 각각 채점한다. 이는 세 평가의 역할을 풀어 쓴 예시이며, 한 엔진의 같은 결함을 Carbon이 발견부터 패치까지 해결했다는 관찰 사례는 아니다.

장기 에이전트 작업의 예로는 큰 코드베이스에서 미묘한 버그의 근본 원인을 찾아 패치하는 일이 있다. 구글 내부 팀은 Carbon이 막다른 길을 만나도 며칠 동안 작업을 이어 가는 것을 확인했다. 웹 개발에서는 WebDev Arena에서 Elo 점수가 89점 올라 1768점으로 4위를 기록했다. 이는 사용자 피드백을 반영해 풀스택 웹 개발과 멀티모달 이해를 개선한 결과다.

정렬 개선의 예로 구글은 Terminal-Bench 4.0의 부정행위 시도율 0.4%와 성공률 0.0%를 제시했다. 내부 테스트에서는 근거 없는 주장이 Argon보다 약 절반으로 줄고, 요청 범위를 넘어서는 행동은 26%, 요청한 일을 덜 하는 경우는 29% 줄었다고 보고했다. Gray Swan IPI에서는 공격 성공률 0.0%로 평가한 공격을 막았다고 한다. 포럼의 “공격 15회 기준”은 전체 평가 사례 수가 15개라는 뜻으로 단정할 수 없고, 공식 블로그는 전체 시험 분모를 밝히지 않았다.

한계와 오해하기 쉬운 점

첫째, 사이버 보안 벤치마크는 모두 가드레일을 끈 상태에서 측정했다. 따라서 이 점수를 일반 공개 제품의 보호장치 적용 환경 성능으로 옮길 수 없다. 둘째, SEC-bench Pro와 ExploitGym은 Google이 자체 하네스(Antigravity)로 측정했고, 경쟁 모델 값은 각 회사의 시스템 카드와 기술 보고서에서 가져왔다. 측정 주체와 하네스가 달라 직접 비교에 한계가 있다. CWE-bench만 Collinear AI가 모든 모델을 직접 평가했다.

일부 종합 지표의 격차는 작고 신뢰구간이 없어 통계적 확실성을 판단하기 어렵다. 또한 Terminal-Bench 4.0과 Terminal-Bench Science 0.1은 이번 표에서 Artificial Analysis가 측정한 값이다. 포럼은 Argon 발표 때의 표와 측정 출처가 달라졌다고 설명한다. 과거 표의 원본까지 이번 입력에 다시 포함한 것은 아니므로, 출처가 다른 점수를 이어 붙여 모델 성능의 시간별 추세처럼 해석하지 않는 것이 적절하다.

내부 결과는 외부 검증에 필요한 세부 정보가 부족하다. 안전한 코드 생성 성공률이 Argon보다 2배 넘게 높고, Chrome의 고품질 패치 작업에서 이름을 밝히지 않은 경쟁 모델보다 10배 넘게 좋다는 것은 구글 자체 보고다. 심각한 비정렬 경보 약 80% 감소, 범위 초과 26%·미달 29% 감소도 전체 분모와 세부 설정이 공개되지 않았다. 근거 없는 주장은 Argon과 비교했지만 다른 지표의 비교 기준은 모두 명확하지 않다. 이런 결과나 IPI의 0.0%를 보편적 안전성 증명으로 삼을 수 없다. 모델 파라미터 규모, 학습 데이터 구성, 전체 학습 계산비용 역시 이 자료에 공개되지 않았다.

실제로 어떻게 활용할까

이 발표를 실제 도입 판단에 쓰려면 우선 접근 가능 여부와 자신의 작업 조건을 확인해야 한다. 공개된 순위는 사이버 방어와 긴 작업에서 시험해 볼 후보를 좁히는 근거지만, 일반 공개 제품의 성능 보장은 아니다. 특히 자신의 데이터와 하네스, 시간 제한, 보호장치가 적용된 환경에서 결과를 별도로 확인할 필요가 있다. 구글은 Fairwind Program의 신뢰할 수 있는 파트너부터 접근을 확대할 계획이라고 밝혔다.

발표한 가격은 Argon과 같은 도입가로 입력 100만 토큰당 2달러, 출력 100만 토큰당 10달러다. 캐시된 입력 토큰은 입력 가격의 95% 할인이다. 도입 기간이 끝나면 입력 4달러, 출력 20달러가 적용된다. 도입 기간의 길이는 공개되지 않았다. 일반 소비자와 API 출시 날짜는 발표하지 않았고, 구글은 가드레일을 다듬어 개발자, 기업, 소비자에게 '가능한 한 빨리' 공개하겠다고만 밝혔다.