Genie 4: 소리와 대화를 함께 만들며 조종하는 가상세계

배경과 문제

딥마인드는 세상을 이해하고 시뮬레이션하는 능력을 범용 인공지능(AGI) 연구의 핵심 요소로 본다. 로봇이나 에이전트를 훈련시키려면 현실과 유사한 다양한 환경이 필요한데, 실제 세계에서 모든 상황을 재현하는 것은 비용과 안전 문제 때문에 어렵다. Genie 4는 이런 문제를 해결하기 위해 개발된 '월드 모델'로, 사용자가 설정한 사건 이후에 세계가 어떻게 반응하고 소리가 나며 사람들이 어떻게 움직이고 말하는지 실시간으로 생성한다.

생성 장면을 조종하면서 영상, 소리, 사람의 움직임과 대화가 서로 맞게 이어지도록 하는 것이 이 발표의 중심 문제다. 사용자가 물체를 추가하거나 카메라를 돌려도 세계가 앞 장면과 연결되어야 한다. 딥마인드는 Gemini 모델군을 결합해 이러한 현실감과 연속성을 높이려 하며, 로봇 훈련 환경 개발과 인터랙티브 경험 창작을 활용 방향으로 제시한다. 모든 기존 시뮬레이션 도구와 같은 조건으로 비교한 결과는 공개 글에 없다.

기존 접근의 한계

앞서 생성한 모습이 그럴듯하더라도 사용자의 다음 행동까지 자연스럽게 이어지는 것은 별개의 문제다. 물체가 시야 밖으로 나갔다 돌아왔을 때 유지되는지, 여러 단계의 일이 순서대로 진행되는지, 대화와 움직임이 맞는지를 함께 다뤄야 한다. 개발사는 코드·언어의 논리적 추론과 픽셀 기반 시뮬레이션을 결합하는 하이브리드 월드 모델을 장기 방향으로 제안하며, 이번 결합을 그 초기 단계로 설명한다.

Genie 4는 이런 한계를 극복하기 위해 네이티브 멀티모달 방식을 도입했다. 즉, 세계의 영상과 함께 음악, 주변 소음, 상호작용하는 대화를 함께 만들어낸다. 또한 Gemini Omni가 시뮬레이션을 실제 세계의 외관과 행동에 고정시키고, 다른 Gemini 모델들이 복잡한 추론을 제공해 시뮬레이션의 일관성과 연속성을 유지하도록 설계되었다.

연구방법을 단계별로

Genie 4의 핵심 설계는 Gemini 모델군과의 결합에 있다. 먼저 Gemini Omni가 시뮬레이션의 기반을 실제 세계의 모습과 행동에 맞추고, 다른 Gemini 모델이 복잡한 추론을 담당한다. 사용자가 자연어로 날씨를 바꾸거나 카메라를 이동하거나 새로운 인물·물체를 도입하면, Gemini가 프롬프트를 주변 장면에 맞게 상황에 따라 조정한다. 사용자 입력 사이에도 Gemini가 장면을 관찰하고 조종하여 세계가 일관되게 진행되도록 돕는다.

복잡한 다단계 사건을 실시간으로 시뮬레이션하기 위해 Gemini 3.8 Flash가 '안내 에이전트'로 루프에 포함된다. Genie 4가 세계를 실시간으로 생성하는 동안 Gemini 3.8 Flash는 장면을 계속 관찰하고, 목표를 일련의 단계로 분해하며, 들어오는 프레임을 검토해 각 단계의 성공 여부를 확인한다. 세계가 바뀌거나 사용자가 개입하면 Gemini가 즉시 계획을 조정한다. 이는 사건의 순서와 단계별 행동을 더 일관되게 이어가려는 설계다. 인과적 정확성이나 계획 성공률을 수치로 입증한 것은 아니다.

또한 Gemini 4 Argon과 Genie 4를 결합해 로봇 시뮬레이션 실험도 진행했다. Argon이 사용자 지시 작업을 단계로 분해하면, 그 단계들이 Genie 4에 텍스트 캡션으로 전달되어 시뮬레이션이 렌더링되는 동안 실시간으로 조종된다. 예를 들어 Apptronik의 Apollo 휴머노이드가 체커 게임을 하는 시뮬레이션에서 Argon이 작업을 실시간 단계로 나누어 Genie 4에 전달한다. 이는 생성된 가상 장면의 실험이며, 실제 Apollo 로봇으로 옮겼을 때의 작업 성공률을 검증한 결과는 아니다.

결과와 숫자의 의미

개발사는 네 가지 기능을 강조한다. 자연어로 장면을 실시간 수정하는 조종, 물리와 사람 행동의 사실성, 세계와 함께 만드는 소리, Gemini를 통한 복잡한 사건의 시뮬레이션이다. 여기서 “첫 모델”이라는 표현은 실시간 네이티브 오디오를 생성하는 딥마인드의 첫 월드 모델을 뜻한다. 모든 기관을 통틀어 세계 최초라고 검증한 주장이 아니다. 소리에는 바람·파도 같은 주변음뿐 아니라 입력과 사건에 반응하는 대화도 포함된다고 소개한다.

본문에는 초당 프레임 수(fps), 해상도, 최대 지속 시간, 정확도나 물리 성공률을 비교한 수치가 없다. 단풍나무 씨앗의 낙하와 UR5 로봇의 피펫 작업 등은 데모에 쓰인 장면 설명과 프롬프트 사례다. 이러한 입력만으로 공기역학이나 액체 분주의 정밀성이 검증됐다고 말할 수는 없다. 이번 확인은 공개 본문과 데모 설명을 읽은 것이며, 영상을 직접 재생해 품질을 측정하거나 다른 모델과 독립 비교하지 않았다.

구체적인 예시

대표적인 프롬프트는 호수 위 플랫폼에서 색소폰을 연주하는 남성을 다큐멘터리처럼 표현하도록 요청한다. 참조 이미지를 첫 프레임으로 쓰고, 16mm 필름 질감과 부드러운 빛, 물 위를 자유롭게 이동하는 카메라를 지정한다. 소리는 호수의 주변음과 색소폰 연주로 구성하고 배경 음악을 빼도록 요구한다. 이는 사용자가 영상의 스타일·움직임·소리를 함께 지시하는 방식을 보여주는 입력 사례이며, 모든 조건이 결과에서 정확히 지켜졌다고 검증한 기록은 아니다.

또 다른 프롬프트는 1980년대 일본의 붐비는 시골 기차역을 요청한다. 기다리는 승객, 카메라 가까이 선 감독관, 진홍색 열차와 여름의 습한 분위기를 구체적으로 지정한다. 35mm 사진 질감도 요청사항에 포함된다. 이런 예시는 여러 사람과 배경 조건을 한 번에 제어하려는 사용 방식을 이해하는 데 도움이 된다. 역사적 장면이 정확하게 복원되었거나 복잡한 군중 행동이 안정적으로 재현된다는 성능 측정으로 해석해서는 안 된다.

한계와 오해하기 쉬운 점

Genie 4는 초기 실험 모델로, 짧은 세션에서는 일관된 환경을 유지할 수 있지만 시뮬레이션이 길어지거나 복잡한 프롬프트 편집이 여러 번 이루어지거나 장면을 탐색할 때 시각적 세부 사항과 객체 지속성이 흐트러질 수 있다. 복잡한 물리적 상호작용, 실시간 오디오 정확성, 읽을 수 있는 텍스트 렌더링, 공간 정확성, 장기 일관성은 여전히 진행 중인 연구 분야다. 따라서 Genie 4가 생성한 영상이 실제 물리 법칙을 완벽히 따르거나 실제 로봇 실험과 동일하다고 오해해서는 안 된다.

또한 Genie 4는 현재 신뢰된 테스터에게만 연구 프리뷰로 배포되었으며, 모든 사용자에게 일반 공개된 것은 아니다. Google AI Ultra 구독자와 Gemini API·AI Studio의 초기 액세스 파트너에게 곧 제공될 예정이다. 개발사는 내부 안전 평가를 수행했다고 밝히며, 모든 생성 영상과 오디오에 SynthID 워터마크가 포함되지만, 이것이 위험을 완전히 제거했다는 증거는 아니다. 내부 평가의 주장과 외부에서 재현 가능한 성능 검증은 구분해야 한다.

실제로 어떻게 활용할까

개발사가 소개한 신뢰된 테스터들의 피드백에 따르면 Genie 4는 여러 분야에서 활용 가능성을 보여준다. 창의적 디렉션 분야에서는 영화 제작자가 장면의 라이브 시뮬레이션에 들어가 카메라 각도, 조명, 대화, 액션을 실시간으로 조정하며 여러 '테이크'를 실행하는 빠른 '드래프트 모드'로 사용할 수 있다. 기록 사진에서 탐색 가능한 장면을 만들거나 홍수·산불 같은 사건을 시각화하는 가능성도 제시한다. 다만 생성 장면은 실제 역사 기록의 복원이나 검증된 재난 예측 자료와 구별해야 한다.

게임 개발과 창작 분야에서는 초기 아이디어를 탐색 가능한 시안으로 빠르게 바꾸는 용도가 제안되며, 엔진 코드를 작성하기 전에 자연어 프롬프트로 시각적 스타일, 재료 미학, 인터랙티브 메커니즘을 테스트할 수 있다. 로봇 공학 연구 외에도 기업 파트너들은 빠른 '제로-투-원' 시나리오 생성을 위한 도구로 Genie 4를 평가하고 있다. 향후 연구 방향은 코드와 언어 모델의 논리적 구조적 추론과 픽셀 수준 시뮬레이션의 풍부한 감각적 표현을 결합한 하이브리드 월드 모델로 나아가는 것이다.