2026년 10월 27일, 구글 딥마인드가 차세대 인터랙티브 세계 모델 지니 4(Genie 4)를 전격 발표했다. 이용자가 키보드를 누르면 생성된 가상 공간 속을 곧바로 걸어 다닐 수 있으며, 물웅덩이를 밟는 발소리가 실시간으로 귓가에 울린다. 그러나 이어진 기술 브리핑에서 연구진은 분명한 한계를 짚었다. 알고리즘이 실시간으로 엮어내는 이 가상 세계는 연속 실행 시간이 2분을 넘어서는 순간 디테일이 일그러지며 무너지기 시작한다.
키보드를 누르면 새로운 공간으로, 영상과 음향을 1초 안에 동시 생성
그동안 대다수 비디오 생성 모델은 소리 없는 영상만을 만들어냈으며, 효과음은 사후 편집으로 이어 붙여야 했다. 지니 4는 사상 최초로 시각 영상과 오디오의 동시 추론을 구현해 냈다. 발걸음 소리, 바람 소리, 등장인물과의 상호작용 대화까지 모델이 단일 프레임 추론 과정에서 직접 함께 생성한다. 딥마인드는 장면에 나타나는 모든 소리가 모델 내부에서 자율적으로 생성되므로, 별도의 오디오 모델을 연동할 때 발생하는 전송 지연 시간을 완전히 없앴다고 강조했다.
그림: 지니 4가 실시간으로 생성한 상호작용 장면. 키보드 입력에 따라 물리 운동과 조명 반사를 동적으로 계산한다. 출처: TechCrunch / Google DeepMind.
제미나이 옴니(Gemini Omni)는 실제 물리 세계를 참조하는 인지 백본 역할을 맡아 가상 공간의 시각적 완성도와 물리 동작을 보정한다. 물체의 충돌 반응과 공기 저항도 자연 법칙을 따른다. 백그라운드에서는 추론 모델이 장면 전체를 실시간으로 모니터링하며, 이용자가 가볍게 입력한 자연어 텍스트를 환경 제어 명령어로 변환한다. 사용자는 타이핑 몇 자로 폭우를 쏟아지게 하거나 새로운 캐릭터를 장면에 즉시 등장시킬 수 있다.
이 과정에서 정교한 게임 엔진 스크립트를 작성할 필요는 전혀 없다. 하늘에서 폭우가 쏟아지게 하라는 명령을 내리면, 모델은 젖어 든 아스팔트 노면의 빛 반사를 스스로 계산해 화면에 반영한다. 언어를 물리 시뮬레이션으로 전환하는 이러한 메커니즘 덕분에 수작업으로 스크립트를 짜는 번거로운 공정이 사라졌다.
키 입력을 멈춘 순간에도 시스템은 자율적인 환경 시뮬레이션을 멈추지 않는다. 길거리의 행인들은 가던 길을 계속 걸어가며, 이용자의 조작이 멈추었다고 해서 세계 전체가 굳어버리지 않는다. 해당 기술은 현재 연구 프리뷰 형태로 제공되고 있으며, 수주일 내에 AI Ultra 구독자를 대상으로 대기열이 열릴 예정이다.
시선을 돌렸다 다시 돌아보니, 배달 라이더 머리에 헬멧이 생겼다
개발자 커뮤니티에 공개된 시연 영상이 올라오자, 엔지니어들은 프레임 단위로 분석하며 허점을 찾아내기 시작했다. 홍콩 골목길을 배경으로 한 시연 영상에서 배달 라이더는 처음에 헬멧을 쓰지 않은 맨머리로 좁은 골목을 달린다. 하지만 카메라 시선이 0.5초 정도 다른 곳을 비췄다가 다시 돌아오자, 라이더의 머리에는 난데없이 번쩍이는 새 안전모가 씌워져 있었다. 거대한 용이 날아가는 또 다른 시연 영상에서는 시점이 산등성이를 돌아 나오자마자 탁 트인 평원 위에 거대한 석조 성채가 불쑥 솟아올랐다.
기차역 승강장 영상에서도 비슷한 왜곡이 나타났다. 저 멀리 걸어가던 승객의 옷차림이 이동 도중 순식간에 바뀌며, 트렌치코트를 입고 있던 인물이 돌연 반소매 티셔츠 차림으로 변했다. 객체가 화면 시야 안에 머무는 동안에는 공간적 일관성이 매우 안정적으로 유지된다. 그러나 사물이 시야 밖으로 벗어나는 순간, 시스템은 해당 객체의 3차원 기하학 좌표와 공간 상태를 메모리에 보존하지 못한다.
카메라가 원래 위치를 다시 비출 때, 알고리즘은 주변 맥락의 의미 정보에만 의존해 그 자리의 픽셀을 즉흥적으로 재구성할 뿐이다. 딥마인드의 디에고 리바스(Diego Rivas) 연구원은 시간이 지날수록 디테일의 왜곡과 표류가 누적된다는 점을 인정했다. 현재 화면 내부의 텍스트는 선명하게 판독하기 어려우며, 오디오의 해상도 역시 주기적으로 끊어지는 현상이 발생한다. 연구진은 이 기술이 여전히 초기 탐색 단계에 머물러 있으며, 상용 제품으로서의 형태는 아직 정해지지 않았다고 솔직하게 밝혔다.
기술 커뮤니티는 이러한 시각적 결함에 매우 민감하게 반응했다. 만약 시야 밖으로 벗어난 객체의 연속성을 유지하는 작업이 수월했다면, 공식 시연 영상을 제작할 때 최우선으로 개선했을 것이기 때문이다. 공개 영상에 이러한 왜곡이 그대로 노출되었다는 사실은 영구적인 공간 기억 능력이 생성형 AI 업계 전체가 아직 넘지 못한 거대한 장벽임을 입증한다.
아기도 몇 달 만에 깨우치는 상식을, 거대 모델은 2분 만에 까먹는다
인간 영아는 생후 8개월 무렵이 되면 ‘대상 영속성(Object Permanence)‘에 대한 기초적인 인지 능력을 형성한다. 장난감이 담요 밑에 숨겨지더라도, 아기는 물건이 여전히 그 자리에 존재한다는 사실을 이해하고 스스로 손을 뻗어 장난감을 찾아낸다. 그러나 현재의 생성형 모델에는 이러한 공간 보존 능력이 없다. 시선이 닿는 곳만을 맹렬한 속도로 덧칠하다가 시선이 돌아가는 즉시 모든 것을 잊어버리는 즉흥 화가에 더 가깝다.
그림: 딥마인드가 공개한 지니 4 동작 구조. 모델은 단기적 일관성을 유지하기 위해 맥락 추론에 의존하지만, 장기 기억에서는 오차가 기하급수적으로 누적된다. 출처: Google DeepMind.
엔지니어링 측정 데이터에 따르면, 지니 4가 유지할 수 있는 장면 일관성의 상한선은 2분이다. 이는 2025년 8월 출시된 이전 세대 모델 지니 3보다 정확히 2배 늘어난 수치다. 그러나 구동 시간을 2배 늘리기 위해서는 천문학적인 연산 자원이 투입되어야 하며, 문맥 길이를 늘리는 것만으로는 누적되는 오차를 막아내지 못했다. 기하학적 좌표라는 단단한 뼈대가 없기 때문에, 프레임 단위의 미세한 오차는 수십 초 안에 증폭되어 세계 전체를 무너뜨린다.
기존 3D 게임 엔진은 메시 구조와 물체의 위치 상태를 그래픽 메모리에 영구적으로 기록한다. 플레이어가 아무리 멀리 이동했다가 돌아오더라도 탁자 위에 놓인 유리컵은 원래 위치에 그대로 남아 있다. 반면 세계 모델은 기하 좌표계를 건너뛰고 확률 분포를 통해 다음 프레임의 픽셀을 직접 추정하려 든다. 이러한 접근법은 화려하고 역동적인 시각 효과를 빚어내지만, 엄격한 물리적 연속성을 지탱하기에는 역부족이다.
빅테크가 스타트업을 쓸어 담는 이유, 로봇을 가상 꿈속에서 훈련하기 위해
명백한 결함에도 불구하고 세계 모델은 글로벌 테크 거인들의 치열한 투자 경쟁을 불러일으키고 있다. 수개월 전 영상 생성 기업 런웨이(Runway)는 2세대 세계 모델 GWM Worlds 2를 발표했다. 반도체 기업 AMD는 페이페이 리(Fei-Fei Li) 교수가 설립한 월드 랩스(World Labs)를 인수했고, 아마존 역시 데카르트(Decart) 인수를 위한 협상을 진행 중이다. 전기차 제조사 리비안(Rivian)은 자율주행 시스템 검증을 위해 서드 디멘션(Third Dimension)을 품에 안았다.
업계가 세계 모델에 거액의 베팅을 이어가는 핵심 목표는 실제 로봇 하드웨어가 저비용으로 무수한 시행착오를 겪을 수 있는 가상 훈련장을 확보하는 데 있다. 구글은 로봇 제어 실험에서 제미나이 4 아르곤(Gemini 4 Argon) 모델에 작업 순서 분해를 맡겼다. 이어 시스템이 지니 4를 호출해 물리적 반작용을 실시간으로 추론해 내면서, 제어 알고리즘이 가상 환경 안에서 사전 동작을 시뮬레이션할 수 있게 했다. 연구 총괄 테자스 쿨카르니(Tejas Kulkarni)는 하이브리드 아키텍처가 업계의 결정적인 진화 경로가 될 것이라고 강조했다.
하지만 현재의 지니 4는 엄격한 공학 시뮬레이션 기준에 한참 미치지 못한다. 현실에서 로봇이 컵을 깨뜨리면 바닥에 유리 파편이 흩어지지만, 세계 모델에서는 뒤돌아섰다 다시 돌아보면 바닥이 말끔하게 청소되어 있을 수 있다. 초기 테스터들은 이 모델의 가장 현실적인 활용처로 영화와 게임 제작의 초기 콘셉트 스토리보드(프리비즈) 작업을 꼽는다. 창작자들은 물리적 디테일의 정합성에 얽매이지 않고 즉각적인 시각 피드백을 얻으며 영감을 구체화할 수 있다.
세계 모델의 진정한 기술적 분수령은 공간 일관성의 극복에 달려 있다. 지니 4는 인공지능이 생생한 영상과 음향을 갖춘 상호작용 환경을 실시간으로 직조할 수 있음을 훌륭하게 증명했다. 그러나 화면 밖 객체 초기화라는 결함이 남아 있는 한, 알고리즘이 빚어낸 세계는 2분이 지나면 소리 없이 무너져 내릴 수밖에 없다. 창작자에게는 극도로 민첩한 디지털 스케치북이 될 수 있을지언정, 엄밀한 물리 시뮬레이션의 자리를 대신하기에는 아직 갈 길이 멀다.
참고 링크:
- Google DeepMind 공식 연구 발표
- TechCrunch 현장 심층 분석
- Hacker News 개발자 커뮤니티 기술 토론
