Google DeepMind 发布实时交互世界模型 Genie 4

2026年10月27日 模型

Raia Hadsell、Diego Rivas 和 Hang Qi

今天，我们宣布推出全新的世界模型 Genie 4，它带来了前所未有的真实感，并改进了实时交互式仿真。Genie 4 具备原生的多模态能力，能够与世界同步生成音频般的音乐、环境噪音以及交互式对话。

Genie 4 模型融合并构建于 Gemini 系列的功能之上：Gemini Omni 将仿真锚定在真实世界的表观与行为上，而其他 Gemini 模型则提供复杂的推理能力，以帮助维持仿真的连贯性。

在此基础之上，你可以启动一个事件，而 Genie 4 会模拟接下来发生的事情：世界如何响应、听起来怎样，以及其中的人们如何移动、反应和说话。

理解和模拟世界是构建 AGI 的关键方面。Genie 4 提升了我们创建安全、无限可变仿真的能力，这些仿真可用于从开发机器人和智能体训练环境到解锁全新交互体验创作等各个方面。

我们已开始向受信任的测试人员推出 Genie 4 作为研究预览版——在向消费者和开发者发布之前收集反馈，首先面向 Project Genie 中的 Google AI Ultra 订阅者以及 Gemini API 和 Google AI Studio 的抢先体验合作伙伴。点击此处加入 Genie 4 在 Project Genie 中的候补名单。

Genie 4 推进了四项关键能力

以下是来自 Genie 4 的实时交互录屏，用户使用标准键盘控制进行导航和镜头控制，并通过文本提示词在场景演变时对其进行引导。

实时塑造世界仿真

借助 Genie 4，你可以使用自然语言实时修改仿真——比如改变天气、移动镜头，或引入新的人物或物体——Gemini 会根据上下文调整你的提示词，以匹配周围的场景。在你的输入之间，Gemini 还会监控并引导场景，使世界保持连贯地发展。

突破物理学与人类行为的真实感前沿

Genie 4 为实时交互式仿真带来了全新的真实感标准。基于对世界的高级物理理解，Genie 4 可以模拟现实世界的物理场景，例如空气动力学、碰撞等。

最戏剧性的飞跃在于 Genie 4 如何模拟人物，它创造的角色能够自然移动，对环境做出有机反应，并可以在实时中进行交互式引导。

对世界声音进行建模

Genie 4 是我们第一个原生生成音频的实时世界模型。每个世界都带有其自身环境的背景声音，从树木中的风声到海滩上的海浪拍打声。

然而，真正的边界是人类语音。Genie 4 引入了能够即时适应的交互式对话。角色能够实时进行对话，并对你的输入或世界中的事件做出反应。

用 Gemini 模型模拟复杂事件

将 Gemini 与 Genie 4 结合，为世界仿真增加了一层新的推理能力，使我们能够模拟复杂的、多步骤的事件，并在将 AI 系统带入真实世界之前测试它们如何穿梭于不同的环境中。

为了实时实现这一点，Gemini 3.8 Flash 作为循环中的引导智能体：当 Genie 4 实时生成世界时，Gemini 会持续观察场景、将目标拆解为一系列步骤，并审查传入的帧以跟踪进度并验证每个步骤是否成功。随着世界的改变或用户的介入，Gemini 会即时调整其计划，从而解锁具备可靠因果关系、程序化行为和多步骤推理的世界。

作为探索该能力的一部分，我们还一直在尝试将 Gemini 4 Argon 和 Genie 4 结合使用，将我们的前沿研究与 Gemini Robotics 融合在一起。

在下面的示例中，Argon 将用户指示的任务拆解为供 Genie 渲染的步骤。当模拟正在渲染时，这些步骤会作为文本标题交织输入给 Genie 4。由于可以使用 Gemini 通过文本标题对 Genie 4 进行实时引导，这现在为随着任务的推进而调整模拟开辟了道路。利用 Gemini 4 Argon 和 Genie 4，这项能力成为了在虚拟世界中模拟广泛场景的一种途径。

来自受信任测试人员的经验教训

虽然 Genie 4 是一个重大的研究里程碑，但它仍然是一个早期的实验性模型。为了了解交互式世界模型如何支持现实世界的工作流程，以及它们在哪些方面仍需改进，我们一直在与创意产业、新闻、教育、游戏和工程领域的受信任测试人员群体进行合作。

测试人员强调，真实感、原生音频和实时引导方面的飞跃如何使创意和概念能够转化为逼真的模拟，从而解锁跨学科的新能力：

• 创意指导：创意人士和技术人员正在测试 Genie 4 作为用于预可视化和构思的快速“草稿模式”。例如，电影制作人可以步入场景的实时模拟中，并实时运行多个“镜头”，即时调整摄像机角度、光照、对话和动作。
• 历史场景与沉浸式照片：摄影记者正在探索单张 2D 档案照片如何在几秒钟内变成该环境的扎实模拟。团队正在测试充斥着动态的世界如何帮助体验历史空间，或可视化短期环境事件（如山洪暴发或野火）是如何展开的。
• 交互式体验概念设计：游戏开发者和创意技术人员正在测试 Genie 4，以便在几秒钟内从最初的想法过渡到可探索的原型，在编写单行引擎代码之前，通过自然语言提示测试视觉风格、材质美学和交互机制。
• 模拟：除了我们的机器人研究之外，各行各业的企业合作伙伴正在评估 Genie 4 作为快速“从零到一”生成场景的工具，并找出差距以进一步改进 Genie，从而更好地满足该模拟需求。

未来工作：迈向混合世界模型

未来进展的一个有希望的方向在于混合世界模型，它将代码和语言模型的逻辑、结构化推理与像素级模拟丰富、感官的表征结合起来。

将 Genie 和 Gemini 模型更紧密地结合在一起，是朝着这个方向迈出的早期一步。Gemini 在幕后工作，负责规划结构和叙事时间线，而 Genie 则生成即时的物理现实——逐像素渲染世界的视觉、声音和响应方式。这两种互补的优势结合在一起，能够开启一类全新的世界模型，比单靠其中任何一种方法都更具连贯性、可控性和真实感。

负责任地构建世界模型

Genie 4 标志着前沿研究的一个新领域，它将实时生成与逼真视觉效果融为一体，引入了一系列我们希望以负责任的方式推出和探索的新功能与新维度。Genie 4 包含严格的安全护栏，这与我们在其他模型中执行的安全政策相一致。在推出此预览版之前，我们通过内部严格的安全评估对 Genie 4 进行了评估，以防止生成有害或恶意内容。此外，我们在更广泛地发布该模型之前，刻意首先将其部署给受信任的测试人员合作伙伴，以获取早期反馈。

为了保持透明度，Genie 4 生成的所有视频和音频都将包含 SynthID，这是我们难以察觉的数字水印技术，可帮助识别跨视觉和音频模态的 AI 生成内容。

了解当前的局限性

Genie 4 仍然是一个处于早期阶段且不断发展的研究领域。

虽然它能够在短时间内维持连贯的环境，但随着时间的推移——尤其是当模拟运行时间变长、经过多次复杂的提示词编辑，或者在场景中导航时——视觉细节和物体恒常性仍然可能会发生变化或漂移。复杂的物理交互、实时音频准确性、渲染清晰的文本、空间准确性以及长期一致性，都是当前正在积极研究的领域。我们以预览版的形式分享 Genie 4，旨在与社区共同学习，并安全地推动交互式模拟的前沿发展。

Genie 4 的下一步计划

Genie 4 已作为研究预览版发布给受信任的测试人员，并将很快向 Project Genie 中的 Google AI Ultra 订户以及 Gemini API 和 Google AI Studio 中的抢先体验合作伙伴推出。点击此处加入 Project Genie 中 Genie 4 的候补名单。

我们很高兴用户能尽快亲身体验、进行尝试并构建他们自己的交互式世界。

致谢

Genie 4 的诞生离不开以下人员的核心贡献：Hang Qi、Diego Rivas、Aleksander Hołyński、Inbar Mosseri、Jack Parker-Holder、Shlomi Fruchter、Tejas Kulkarni、James Assiene、Philip Ball、Jakob Bauer、Eddie Cao、Lucy Chai、Harris Chan、Kleopatra Chatziprimou、Hao Chen、Yoni Choukroun、Mark Collier、Enric Corona、Kurtis David、Ariel Ephrat、Maxime Gazeau、Ruiqi Gao、Chelsee Glover-Odom、Liangke Gui、Swaroop Guntupalli、Shan Han、Tingbo Hou、Jiri Hron、Hui Huang、Drew A. Hudson、Zhouyuan Huo、Linyi Jin、Christos Kaplanis、Dhrupad Karwa、Eunyoung Kim、Congtao Kuang、Eliot Laidlaw、José Lezama、Hao Li、Shuang Li、Yuchen Liu、Hanzi Mao、Mark Matthews、Matt McGill、Kay McKinney、Ricardo Monti、Mark Murphy、Joseph Ortiz、Roni Paiss、Frank Perbet、Ben Poole、Tal Reiss、Konstantinos Rematas、Guy Scully、Jeremy Shar、Shashank Shastry、Sri S、Omer Tov、Ruben Villegas、Andrey Voynov、Hongjie Wang、Luyu Wang、Kaustubh Sridhar、Mo Samsami、Stephen Spencer、Yufei Wang、Will Whitney、Rundi Wu、Joyce (Jingjing) Xie、Jesse Yin、Shiran Zada、Serena Zhang、Xiaofan Zhang、Zhengqi Li、Zhixing Zhang、Yuan Zhong、Shuo-yiin Chang、Dmitry Lagun、Ronny Huang、Yao Su、Ankush Gupta、Genzhi Ye、Haolin Jia、Weiqin Wang、Xi Xiong、Salah Zaiem、Carol Zheng。

Genie 4 的推出还得益于各合作团队之间的紧密协作，我们感谢所有为此次发布做出贡献的跨职能合作伙伴：Dina Bashkirova、Emil Bergner、Greta Borisko、Irina Blok、Melissa Byun、Gabe Clapper、Viral Carpenter、Michael Y. Chang、Maximo Cudich-Sieburger、Chloe Doan、Alisa Fortin、Shivani Ghanta、Vikram Gopali、Ezra Gorman、Khyatti Gupta、Sam Hasinoff、Philipp Henzler、Hector Hinestroza、Ed Hirst、Tyler Holland、Kristian Holsheimer、Tiffany Hu、Kapil Joshi、Randeep Katari、Pavan Kumar、Vikhyat Kumeria、Sam Kvaalen、Matthew Levine、Yinxiao Li、Yuchi Liu、Miao Luo、Nick Matarese、Kangfu Mei、Signe Nørly、Moises Oliveira、Eric Paskie、Manika Puri、Susanna Ricco、Andrey Ryabtsev、Cai Schumann、Nicole Brichtova、Andy Sekyere、Grace Shih、Melissa Smith、Duncan Noble Smith、Kenda Stewart、Rod Strougo、Jenn Sturgeon、Amy Zeng、Gaby Pearl、Eleanor Tomlinson、Kenyon Watson、Inês Ayer、Luke Talbot、Han-Yun Tsao、Guillaume Vernade、Karen Wang、Changchang Wu、Ian Wilkinson、Weijuan Xi、Jennifer Yick、Yunhan Zhao、Eric Zhang、Jason Zhang、Annie Zhou、James Zhou、Chris Walker、Alan Yam、Alex Chen、Cliff Lungaretti、Dan Motzenbecker、Kaloyan Kolev、Matthew Carey、Nate Zucker、Sam Lawton、Shashwath Santosh、Suz Chambers。

感谢 Raia Hadsell、Aäron van den Oord、Josh Woodward、Steve Seitz、Carlos Hernandez、 Elias Roman、Jung E. Kim、Abhishek Bapna、Eli Collins、Tulsee Doshi、Carolina Parada、Jie Tan、Koray Kavukcuoglu 和 Demis Hassabis 在整个研究过程中提供的深刻指导与支持。

最后，我们感谢我们的信任测试人员和早期访问用户，他们提供的反馈帮助指引了我们的研究方向。