跳到正文
Hacker News-首页· GaggiX·· 1 天前精选AI 评分83

Dream Labs 发布首个世界动作模型 Dream-1,支持跨形态机器人零样本泛化并开放 API

Dream-1

AI 导读

Dream Labs 宣布完成 9000 万美元种子轮融资并正式出山,发布首个世界动作模型 Dream-1。该模型可通过公开 API 获取,无需针对特定机器人进行微调或预先演示,即可对未见过的双臂机器人、任务和环境实现零样本泛化控制。

推荐理由

Dream Labs 发布了首个世界动作模型 Dream-1 并开放公开 API,支持未见过的双臂机器人实现零样本跨形态泛化。

正文 · AI 翻译

A still from the launch video

00:00 / 01:59 发布视频

为 Dream-1 配置配备平行夹爪的新型双臂机器人,将其连接到我们的 API,它就可以开箱即用执行任务。无需微调,无需该机器人的示范,也无需机器学习专业知识。

这是迈向通用机器人智能的重要一步。

今天,Dream Labs 也结束了隐秘状态,获得 9000 万美元种子轮融资,并通过公共 API 向全世界用户提供 Dream-1。

01

打破先有鸡还是先有蛋的难题

机器人的先有鸡还是先有蛋难题。

几十年来,机器人技术一直陷入先有鸡还是先有蛋的困境:机器人必须有用,人们才想购买它,但要让它有用,就需要来自该特定机器人的数据,而这些数据只有在足够多的人开始使用后才会存在。Dream-1是我们打破这一循环的第一步。

自动驾驶找到了绕过这个冷启动问题的方法。汽车从第一天起在零自主性时就已具备实用价值,因此数百万人每天驾驶它们,并生成了训练日益强大的模型所需的数据。大多数其他机器人从未拥有过这种优势。

两件事正在改变这一现状。

首先,机器人硬件正变得足够便宜,能够触及更多人。现在,一套性能强劲的双能手臂装置的成本最低可达 $2k1。

其次,机器人在变得有用之前,可能不再需要自己庞大的数据集。如果一个模型能够零样本泛化到未见过的环境、任务甚至机器人,那么新机器人就可以直接具备有用的能力。

将这些结合起来,飞轮终于可以启动。更便宜的硬件让更多的机器人走向世界。可泛化的模型使这些机器人更早发挥作用。有用的机器人产生更多数据,而这些数据使模型对下一个机器人变得更好。

02

廉价、实惠机器人的寒武纪大爆发

Dream Labs 赋能的机器人。

机器人硬件降价的速度比任何人预期的都要快。请看上面的机器人,其中 7 个半人形机器人的成本低于 $15k,这个价格区间在一年之前几乎是不存在的。在价格曲线的另一端,Hugging Face 售价 $399 的 Microduck 在 8 月底发布后 4 天内售出了超过 10,000 台2。我们相信,机器人的腾飞将从这样的机器人开始。

$2,000

双臂装置

截至目前,一套功能强大的双臂装置。

7

$15k 以下的半人形机器人

轮子、两只手臂、平行夹爪;一个在一年前几乎不存在的价位。

$399

Hugging Face Microduck

于 8 月底发布。

10,000+

4 天内的 Microduck

发布后四天内售出。2

这是因为它们的买家是消费者、专业消费者和小团队,而不是企业。企业买家在做电子表格决策。如果机器人在成本、速度或可靠性上没有战胜人类,它就不会被购买;这是一个很高的门槛。消费者则不同。1万多人在4天内刚刚支付了399美元购买了一款主要工作是令人愉悦和可爱的机器人:它会走路、摇摆和滑旱冰。在这个与功能齐全的家政机器人之间,有一个最佳平衡点,那就是价格亲民到让人容易接受,实用性强到足以在家里占有一席之地。一旦机器人达到这一程度,我们认为普及率就会开始复合增长,家里的每一个机器人都会成为新的训练数据来源。想象一下,两只 Microducks 用它们的喙作为夹爪帮你叠衣服。

03

开启 Dream Labs 的成果

2026年2月,我们的团队发布了 DreamZero,这篇论文介绍了World Action Models3。自那时起,社区已将 WAM 采纳为机器人学习中最有前途的范式之一。当时,对我们来说最惊人的结果是,在仅对 30 分钟的 YAM 机器人数据进行后训练后,我们看到它能够零样本泛化到从未见过的任务中。这种泛化过去需要数百甚至数千小时的具身特定数据。如果来自特定机器人的 30 分钟数据足以将通用任务知识转移到该机器人,那么打破鸡生蛋、蛋生鸡的循环似乎就不再是不可能的了。结合上述硬件浪潮,时机感觉对了。正因如此,我们决定创立 Dream Labs。

经过六个月的建设,我们很高兴分享一项仅通过世界动作模型才得以实现的新研究突破:零样本具身泛化的早期迹象。

04

隆重推出 Dream-1

Dream-1 是我们的第一个通过公共 API 提供并在全球范围内使用的世界动作模型。开箱即用,它就可以在未见过的环境中控制未见过的机器人来执行未见过的任务。

Anvil Robotics加勒比海

将糖果分类到容器中 1 / 2

BitRobot中国深圳

抽出纸巾 1 / 4

Cortex新加坡

将白色杯子叠在粉色杯子上 1 / 2

Eastworld马来西亚吉隆坡

将苹果放入棕色盒子中 1 次 rollout

Hugging Face法国巴黎

拿起红色立方体并将其放入绿色容器中 1 次 rollout

KAIST韩国首尔

折叠盒子 1 次 rollout

XDOF印度尼西亚雅加达

找到马克笔并将其拿起 1 次 rollout

RoboCurve美国旧金山

将所有三个瓶子竖直放置 1 / 4

Scale AI美国旧金山

将立方体叠成单层塔 1 / 9

Robo Inc.美国洛杉矶

将薯片移至托盘 1 次 rollout

Mecka美国纽约

从松散的架子上提起试管 1 次 rollout

AgiBot中国上海

将苹果捡到盘子里 1 次 rollout

1–13 / 13

Dream-1 能够完成的未见任务。自主运行。在测试人员现场为 8 倍速,内部测试为 4 倍速。

04.1

几分钟即可上手

我们希望让任何人(而不仅仅是大型实验室)都能轻松使用具备通用性的机器人。因此,我们在设计 Dream-1 时,尽可能做到即插即用。连接您的机器人,将其指向 API,然后运行即可。无需机器学习背景即可上手。我们每周都会举办内部黑客马拉松,以尽最大可能缩短部署时间。 新手教程

import dream

client = dream.DreamClient(
    api_key=<API_KEY>,
)
client.policy({"checkpoint": "dreamlabs/dream-1"})
client.set_observation(observation)
action = client.get_action()
client.close()

精简的客户端代码

04.2

在从未见过的机器人上实现零样本泛化

Dream-1 可以零样本泛化到许多双臂、平行夹爪机器人。以下是我们测试过的一些机器人。它甚至可以控制发布于 18 年前的通用双臂研究机器人原始 PR2。请注意,获取这些运行轨迹时并未采用任何特定于具体实体的数据。

Dream-1 能够控制的未见过的机器人。真实机器人上 4 倍速,模拟中 3 倍速。

这是首次报道的针对完全未见过的机器人实体的零样本泛化之一。4 如果您拥有双臂平行夹爪机器人,请尝试提示 Dream-1 并让我们知道效果如何。零样本性能部分取决于您机器人的逆运动学 (IK) 求解器,因此我们编写了一份指南来帮助您充分发挥其性能。 IK 指南。性能也会因机器人而异。下面,我们将详细介绍模拟和真实机器人上的零样本性能。

Dream-1 在模拟中的 27 个未见过的机器人以及 4 个真实机器人上的零样本性能,相对于 Dream-1 实际训练的机器人 YAM 而言。真实机器人运行的是从未在其上训练过的早期 Dream-1 检查点,每个检查点都与 YAM 上的同一检查点进行比较;OpenYAM 仅在未见过的任务上进行了测试。模拟评估是通过每个实体进行 300 次运行轨迹测试来完成的:150 次运行轨迹针对 50 个量化语言遵循的任务,150 次运行轨迹针对 150 个量化未见过任务泛化的任务。

下面,我们将解释零样本实体泛化是如何工作的以及它的不足之处。然后,我们将展示单样本实体学习如何弥补这一差距。

04.3

零样本实体泛化是如何工作的

控制机器人的两种方式:关节或末端执行器。 机器人策略通常输出关节角度,这将其绑定到了某个特定的机器人机体上。Dream-1 可以为其原生支持的实体执行相同操作,但它也可以预测末端执行器 (EEF) 位姿:每个夹爪应该在哪里以及是应该打开还是关闭。每个带有两只手臂和平行夹爪的机器人共享该 EEF 动作空间,其自身的 IK 求解器将这些位姿转换为关节指令。这种共享接口为 Dream-1 提供了一种通用方法来指挥从未见过的机器人,但仅靠它本身还不足以让零样本迁移起作用。

为什么这会起作用? Dream-1 通过三个摄像头观察世界:一个头部视角和每个手臂上的手腕视角。通用操作界面 (UMI) 方面的先前工作表明,当每个手臂使用相同的夹爪且策略仅依赖于手腕摄像头时,策略可以在机器人手臂之间进行零样本迁移5。从手腕的角度来看,这些机器人看起来是完全一样的。但这种捷径有一个硬性限制。它仅在夹爪硬件完全匹配时才起作用,并且它放弃了头部摄像头对整个场景的视野。

世界动作模型打破了这一限制。WAM 能够同时预测视频和动作,因此控制机器人和想象该机器人的行动成了同一个问题。而且每个机器人的表现形式都一样:像素。头戴式摄像头看到的 UMI 夹爪、双指夹爪或 Dream-1 从未见过的机械臂,都不过是在场景中移动的形状,这使得视频成为所有机器人类型共享的唯一表征。如果 Dream-1 能够预测机器人在完成任务时的外观,它就能生成实现该目标的动作。这就是为什么它能够控制与 UMI 完全不像的夹爪,甚至能控制通过头戴式摄像头看到的全新机体。

世界动作模型的工作原理。

04.4

Dream-1 能做什么和不能做什么

Three Robocurve charts: Dream-1 scores 59 on RoboDojo-RC Tier 1 against 48 for Opus 5.5 and Gemini 4 Argon, and sits on the Pareto frontier for both cost and time per task attempt
Robocurve 关于 Dream-1 的独立报告:RoboDojo-RC Tier 1 上每次任务尝试的平均得分。

在发布之前,致力于向公众评估和报告前沿机器人能力的公益公司 Robocurve6 对 Dream-1 进行了独立评估。他们如上的报告显示,Dream-1 更好、更快、更便宜:代表了机器人控制领域的一个新的帕累托前沿。它的得分高于次优模型 Opus 5.5 和 Gemini 4 Argon,每次任务尝试的成本比 Gemini 4 Argon 低 16 倍,速度比最快的大语言模型 GPT-6 Astra 快 1.7 倍。虽然当前的大语言模型擅长规划,但机器人仍然需要快速、通用的“系统 1”来行动,而这正是 Dream-1 旨在成为的角色。

运行 Dream-1 的成本是多少? 我们希望你在尝试之前就能确切了解预期情况。运行 Dream-1 模型的成本仅为每小时 3 美元,运行 Dream-1-flash 的成本为每小时 2 美元。每次调用模型会返回 1.6 秒的动作,因此一小时相当于 2,250 次调用:Dream-1 每次动作约 0.0013 美元,Dream-1-flash 约为 0.0009 美元。

3 美元 / 小时

Dream-1

扣除每小时的成本后,其余收益全部归你所有。

2 美元 / 小时

Dream-1-flash

更快、更轻量的模型。

跨任务表现。 我们将 Dream-1 的性能细分为八个任务类别,涵盖了它擅长的领域以及它仍然面临挑战的领域。

使用 FaaS 针对你的任务进行微调。y 如果 Dream-1 在你关注的任务上表现不足,你不必等待我们的下一次发布。收集你自己的机器人的一些数据,通过 FaaS 运行,即可构建一个针对该任务的定制模型。

我们希望任何拥有机器人的人都能像前线部署工程师一样:找到别人需要完成的任务,收集一点数据,让 Dream-1 适应它并进行部署。如果人们愿意为你机器人的工作付费,那么扣除每小时成本后的所有收益都归你所有。

04.5

单样本具身学习

当零样本学习还不够时,我们会针对你的机器人微调 Dream-1。我们称之为微调即服务(FaaS)。

以下是其实际效果:我们两个合作伙伴机器人的数据收集延时摄影,每个 5 分钟。

Two data-collection stations side by side, each with a person teleoperating a bimanual robot and a timer on the table

00:00 / 00:38 数据收集延时摄影

在两个机器人上进行 5 分钟数据收集(8 倍速):左侧为 reBot B601-DM,右侧为 Maker Arm。

仅经过这 5 分钟的微调适配后,其效果与零样本(zero-shot)运行的结果形成了鲜明对比。Dream-1 现在对机器人的可供性(affordance)和运动学有了更好的理解。

reBot B601-DM

仿真双胞胎

Time0:00

+ 5 min

加上机器人自身的五分钟数据

Time0:00

Maker Arm

真实机器人

Time0:00

+ 5 min

Time0:00

在执行相同指令“把香蕉放进碗里”时,零样本与进行 FaaS 后的对比,中间间隔了五分钟的机器人自身数据:reBot B601-DM 在其仿真双胞胎中,Maker Arm 在真实机器人上。3 倍速。

某些具身形态距离 Dream-1 已知的内容要远得多,要弥合如此巨大的差距,需要更多机器人自己的数据。Dexmate 配备 Sharpa 灵巧手,用手代替夹爪进行抓取,花费了 77 分钟的数据。在 YAM 上,我们为该任务换用了不同的末端执行器(柔性夹爪和改进型刀具夹爪),花费了 98 分钟的数据。

Dexmate,Sharpa 灵巧手,77 分钟数据

从烤面包机中拿起面包并放到盘子上

YAM,柔性夹爪和改进型刀具夹爪,98 分钟数据

切掉草莓上的叶子

在远离 Dream-1 训练数据的具身上进行 FaaS 之后,在真实机器人上。5 倍速。

在我们 FaaS 测试版合作伙伴的十二个机器人中,微调提升了其中十个机器人的语言遵循得分:

在模拟中,零样本与 FaaS 之后针对同一十二个机器人的对比,相对于 YAM。

少样本(one-shot)适配的表现仍然优于零样本,因此差距依然存在。缩小这一差距是我们的主要目标之一:零样本做得越好,任何新机器人开箱即用的可能性就越大。

05

展望未来

今天的 Dream-1 是一种针对带有平行夹爪的双臂机器人的操作策略。这只是一个起点。我们相信,一个强大、通用的机器人基础模型可以扩展到移动操作臂、灵巧手以及我们尚未想象到的形态,从而解锁更多人们真正希望机器人去做的事情。机器人技术不会在第一天就得到彻底解决,Dream-1 也确实存在局限性,我们在上面已经尝试透明地展示了这些局限。

机器人技术仍然陷入了一个艰难的循环:每一个新机器人或新任务都需要新的数据和定制的策略,而泛化能力往往有限。通过将 Dream-1 作为机器人 API,我们希望打破这个循环,将机器人智能交到更多人手中,让普通用户(不仅仅是研究人员)能够为通用机器人智能发现新的应用。

Dream-1 . 公共 API

将 Dream‑1 部署到你的机器人上

如果你正在构建机器人或将它们投入实际任务中,我们希望 Dream-1 成为让它们发挥作用的最快方式。告诉我们你正在进行的项目。

Two robot arms at a workbench with a box between them

00:00 / 00:16 Dream-1 MicroDuck 控制

微调后的 Dream-1 检查点正在控制多种具身形态,包括 Microduck。

注释与参考文献

  1. 1MakerMods, Maker Arm: a bimanual arm setup from about $2k. ↩
  2. 2Yahoo Tech,Hugging Face 的 399 美元 Microduck 机器人销量已突破 10,000 台,2026 年 9 月 1 日:自 8 月 28 日开启预售以来,销量已超过 10,000 台。↩
  3. 3DreamZero:引入世界动作模型(World Action Models)的论文,2026 年 2 月。↩
  4. 4LAP 也展现出了具身泛化的迹象:Zha 等人,LAP: Language-Action Pre-Training Enables Zero-shot Cross-Embodiment Transfer。↩
  5. 5Chi 等人,Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots,RSS 2024:仅凭腕部相机,即可在共享同一夹爪的机械臂之间进行零样本迁移。↩
  6. 6Robocurve,一家向公众评估并报告前沿机器人能力的公益公司:Dream-1 运行于 RoboDojo-RC Tier 1,2026 年 10 月 18 日,CC BY 4.0。↩

引用这篇文章

@misc{dreamlabs2026dream1,
  title  = {Zero-Shot to New Robots: Introducing Dream-1},
  author = {Dream Labs},
  year   = {2026},
  url    = {https://dreamlabs.ai/research/dream-1}
}

来源:Hacker News-首页 · dreamlabs.ai