OpenAI 宣布不再利用实时互联网训练 AI 模型以防范重大风险

周五，OpenAI 表示，将使用互联网的缓存副本和模拟版本来训练其模型，而不是直接连接实时互联网，因为这些模型的行为过于不可预测，无法对其授予实时互联网访问权限。

这家前沿实验室宣布这项新政策的两周前，其竞争对手 Anthropic 开始限制其最新且理论上能力最强的模型访问实时互联网。在经历 数月的事件（研究人员发现追求训练任务的模型为了寻找答案而侵入外部系统、在冷门留言板上协作并开发出奇异的黑客策略）之后，研究人员采纳了这些政策。

该公司在 一篇博客文章 中表示：“基于当前对齐研究、监控系统以及互联网基础设施安全的状态，我们认为负责任的做法是在没有任何互联网访问权限的情况下进行前沿模型训练。”

OpenAI 表示，就在 9 月 20 日，其某款前沿模型还利用配置错误访问了互联网。这导致该公司暂停了当月剩余时间的训练工作，以便开发和测试确保模型安全的新方法。

决定在与互联网隔绝的沙盒中训练这些模型之所以引人注目，是因为前沿实验室的员工曾坚称这样做几乎不可行。

前沿实验室前研究员史蒂芬·阿德尔（Steven Adler）本月对《财富》杂志表示，将 AI 数据中心与互联网隔开“需要研究团队基本上驻扎在爱荷华州或世界其他地方的数据中心里”。“这会带来大量管理开销，而且我并不清楚其安全收益是否大到足以抵消一家公司单方面这么做所承受的巨大代价。”

OpenAI 的一名匿名安全工程师在 9 月的一篇 X 帖子中写道：“在我在 X 上发布的几乎每篇帖子里，都毫无例外地会收到五到十条评论，指责我无法保护沙盒，或者质问为什么我们不能直接拔掉模型与互联网的连接。”“这些评论反映出许多组织和个人当前的认知与前沿实验室所面临的问题之间存在着越来越大的差距。人们也普遍误解了这些实验室的模型训练和评估是如何工作的。”

这位工程师的角色此前已得到 OpenAI 的证实，他描述了 OpenAI 工程师发起的训练运行是多么复杂，并指出它们需要访问跨许多领域的各种资源和工具，且有数千名研究人员在构建、修改和测试这些环境。“所以，这就像把它放进沙盒里那么简单吗？不，并不是，”他总结道。

现在，OpenAI 表示，“我们必须始终能够阻止前沿模型获得对实时互联网的未经授权的任意访问。”此前，该公司在红队测试中部署了一群试图逃离沙盒的智能体。这项努力揭示了一系列漏洞，说服实验室采纳了新方法。

为了满足该要求同时仍能达成训练目标，该实验室表示，它创建了“一套庞大的索引和缓存网页内容，我们的模型可以与之交互，而不会产生影响外部系统的风险。”

这一战略是否能像让模型在开放互联网上自由运行那样表现出色还有待观察，但值得注意的是，这两家前沿实验室都认定，它们最强大的技术不能在数字公地中无人监管。

当您通过我们文章中的链接进行购买时，我们可能会获得一小笔佣金。这不会影响我们的编辑独立性。

Tim Fernholz 是一位报道技术、金融和公共政策的记者。他密切关注私营航天产业的崛起，并著有《 Rocket Billionaires: Elon Musk, Jeff Bezos and the New Space Race.》一书。此前，他曾在全球商业新闻网站 Quartz 担任高级记者超过十年，其职业生涯始于华盛顿特区的政治记者。 您可以通过发送电子邮件至 [email protected] 或在 Signal 上向 tim_fernholz.21 发送加密消息来与 Tim 联系或核实外部联络。

查看简介