Meta 发布开源权重模型 Muse Spark Open

今天，Meta 发布了 Muse Spark Open 的权重，这是迄今为止性能最强的美国开源权重模型。该模型现已在 Hugging Face 上以 Muse Model License 许可证发布。Muse Spark Open 在 SGLang 和 vLLM 推理引擎上运行优化，并针对 NVIDIA、AMD 和 Intel 进行了优化。

在我们在 8 月发布 Muse Spark 的基础之上，这个开源权重版本进行了额外的安全后训练，使其在作为脱离系统护栏的独立模型时，对滥用具有更强的鲁棒性。因此，该模型成为了开源安全领域的顶级选择。Muse Spark Open 是一个总参数量 816B、激活参数量 42B 的模型，上下文窗口达 100 万个 token。Muse Spark Open 专为编程和智能体工作而构建，具有原生的多模态特性，并与 Muse Spark 1.3 共享相同的基座模型。

Meta 热爱开源，作为 PyTorch 的创造者，我们致力于回馈社区，确保整个生态系统全面支持 Muse Spark Open。首先，我们集成了 Helion（我们令人兴奋的全新 PyTorch 原生高级 DSL，用于高性能、可移植的 ML 内核），以交付高性能操作。此外，TorchTitan 已经开箱即用支持 Muse Spark 的公开监督微调和强化学习，我们很高兴看到 PyTorch 社区能将其推向何等高度！

Muse Spark Open

Muse Spark Open 是一个针对编程优化的开源权重模型。它专门针对智能体编程工作流进行训练，在开发者实际使用的代码库中提供更高的首次尝试准确率、可靠的工具调用以及深度的代码库理解能力。你可以在我们先前的模型发布博客中阅读更多内容，网址为此处。

增强的编程能力

擅长代码生成、调试和代码库理解。经过真实开发者工作流（多文件重构、调试会话和长时间运行的任务）的训练，因此该模型能够跟上你实际的工作方式。100 万的上下文窗口意味着它能够处理你的整个项目，包括复杂的依赖项、遗留代码以及数千个文件，而无需将任务拆成碎片。

多模态理解

Muse Spark Open 具备音频和音视频感知能力，以及图像和文档理解能力。作为一个推理模型，它能够原生且可靠地处理图像、音频和文本输入。

智能体能力

Muse Spark Open 从头开始构建为一个智能体模型。它在漫长的跨度中规划步骤、行动、观察并进行自我修正——而不仅仅是单次工具调用。它经过训练可以浏览网页（包括多模态浏览），并使用智能体框架来：为可分解的工作生成并协调子代理；利用在桌面、移动设备和浏览器之间统一的计算机使用能力。它经过长跨度、多站点任务的训练，并生成独立的注释，让模型在行动前表述意图——这样你就能随时了解它在做什么以及原因。

为什么选择 Helion 内核？

Helion 是一种 PyTorch 原生核函数编写语言，旨在跨异构硬件平台编写高性能核函数。在获得开源生态系统的早期采用后，Helion 于 2026 年 4 月成为了 PyTorch 基金会的一部分。Muse Spark Open 附带了诸如 RoPE、RMSNorm、量化等操作的 Helion 实现，在 NVIDIA GB300 上与使用硬件特定语言（例如 NVIDIA CUDA 和 CuTe DSL）编写的自定义核函数相比，实现了 1.03 到 3.95 倍的加速。这些相同的核函数可以直接移植到 AMD 平台上，在 AMD Mi350 上取得了相似的性能提升，端到端吞吐量总体提升了 3%。

此外，我们还在 SGLang 中推出了适用于 Muse Spark Open 的 Helion 超级核（megakernels）。这些核函数完全用 Helion 编写，将多个操作融合成单个持久化核函数，以改善低延迟推理，并且同样可以针对不同的形状和硬件进行自动调优。

用户可以针对更广泛的硬件平台和工作负载对 Helion 核函数进行进一步的自动调优——包括不同的加速器架构（NVIDIA、AMD、Google TPU 等）、量化格式、张量形状和并行策略——而无需为每个配置维护单独的手动调优实现。这些功能共同简化了可移植性能的实现，同时降低了开发和维护专用核函数的成本。

使用 TorchTitan 进行后训练

TorchTitan 是一个 PyTorch 原生平台，专为生成式 AI 模型的快速实验和大规模训练而设计。从今天开始，TorchTitan 为 Meta 的 Muse Spark Open 添加了模型定义，以便开发者能够根据自身需求对其进行调优。

TorchTitan 开箱即用地产生态支持多轮 SFT 和 LoRA，并具备强化学习功能（TitanRL），允许用户微调 Muse Spark Open。

开始使用

我们分享这项工作是因为我们希望每个人都能访问最好的 AI 模型。Muse Spark Open 在 SGLang 中内置了自定义的、可自动调优的 Helion GPU 核函数，在 NVIDIA 和 AMD GPU 上实现了 1.03–3.95 倍的核函数级加速，在 AMD MI350 上实现了 3% 的端到端加速。您还可以利用 PyTorch 的 TorchTitan 进一步微调模型，针对您的用例进行定制。

立即开始构建：https://huggingface.co/meta-models/Muse-Spark-open-816B-A42B

Muse Spark 是我们模型家族中的完整尺寸模型。我们之前发布了小型密集模型 Muse Glimmer。立即使用 ExecuTorch 开始体验。

这篇文章 Muse Spark Is Now an Open-Weights Model 最早发布于 PyTorch。