三模态掩码扩散模型的设计空间
The Design Space of Tri-Modal Masked Diffusion Models
Apple Machine Learning Research 推出了首个从头预训练的三模态 Masked Diffusion Models（MDM），支持文本、图文和音文数据，并在 3B 模型规模（6.4T tokens）下取得了文本生成、文本生成图像和文本生成音频任务的强劲结果。
论文系统分析了三模态掩码扩散模型的设计空间与缩放规律，并提出了新的随机微分方程重参数化方法，为多模态离散扩散模型研究提供了大规模公开参考。
作者Louis Béthune, Victor Turrisi, Bruno Kacper Mlodozeniec†**, Pau Rodriguez Lopez, Lokesh Boominathan, Nikhil Bhendawade, Amitis Shidani, Joris Pelemans, Theo X. Olausson‡**, Devon Hjelm, Paul Dixon, João Monteiro, Pierre Ablin, Vishnu Banna, Arno Blaas, Nick Henderson, Kari Noriy, Dan Busbridge, Josh Susskind, Marco Cuturi, Irina Belousova, Luca Zappella, Russ Webb, Jason Ramapuram§**
离散扩散模型已成为自回归语言模型的强有力替代方案，近期的一些研究将基础单峰模型进行初始化和微调，以实现双峰生成。与以往的方法不同，我们推出了首个从头开始在文本、图文和音文数据上预训练的三峰掩码扩散模型（MDM）。我们系统地分析了多模态扩展定律、模态混合比例、噪声调度、批大小效应，并提供了优化的推理采样默认设置。我们的批大小分析得出了一种基于随机微分方程（SDE）的新型重新参数化方法，消除了近期研究所报告的调整最佳批大小的需求。这种重新参数化将通常根据计算资源（GPU 饱和度、FLOP 效率、挂钟时间）选择的物理批大小，与为平衡随机优化期间梯度方差而选择的逻辑批大小解耦。最后，我们预训练了一个初步模型，展示了统一设计的功能，在 3B 模型规模（6.4T 个 Token）下，在文本生成、文生图（T2I）和文生声（T2S）任务中均取得了优异的成果。我们的工作代表了迄今为止规模最大、系统性的多模态离散扩散模型公开研究，为跨多种模态的扩展行为提供了宝贵的见解。
- † 剑桥大学
- ‡ 麻省理工学院
- § 谷歌深度思维
- ** 工作在苹果公司期间完成
相关阅读与更新。
离散扩散是用于建模和生成离散数据的一个有前景的框架。在这项工作中，我们提出了目标具体得分匹配（TCSM），这是一种用于训练和微调离散扩散模型的创新且多功能的目标函数。TCSM 提供了一个具有广泛适用性的通用框架。它支持直接从数据样本中预训练离散扩散模型，并且许多现有的离散扩散方法自然而然地涌现为……
*贡献相当
在不同的批大小之间保持训练动态对于实际机器学习是一项重要工具，因为它能够在批大小和挂钟时间之间进行权衡。这种权衡通常通过缩放规则来实现；例如，在随机梯度下降中，学习率应与批大小线性缩放。另一个重要的机器学习工具是模型 EMA（指数移动平均），它是目标模型的功能性副本……
来源：Apple Machine Learning Research · machinelearning.apple.com