三模态掩码扩散模型的设计空间
Apple Machine Learning Research 推出了首个从头预训练的三模态 Masked Diffusion Models（MDM），支持文本、图文和音文数据，并在 3B 模型规模（6.4T tokens）下取得了文本生成、文本生成图像和文本生成音频任务的强劲结果。
发布时间：
推荐理由：论文系统分析了三模态掩码扩散模型的设计空间与缩放规律，并提出了新的随机微分方程重参数化方法，为多模态离散扩散模型研究提供了大规模公开参考。
Apple Machine Learning Research 推出了首个从头预训练的三模态 Masked Diffusion Models（MDM），支持文本、图文和音文数据，并在 3B 模型规模（6.4T tokens）下取得了文本生成、文本生成图像和文本生成音频任务的强劲结果。
推荐理由：论文系统分析了三模态掩码扩散模型的设计空间与缩放规律，并提出了新的随机微分方程重参数化方法，为多模态离散扩散模型研究提供了大规模公开参考。