跳到正文
只看论文#多模态
  1. Google Research60

    Google Research 探讨将基础模型应用于结核病筛查前线

    Google Research 介绍了其将医疗人工智能研究转化为结核病筛查实际应用的成果，涵盖从胸部 X 光人工智能算法验证、通过合作伙伴获得医疗器械认证，到开源 MedGemma 和 MedSigLIP 基础模型以支持全球公共卫生体系的过程。

    发布时间：

    推荐理由：原文梳理了医疗人工智能从算法研究到临床落地及开源模型赋能的完整路径，读者可以据此了解如何通过开放基础模型推进全球公共卫生筛查。

  1. Apple Machine Learning Research64

    Selection-Based Structured Reasoning: 迈向高效的多模态搜索智能体

    Apple Machine Learning Research 推出了 Selection-based Structured Reasoning (SSR) 框架，将多模态智能体的自由格式推理重新定义为预设候选选择。

    发布时间：

    推荐理由：文章提出了一种将多模态智能体推理转化为候选选择的新框架，读者可以通过该方法评估其在降低推理延迟和提升搜索效率方面的潜力。

  1. Apple Machine Learning Research61

    三模态掩码扩散模型的设计空间

    Apple Machine Learning Research 推出了首个从头预训练的三模态 Masked Diffusion Models（MDM），支持文本、图文和音文数据，并在 3B 模型规模（6.4T tokens）下取得了文本生成、文本生成图像和文本生成音频任务的强劲结果。

    发布时间：

    推荐理由：论文系统分析了三模态掩码扩散模型的设计空间与缩放规律，并提出了新的随机微分方程重参数化方法，为多模态离散扩散模型研究提供了大规模公开参考。

  1. 量子位83

    何恺明团队发布多模态视觉原生 Harness 框架 VISTA

    何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出 VISTA 框架，通过保存原始视觉信息并允许模型在推理时按需回看、放大和检查细节，在无需额外训练的情况下显著提升了多模态模型在交互式任务中的表现。

    发布时间：

    推荐理由：该研究提出的视觉原生框架通过保存原始视觉信息并支持按需回看，为多模态智能体在复杂交互任务中提升推理能力提供了可迁移的工程方法。

  1. Google Research68

    Google 发布用于全球公共卫生的行星级地理空间基础模型 PDFM

    Google Research 推出人口动态基础模型（PDFM），通过自监督学习将搜索趋势、人类移动、建筑密度及环境因素压缩为位置嵌入向量。该模型作为插件可直接集成至现有流行病学工作流中，在疫苗接种预测、慢性病监测、传染病预警及心理健康风险评估等五项公共卫生挑战中表现出显著的预测增益。

    发布时间：

    推荐理由：Google Research 介绍了 PDFM 这一地理空间基础模型，通过将环境、移动和搜索数据转化为位置嵌入，为公共卫生预测提供了可直接集成的插件式方案。

  1. Google Research76

    Google 发布用于自动化长视频生成的 AI 视频联合导演框架

    Google Research 推出了一套 AI 视频联合导演框架，通过多智能体协同解决长视频生成中的语义漂移与视觉不一致问题。该方案包含四个核心组件：用于全局策略规划的 AI Video Co-Director、利用视觉记忆保持连贯性的 CANVAS、实现长时序动态生成的 A²RD，以及通过闭环反馈优化提示词的 VQQA，旨在实现分钟级长视频的稳定叙事。

    发布时间：

    推荐理由：该研究提出了一套多智能体框架，通过全局优化和视觉记忆机制解决长视频生成中的一致性难题，为提升长叙事视频的连贯性提供了可借鉴的架构思路。

已经到底了