技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
44 条精选近 30 天 41 条共收录 241 条
Meta 发布了开源混合专家多模态模型 Muse Spark Open，拥有约 8160 亿总参数、每个 token 约 420 亿激活参数以及高达 100 万 token 的上下文窗口。该模型支持文本、图像、音频和视频输入，专为代码编写与智能体任务优化，并提供了 BF16 和 NVFP4 权重以及主流推理框架的部署指南。
推荐理由：原文介绍了该开源多模态混合专家模型的架构参数与部署推理方案，读者可借此评估其在长上下文与智能体任务中的落地可行性。
Meta 发布 Muse Spark Open，这是一个拥有 816B 总参数和 42B 激活参数、具备 1M token 上下文窗口的开源权重多模态推理模型。该模型针对编码和智能体任务进行训练，在 Hugging Face 开源，并支持在 SGLang 和 vLLM 中进行优化运行。
推荐理由：文章公布了该开源模型的具体参数规模、上下文窗口以及推理和微调支持，读者可以据此评估其在代码和智能体任务中的实际落地潜力。
Apple 机器学习研究团队介绍了如何利用最新版 MLX 框架和 Thunderbolt 5 上的 RDMA 驱动程序，在 Mac Studio（搭载 M5 Ultra 芯片）上运行近万亿参数的 Muse Spark Open 等前沿大模型。
推荐理由：文章详细展示了利用最新 MLX 和 RDMA 技术在 Mac Studio 集群上运行近万亿参数大模型的方法与性能数据，为端侧大模型部署提供了具体的工程参考。
Google DeepMind 推出了智能体开发平台 Google Antigravity，旨在将原本碎片化的数据库检索、结构分析与文献综合整合至单一会话中。该平台结合了 ProtNLM 模型与内置的 Biomolecular Structure Viewer 3D 可视化工具，支持研究人员与 AI 智能体在共享视觉状态下交互式发现并评估候选抗菌肽。
推荐理由：原文介绍了该智能体平台在生物医药检索中的集成方案与交互方式，读者可以据此了解其如何简化多数据库协同工作流。
NVIDIA 发布 Nemotron 3.5 系列开源模型，包括 1200 亿参数的 Super VL 多模态模型及两个端侧 Bolt 模型。Super VL 具备前沿的多模态智能与高效吞吐，Bolt 74B-A9B 24GB 和 Bolt E4B 4GB 则分别适配本地工作负载与边缘设备交互。该系列覆盖从企业服务器到桌面及边缘设备的完整智能体部署场景。
推荐理由：文章详细公开了 Nemotron 3.5 系列开源模型的参数规模、端侧适配方案和多模态能力，读者可以据此评估其在本地及企业级智能体部署中的效能。
作者通过长期研究图像和语言模型，提出神经网络的表征机制比以往普遍认为的更干净、更易解释，此前普遍接受的“叠加”（superposition）解释多为误读。研究显示，现代模型（如 Qwen3-32B 和 Kimi K3）绝大多数神经元具有单一且清晰的功能，看似多义的现象多源于“递归泛化”或工具缺陷，而非任意概念打包。
推荐理由：作者结合对图像和语言模型的长期研究，提出神经网络的表征比过去认为的更清晰，并探讨了递归泛化等机制，为理解模型内部运作提供了新视角。
Project Apertus 发布 Apertus 1.5，推出 8B 和 70B 两个版本的开源模型，在 1.0 基础上扩展了图像与音频理解能力，新增可选思考模式，上下文窗口扩大至 262,144 个 token，并改进了指令遵循与工具调用。该模型基于 Apache 2.0 许可证在 Hugging Face 开源，完整公开了模型权重、训练数据及详细的技术报告。
推荐理由：该开源模型扩展了多模态理解与思考模式，并公开了完整权重与训练细节，为研究人员复现和改进开源大模型提供了完整参考。
昆仑万维旗下 Skywork AI 发布并开源全球首款可在单张 RTX 5090 显卡上实时运行的游戏世界模型 Matrix-Game 4.0。该模型采用「代码运行世界、视频模型生成画面」的解耦路线，通过游戏引擎维护规则状态、结构草图辅助生成以及蒸馏压缩，实现了 60 FPS 实时运行与约 0.15 秒的响应延迟。
推荐理由：该模型展示了如何在消费级显卡上实现高帧率交互，并采用代码与生成模型解耦的路线，为同类研究提供了轻量化部署的参考。
Google Research 在 Research@ 2026 活动上公布了十项技术与工具更新，涵盖 Google Earth AI 早期访问、支持多智能体协作的科学研究工具。
推荐理由：原文集中展示了十项技术与工具更新，读者可以据此了解其在科学、医疗、地球智能等领域的最新进展与开放动态。
Google Research 推出了 Geospatial Reasoning 智能体与 Planetary Prediction Engine 的多项更新，并发布了包含 GeoKTools 和 GeoExpertQueries 在内的技术报告与基准。
Apple Machine Learning Research 推出了首个从头预训练的三模态 Masked Diffusion Models（MDM），支持文本、图文和音文数据，并在 3B 模型规模（6.4T tokens）下取得了文本生成、文本生成图像和文本生成音频任务的强劲结果。
推荐理由：论文系统分析了三模态掩码扩散模型的设计空间与缩放规律，并提出了新的随机微分方程重参数化方法，为多模态离散扩散模型研究提供了大规模公开参考。
面壁智能与 OpenBMB 正式开源 MiniCPM-V 4.7 系列模型，包含 35B-A3B 和 1B 两个版本。其中 35B-A3B 作为首个端侧 MoE 模型，通过前瞻专家调度（LES）和自回放微调技术，在仅占用 3G 内存的情况下即可在手机端实现每秒 13 个 token 以上的解码速度，且在多项视觉与文本评测中表现领先。
推荐理由：面壁智能发布 MiniCPM-V 4.7 系列模型，通过前瞻专家调度等技术实现 35B 参数模型在 3G 内存下的流畅运行，为端侧大模型部署提供了低内存占用的性能优化参考。
Google 发布 Gemini 4 Argon 模型，该模型在编码、金融、法律及科学研究等复杂任务中表现出更强的推理与多模态能力。Argon 支持 100 万 token 的统一输入输出窗口，现已通过 API、AI Studio、Gemini 应用及 Google Antigravity 平台向开发者、企业及订阅用户开放。
推荐理由：Gemini 4 Argon 针对复杂工程、科学研究及智能体任务进行了深度优化，其在多步推理和代码生成方面的表现可作为评估当前前沿模型解决高难度专业任务能力的重要参考。
何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出 VISTA 框架，通过保存原始视觉信息并允许模型在推理时按需回看、放大和检查细节，在无需额外训练的情况下显著提升了多模态模型在交互式任务中的表现。
推荐理由：该研究提出的视觉原生框架通过保存原始视觉信息并支持按需回看，为多模态智能体在复杂交互任务中提升推理能力提供了可迁移的工程方法。
决策模型正成为新的产品类别，多家厂商推出在单次前向传递中返回结构化结果的 API，旨在提升 Agent 任务处理效率并降低成本。文中汇总了 OpenAI、Microsoft、Perplexity 等厂商的决策模型进展，以及 vLLM 等推理框架的性能优化与 Agent 编排工具的最新动态。
推荐理由：本文汇总了近期决策模型在行业内的快速普及与应用，通过对比各厂商 API 特性及推理效率优化方案，为开发者理解这一新兴产品类别提供了参考。
Cloudflare 发布 Clef-omni 模型，支持音频、视频、图像和文本输入，基于 Qwen3-Omni-30B-A3B-Instruct 架构构建。同时，Clef-flash 价格降至每百万 token 0.038 美元，上下文窗口调整为 24k；Clef 模型通过 SGLang 优化提升了推理速度。
推荐理由：Cloudflare 扩展了决策模型系列，通过引入支持音视频的多模态模型并优化现有模型性能与价格，为开发者提供了更低成本的自动化决策方案。
Liquid AI 发布了 d1-3B 和 d1-omni-600M 两款开源决策模型，旨在为端侧设备提供快速的结构化决策能力。d1-3B 支持文本和图像输入，在 NVIDIA Jetson 等设备上单次推理延迟低于 50ms；d1-omni-600M 则支持文本、图像及音频输入。该系列模型不生成 token，而是通过单次前向传播直接输出决策结果，目前已在 Hugging Face 上线。
推荐理由：Liquid AI 发布了专为端侧设计的 d1 系列决策模型，通过单次前向传播实现快速结构化决策，为开发者提供了在资源受限设备上部署多模态任务的新选择。
Google DeepMind 发布 EmbeddingGemma 2，这是一款基于 Gemma 4 架构、采用 Apache 2.0 协议的 7.4 亿参数轻量级多模态嵌入模型。它支持文本、图像、音频和视频的统一嵌入空间，具备 8K 上下文窗口，并支持通过 Matryoshka 学习动态调整输出维度，专为端侧设备的高效检索与 RAG 任务优化。
推荐理由：该模型通过模块化设计和 Matryoshka 学习技术，为开发者提供了一种在资源受限的端侧设备上实现多模态检索与 RAG 的高效方案。
Google Research 推出人口动态基础模型（PDFM），通过自监督学习将搜索趋势、人类移动、建筑密度及环境因素压缩为位置嵌入向量。该模型作为插件可直接集成至现有流行病学工作流中，在疫苗接种预测、慢性病监测、传染病预警及心理健康风险评估等五项公共卫生挑战中表现出显著的预测增益。
推荐理由：Google Research 介绍了 PDFM 这一地理空间基础模型，通过将环境、移动和搜索数据转化为位置嵌入，为公共卫生预测提供了可直接集成的插件式方案。
Mistral AI 推出 1 万亿参数的多模态模型 Mistral Large 4 预览版，具备 520 亿激活参数，在编码、智能体工作流、网络安全及科学计算领域表现优异。该模型目前已在 Mistral Studio 提供 API 预览，官方计划于本月底发布模型权重。
推荐理由：Mistral AI 发布了 1 万亿参数的多模态模型 Mistral Large 4 预览版，该模型在编码、智能体工作流及网络安全任务中表现出极强竞争力，并将于本月底开源权重。