PyTorch 2.15 发布:MPS 后端迎来 FP8、MoE 加速及显存优化
PyTorch 2.15 正式发布,为 Mac 的 MPS 后端带来 FP8 支持、混合专家模型解码提速以及显著优化的视频解码显存占用。
推荐理由:该版本大幅提升了 Mac 运行大模型与视频生成时的性能和显存效率,为本地开发提供了更实用的加速方案。
PyTorch 2.15 正式发布,为 Mac 的 MPS 后端带来 FP8 支持、混合专家模型解码提速以及显著优化的视频解码显存占用。
推荐理由:该版本大幅提升了 Mac 运行大模型与视频生成时的性能和显存效率,为本地开发提供了更实用的加速方案。
推测解码的加速并非源于减少了计算量,反而会执行更多的总浮点运算次数。其核心原因在于它改变了 GPU 的工作类型,通过将受限于内存带宽的逐个词解码转化为受限于算力的并行验证,从而在低批处理大小时充分利用了闲置的 GPU 算力。
DeepSeek 开源了支撑其大规模生产服务的高性能推理框架 DeepInfer,主要提供离线推理能力及核心优化特性。该框架支持 DeepSeek-V4.1-Flash 模型,内置优化内核、多种并行策略、异步调度、批次不变推理、确定性采样和结构化输出,并兼容 NVIDIA SM100 GPU 与华为昇腾 950 NPU。
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,并同步开源生产级 Token 编解码组件 deepseek-recipe。
DeepSeek 正式将内部推理框架 DeepInfer 及其配套组件 deepseek-recipe 全面开源。该框架集成高性能算子与深度优化引擎,支持分布式推理、推测解码、结构化输出等能力,并兼容英伟达与华为昇腾平台,旨在帮助开发者与企业降低大规模推理的算力成本与延迟。
Cloudflare 推出了 System One 抽取模型 Clairic 的预览版,并在 Workers AI 上线。Clairic 支持处理文本或最多 4 张图片输入,在单次前向传递中直接返回带置信度和空值概率的结构化类型值,无输出 Token 费用。官方测试显示,在 claims 管道中其抽取耗时显著优于 GLM-5.3。
Exa 发布 Exa 3.0 搜索 API,推出更具性价比的 Exa Lite 档位并实现 Dynamic Highlights 全面可用。新版本升级了嵌入模型并扩展了索引数据,Exa 称其在多项基准测试中表现领先。
Microsoft 宣布扩展 Microsoft Sovereign Cloud,推出统一管理各项主权态势的 Sovereign Control Panel,并增加支持断网离线运行、本地运行 AI 模型和开发工具的 Sovereign Private Cloud 等能力。
🚀 MiniCPM-V 4.7 现已在 vLLM v0.32.0 中获得支持!感谢 @vllm_project 的支持。这使得以高吞吐量和低延迟部署 MiniCPM-V 4.7 变得更加容易。
作者分享了在四个项目中试用 Vite+ 工具链的实践经验,指出将其写入首个提示词可为 AI 智能体提供统一的创建、检查、测试和构建工作流。文章探讨了 Vite+ 在简化配置文件、优化 CI 运行速度以及规范智能体任务完成标准方面的实际效果与局限性。
Mastra 推出 Mastra Launch 项目,旨在通过全企业平台访问和手把手的 FDE 支持,在 90 天内协助团队将智能体部署至生产环境。该服务提供 Mastra Enterprise Platform 权限以及来自 Mastra 团队工程师的每周协作支持。如果智能体未能在 90 天内上线,用户仅需支付实施费用。
蚂蚁百灵开源了 Ming-3.0 系列的 5 款语音模型,并获得了 vLLM-Omni 提供的 Day-0 支持,使模型部署更加便捷。
Ant Ling 表示蚂蚁百灵 Ming-3.0 获得了 SGLang-Omni 的首日支持,并借助相关实用指南帮助开发者将模型投入实际应用。
通研院孵化的通衍灵智聚焦 Recursive Self-Improving Personal AI(递归自进化个性化智能),通过共享基础模型与轻量化 Personal LoRA 参数适配架构,探索让个人与组织在长期使用中积累专属智能资产。
作者分享了一套在 Android TV 设备上彻底去除广告并优化界面的完整配置方案。通过安装 Projectivy Launcher 替代原生桌面、用 SmartTube 替换 YouTube 并配合 ADB 命令禁用系统自带桌面与预装应用,实现了无广告和更干净的电视主屏幕。
HP 分享了如何利用 Databricks 上的 CustomerLake 和 Genie 构建 AI 就绪的营销数据基础,实现 CDP 总拥有成本降低高达 40% 并扩展了 90% 的全新营销信号。该方案将数据配置与受众就绪时间从传统 CDP 的两到三个月缩短至两小时,同时通过统一的治理架构支持自服务分析与 AI 智能体应用。
AWS 推出了通过全新 AWS 体验访问 Amazon SageMaker Studio 的功能,新客户可使用 Google、GitHub、Apple、Amazon 账号或邮箱在几步内注册并直接进入配好的 Studio 环境。新注册用户无需信用卡或高级账号设置,即可获得 100 美元 AWS 免费额度并自动在约 20 秒内创建 Studio 环境。
作者探讨了利用当前一代大模型构建智能体监控系统的可行性与优势。文章指出,智能体能够以极低成本全天候追踪日志与指标,解决传统告警噪音大和精准度低的问题,实现全新的系统运营卓越性。
随着 AI 编码模型的普及,软件开发的边际成本趋近于零而运行成本上升,过去由工程带宽限制所塑造的软件形态与开发模式正在失效。当前软件行业仍受传统产品思维、采购惯性及资本流向的束缚,多数产品未能跳脱出旧有框架。行业需要从第一性原理出发彻底重构产品与组织,才能真正释放 AI 带来的生产力变革。
MiniMax 宣布其 M3.1 Flash 模型已在 GMI Cloud 正式上线,面向大规模智能体与编码工作流提供支持。
Unity Catalog 通过支持 Apache Iceberg REST 规范的 REGISTER 与 UNREGISTER 操作,重新定义了开放目录并实现了无需数据搬迁的表迁移。该目录满足自持存储、完整功能及自由迁移三大开放要求,确保用户在客户自有存储中仍可享受自动优化和数据保护等高级特性。
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月期间新增了来自 30 个不同提供商的 100 多款开源模型。该机器学习中心提供模型发现与评估、一键部署及模型自定义等功能,支持通过控制台、SDK 或 Hugging Face 深度链接访问。
作者为华硕 ProArt P16 笔记本适配了 Arch Linux ARM 系统,解决了硬件驱动与 ACPI 问题,实现了与 Windows 持平甚至略优的 7-Zip 性能,并报告了 116.0 GiB 的统一内存池。通过 vLLM 在本地成功运行了 Qwen 模型并完成了各项基准测试。
本文介绍了 ROME 攻击如何在 GPU 内存中直接篡改大模型权重并绕过传统主机安全工具,同时探讨了 Stealthium 如何通过关联 Python 调用栈与 CUDA 内核调用、捕获模型权重变异事件来检测此类隐蔽篡改。
亚马逊云科技(AWS)发布了 TorchNeuron 开发工具,允许开发者通过修改一行配置将 PyTorch 应用无缝迁移至其 Trainium 芯片,并计划将去耦合 Nvidia 的代码贡献给 PyTorch 社区。该工具旨在降低开发者使用 AWS 自研芯片的门槛,同时挑战 Nvidia 在 AI 软件栈生态中的主导地位。
MiniMax M3.1 Flash 现已上线 Ollama 并提供 Day0 支持。该模型由美国托管且具备零数据保留特性,可用于构建智能体。
PostgreSQL 19 分支在进入 beta 期后出现了 8 到 10 个重要功能回退,引发开发社区广泛关注。作者分析认为,这主要归因于 LLM 辅助代码审查与 fuzzing 快速暴露了大量边缘情况缺陷、高级开发者因安全漏洞处理导致 beta 期常规审查与测试减少、系统复杂性过高等因素。尽管遭遇多项功能回退,社区仍倾向于按原计划推进发布日程,未采用延期策略。
Cloudflare 团队通过精细化优化代码评审智能体,将平均单次评审成本从 2.43 美元降至 0.77 美元,降幅达 68%,同时将中位评审耗时从 4 分 09 秒缩短至 1 分 32 秒。优化手段主要包括跨仓库共享提示词前缀以提高缓存命中率、减少无效工具调用以及切换至更高效的 Anthropic 模型。
推荐理由:文章详细拆解了代码评审智能体在提示词缓存、模型切换与工具调用上的优化细节,为高频调用大模型的工程团队提供了可落地的降本增效方法。
TorchNeuron 为 PyTorch 在 AWS Trainium 上提供全新原生后端,支持 eager mode、torch.compile 以及分布式 API 等特性。
GitHub 官方详细介绍了如何在 VS Code 中无缝打开并继续 GitHub Copilot app 的智能体应用会话。开发者可以在不丢失上下文、对话历史和代码修改的前提下,直接在编辑器中进行逐行代码审查、手动修改、本地测试并提交拉取请求。
doubleAI 推出了新型代码执行模型 Maxwell,它能在程序运行时理解并改进代码、推理硬件与数据,并对所有优化进行形式化等效证明。Maxwell 支持 CPU 与 GPU,其实测表现包括将数据处理管线提速 38 倍、AI 推理内核提速 4.25 倍,并使 LTX-2.5 的 4K 视频生成时间缩短近一半。
推荐理由:原文介绍了能在运行时优化二进制代码并提供形式化等价证明的新型模型,读者可以据此了解其在数据管线和推理内核上的性能表现。
NVIDIA 宣布在欧洲首台百亿亿级超算 JUPITER 上完成了 104 量子比特的容错量子计算模拟,这是迄今为止规模最大、细节最完整的容错量子处理器模拟。该模拟验证了一种比以往方法少用 90% 物理量子比特的魔态培养方法,有助于在制造硬件前预测性能并加速药物发现等领域的量子应用。
AI 芯片初创公司 Tenstorrent 完成 15 亿美元新一轮融资,估值达到 62 亿美元。本轮融资由 Trace Capital 和 Innovation X 领投,资金将用于扩展针对开源权重 AI 模型和视频生成的定制芯片。
Together AI 推出了名为 Together Post-Training 的新服务,支持通过强化学习和监督微调在平台上构建定制模型。该服务提供专属 GPU 资源分配、可自定义的训练循环以及对多 LoRA 适配器的支持,首发兼容 Muse Spark Open、GLM 5.3、Kimi K3 和 Qwen 3.8-27B 等开源模型。