跳到正文
#部署/工程
10月13日周二
  1. AIHot68

    LiteLLM 开源 Agent 传输层 SDK agentchat

    LiteLLM 开源了 Python SDK agentchat，支持任意框架编写的 AI Agent 以两行代码统一接入 Slack、Teams、iMessage、WhatsApp 和 Discord。该 SDK 负责处理 OAuth、webhook 签名、会话隔离等底层传输工作，使开发者能专注于 Agent 核心逻辑。

    发布时间：
  2. Apple Machine Learning Research58

    Self-Compacting：一种自主压缩的语言模型智能体框架

    Apple 研究团队提出 SELFCOMPACT 框架，通过引入模型自主调用的压缩工具与轻量级规则，实现对智能体上下文的自适应压缩。该方法无需微调，在数学推理与智能体搜索任务中，以 30% 至 70% 的 token 成本降幅，实现了优于固定间隔压缩的效果，最高提升 18.1 个基准分。

    发布时间：
  3. Apple Machine Learning Research56

    Minions：基于闲置 Apple Silicon 设备构建的动态分布式虚拟 GPU 云

    Apple 研究团队发布了 Minions 系统，通过聚合闲置 Apple Silicon 设备的 GPU 算力，构建了一个用于执行大规模机器学习推理的分布式虚拟 GPU 云。该系统旨在解决集中式 GPU 基础设施成本高、弹性不足及资源受限的问题，支持灵活的任务调度与容错机制，无需额外采购硬件即可提升推理效率。

    发布时间：
  5. AIHot23

    WorkBuddy 在旧金山分享实战工作流

    WorkBuddy 在 SF Tech Week 期间举办的 meetup 活动中，邀请 7 位演讲嘉宾公开了真实的工作流实战手册。这些案例涵盖了从单人内容引擎、5 平台 newsletter 到日常运营自动化等多种场景，且所有工作流均由 WorkBuddy 驱动。

    发布时间：
  6. AIHot82

    Meta 在 OCP 2026 发布 IcePack 液冷机架与 102.4T 交换机等网络基础设施

    Meta 在 OCP 2026 峰会上发布了首款液冷网络机架 IcePack 及 102.4T 交换刀片 IceCube，并推出了旨在标准化交换机平台层的 OSPA 倡议。

    发布时间：

    推荐理由：Meta 在 OCP 2026 发布了液冷网络机架及 102.4T 交换机等基础设施，展示了其在超大规模 AI 集群网络架构及以太网标准化方面的最新进展。

  7. AIHot62

    Cohere 发布 North 2 升级

    Cohere 发布 North 2 升级，这是该平台迄今为止最大的一次更新。新版本引入了成本控制与分析等管理功能，优化了智能体框架的简洁性，并增加了连接常用应用的连接器。

    发布时间：
  11. AIHot36

    Microsoft Research 多项 AI 研究进展

    Microsoft Research 近日发布多项 AI 研究进展，涵盖 AI 在承认需要澄清时表现更佳、提升机器人在视觉-语言任务中的性能，以及如何从 AI 失败中学习等课题。研究还涉及改进 AI 辅导系统、解析人类嗅觉机制，并提出了一种更高效的 KV-cache 内存存储方案。

    发布时间：
  14. AIHot25

    HumanLayer 管理智能体会话方案

    HumanLayer 现已支持管理智能体会话，通过将其迁移至 freestyle_dev 的高性能开发机环境，可实现更高效的会话控制与资源调度。该方案旨在优化智能体运行效率，目前针对 YC 创始人提供专属优惠权益。

    发布时间：
  17. Amazon Science82

    Amazon Web Services 发布 Priming：一种无需从头训练即可将 Transformer 转换为混合状态空间模型的方法

    Amazon Web Services 提出 Priming 方法，通过复用预训练 Transformer 权重，以不到 0.5% 的预训练成本将模型转换为混合状态空间模型（SSM）。

    发布时间：

    同一件事，精选收录的是《AWS 提出 Priming 方法，可将预训练 Transformer 改造成混合状态空间架构》

  18. AWS Machine Learning Blog62

    在泰国、马来西亚、新加坡、印尼和台湾通过 Amazon Bedrock 全局跨区域推理访问 OpenAI GPT-6 模型

    AWS 官方发布教程，指导用户在泰国、马来西亚、新加坡、印尼和台湾通过 Amazon Bedrock 的全局跨区域推理功能调用 GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra 模型。该方案通过配置推理配置文件 ID，允许用户在本地容量受限时将请求路由至其他已部署模型的商业 AWS 区域，并提供了 IAM 权限设置、SCP 配置及监控管理的具体实现步骤。

    发布时间：

    推荐理由：本文详细介绍了在特定亚太地区通过 Amazon Bedrock 全局跨区域推理功能调用 GPT-6 模型的方法，为解决本地容量限制提供了可落地的配置指南。

  19. AIHot84

    AWS 提出 Priming 方法，可将预训练 Transformer 改造成混合状态空间架构

    AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》，提出一种利用预训练 Transformer 权重构建混合架构的方法，将预训练成本降低逾 99%。

    发布时间：

    推荐理由：AWS 团队提出的 Priming 方法通过复用预训练权重构建混合架构，大幅降低了混合模型开发成本，并提供了可直接用于长上下文推理的开源模型与 vLLM 插件。

  20. AIHot38

    Flo Health 如何用 Databricks AI Runtime 构建更安全、更实用的开源模型

    Flo Health 借助 Databricks AI Runtime 在无服务器 NVIDIA H100 GPU 上对开源模型进行分布式微调，通过 26 个 AI 评委及超 15,000 条隐私优先的合成数据，构建了监督微调与 DPO 相结合的强化训练流程。该方案在确保医疗安全与实用性的同时，将推理成本较调用前沿模型 API 降低了一个数量级，并赋予了公司对模型行为与生命周期的深度控制权。

    发布时间：
  21. The Decoder68

    研究发现清理对话历史有助于 AI 智能体寻找更优解

    微软研究人员发现，AI 智能体在长任务中会因积累的对话上下文而陷入“思维盆地”，导致性能停滞。研究提出的 Fork-and-Flush 方法通过在保留工作空间的同时清理对话历史并开启并行分支，在 13 项长任务中实现了平均得分 66% 的提升，证明了定期重置上下文对提升智能体探索能力的重要性。

    发布时间：
  24. AIHot72

    NVIDIA 在 OCP 全球峰会开放 Vera Rubin 架构并推动 AI 工厂规模化

    NVIDIA 在 OCP 全球峰会宣布通过 MGX 架构开放 Vera Rubin 机架与计算托盘设计，并发布 MGX 1.2 规范，支持最高 250kW 机架部署及盲插液冷。同时，NVIDIA 推出了专为智能体工具调用与沙箱执行设计的 Vera CPU 机架，并联合 Meta、Google 等伙伴发布了多项 AI 工厂开放标准与网络技术，旨在通过标准化基础设施加速 AI 工厂的全球规模化建设。

    发布时间：
  26. AIHot56

    O'Reilly 演示如何在 OpenClaw 上 30 分钟搭建个人助理 Agent

    AI 工程师 Sajal Sharma 在 O'Reilly 系列教程中演示了如何利用 OpenClaw 构建具备定时任务处理能力的个人助理。该教程涵盖了从本地安装、连接消息渠道、配置工作空间到设置主动自动化任务的完整步骤，支持用户自定义部署环境、模型选择及数据访问方式。

    发布时间：
  28. TechCrunch · AI38

    初创公司 Blueprints AI 推出可快速生成合规建筑蓝图的 AI 软件

    初创公司 Blueprints AI 推出了一款能将 2D 草图或 PDF 在几分钟内转化为合规且可申请许可的建筑施工蓝图的 AI 软件。其第二代软件支持建筑、结构、机电及室内设计等全方位生成，并具备设计变更自动同步与本地建筑规范校验功能。该软件目前已面向专业建筑设计公司及开发商开放，并计划在后续版本中加入结构分析与电气面板设计功能。

    发布时间：
10月12日周一
  1. AWS Machine Learning Blog68

    使用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理工作负载

    AWS 发布了支持多节点部署的 Ray LLM DLC，允许用户在 Amazon EKS 上通过预填充（prefill）与解码（decode）分离架构运行大模型。该方案利用 NIXL 和 EFA 实现节点间的高速 KV 缓存传输，无需编写自定义代码即可通过 YAML 配置实现 OpenAI 兼容的推理端点，有效解决了计算密集型预填充与内存带宽敏感型解码任务的资源竞争问题。

    发布时间：

    推荐理由：该教程展示了如何利用 AWS 新推出的多节点 Ray LLM DLC，在 Amazon EKS 上实现大模型的预填充与解码分离推理，为优化高并发推理性能提供了可落地的架构参考。

  2. AWS Machine Learning Blog60

    在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型

    AWS 官方发布教程，指导开发者在 Amazon SageMaker AI 上利用 llama.cpp 部署模型，支持标准文本生成及通过 SemIf 适配器实现结构化决策。该方案允许模型直接返回选项概率而非生成文本，适用于路由请求、动作选择等 Agent 场景，并提供了 CPU 与 GPU 的部署路径及性能基准参考。

    发布时间：

    推荐理由：本文介绍了在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型的方法，通过 SemIf 适配器可直接获取选项概率而非生成文本，适合需要结构化输出的 Agent 工作流。

  3. NVIDIA Blog63

    NVIDIA 在 OCP 全球峰会上公开 Vera Rubin 架构并推进开源 AI 工厂标准

    NVIDIA 在 OCP 全球峰会上宣布将 Vera Rubin 机架和计算托盘设计通过开源的 MGX 架构贡献给 OCP，并与合作伙伴共同发布了下一代人工智能工厂的开放标准、开源软件组件以及全新的网络与电源架构。

    发布时间：

    推荐理由：原文介绍了新架构和开源规范的具体演进，帮助读者了解下一代人工智能基础设施的设计标准。

  8. AIHot76

    Microsoft 发布 Maia 300 芯片并将 Maia 系列扩展为主力推理系统

    Microsoft 宣布推出 Maia 300 芯片，并计划从明年起将 Maia 系列扩展至多吉瓦级部署，作为其产品和服务的主力推理系统。Maia 300 相比领先的 GPU 系统每瓦 token 效率提升 40%，此前部署的 Maia 200 已在 Teams 和 Copilot 场景中实现最高 1.7 倍的每瓦 token 效率提升。

    发布时间：

    同一件事，精选收录的是《微软推出 Maia 300 芯片并将其定为旗下产品主要推理系统》

  10. AIHot55

    AMD 发布 Helion 智能体 AI 机架解决方案

    AMD 宣布推出面向智能体 AI 计算负载的 Helion 机架解决方案，该方案基于 OCP 设计规范，支持 CPU 与 GPU 资源的灵活组合。其中基于第六代 EPYC 处理器的纯 CPU 版本可扩展至 32,768 核心，计划于 2026 年 11 月正式推出。

    发布时间：
  11. AIHot62

    Microsoft 发布第三代自研 AI 芯片 Maia 300

    Microsoft 发布第三代自研 AI 芯片 Maia 300，计划于 2027 年投产并作为其产品与服务的主要 AI 推理系统。该芯片采用 TSMC N2P 工艺及小芯片架构，相比领先的 GPU 系统每兆瓦可提供多 40% 的 token，专为长上下文推理、低延迟对话及多步智能体任务设计。

    发布时间：
  12. AIHot74

    Microsoft 宣布 Azure Maia 系统将扩展至多吉瓦级部署，Maia 300 于 2027 年投产

    Microsoft 宣布自 2027 年起将 Azure Maia 系列扩展至多吉瓦级部署，使其成为旗下产品与服务的主要推理系统。新一代 Maia 300 芯片采用多芯片架构与 HBM4 内存，相比主流 GPU 系统，预计每兆瓦可提升 40% 的 token 处理效率，并在 96 加速器配置下实现 7 倍于 Maia 200 的机架级吞吐量。

    发布时间：