TorchTitan 更新:新增 SOTA 模型支持、大规模性能提升与 TitanRL 强化学习
TorchTitan 近期更新带来了 SOTA 模型支持、大规模性能提升以及 TitanRL 强化学习功能。本次升级进一步扩展了其在大模型训练与性能优化方面的能力。
TorchTitan 近期更新带来了 SOTA 模型支持、大规模性能提升以及 TitanRL 强化学习功能。本次升级进一步扩展了其在大模型训练与性能优化方面的能力。
很高兴 Inferact 成为 M3.1 Flash 的 API 发布合作伙伴! 感谢你们将 vLLM 的专业知识带入这次合作。很高兴能继续共同为复杂的 Agent 工作负载构建推理服务基础设施。
a16z 合伙人撰文分析了为何硬件专用化时代迎来回归。文章回顾了 20 世纪 90 年代通用微处理器如何凭借规模效应击败专用硬件,并对比探讨了当前 AI 时代下硬件加速器与专用芯片面临的机遇与挑战。
本文介绍了如何在单台 trn2.48xlarge 实例上使用 torchtitan 在 AWS Trainium 芯片上训练 Qwen3 模型。文章详细讲解了通过 Transformers v5 后端、原生 Qwen3 配置以及自定义 Neuron Kernel Interface 的 MoE 内核这三种方式进行预训练或微调的具体步骤。
非营利组织 U.S. Hunger 通过引入 Amazon Quick 直接探索核心数据集,使团队能够基于统一指标和共享定义协同决策。目前该组织已有 17 名来自管理、技术及财务等职能的同事接入该平台,利用 Quick Spaces 与日常 AI 工作空间提升业务运营效率。
PyTorch 正借助 FlyDSL 来加速 AMD GPU 上的算子性能。由于正文未提供更多技术细节,具体实现方式与性能提升数据暂缺。
Dharma-AI 团队预览了 VocabX 论文中的成果,提出了一种围绕每个 token 的成本而非频率来进行词表专精的方法。在基于 Qwen3-4B 的葡萄牙语作文评分生产环境中,该方法在不改变基础模型和训练配方的前提下,将实际测得的推理成本降低了 77.0%,同时将评测得分从 0.703 提高到 0.810。
OpenAI 讲解了 ChatGPT 广告系统的架构设计,阐述其 LLM 协调器、检索、排序和竞价工具如何协同工作,确保广告投放不会影响自然回答的生成。
MiniMax 宣布其 M3.1 Flash 模型已上线 Runware,开发者可通过指定模型字符串直接调用。
本教程介绍了如何使用 NVIDIA Isaac Lab 3.0 训练 Microduck 双足机器人的行走策略,并将模型导出为 ONNX 格式部署至真机。内容涵盖环境安装、强化学习训练配置、策略评估与导出、以及在 Hugging Face Hub 和 Microduck Arena 上的分享与验证。
本文介绍了如何使用 TorchNeuron 在 AWS Trainium 上对模型推理性能进行系统级剖析,识别耗时瓶颈并捕获干净的追踪数据。内容涵盖配置 `torch.profiler` 与 Neuron 后端、通过 `key_averages()` 表分析算子耗时,以及利用 Neuron Explorer 可视化工具查看硬件执行细节。
Pragmatic Engineer 播客采访 Imprint CTO 兼多本工程领导力著作作者 Will Larson,探讨了 ZIRP 时代后工程管理规则的改写及工程师到 CTO 职业路径的变化。本期节目回顾了 Digg v4 重构等早期经历,并分析了 AI 如何改变工程角色以及将技术决策重新带回领导层。
Rust off Rails 是一个不包含传统框架代码的 Rust 全栈开发项目,由一组 Markdown 文件和 Claude Code 插件组成,用于指导编码智能体构建全栈 Rust 应用。它确立了严格的开发惯例,通过智能体完成采访、制定计划、生成迁移与模型及测试的全流程,所有代码均由 AI 编写,人类仅负责输入意图。
GitHub 介绍了为应对智能体流量增长而推进的 Git 存储架构演进,重点阐述了如何通过按引用序列化 quorum 解决跨区域延迟导致的写入吞吐瓶颈,以及如何利用对象存储和虚拟副本实现读写分离与独立扩展。
Trail of Bits 发布了 patching-bugs 与 regression-hunt 两个智能体插件,旨在帮助工程师将补丁开发与回归检查委派给智能体。其中 patching-bugs 负责复现漏洞、开发修复并进行三方验证,而 regression-hunt 则通过追踪代码差异和实时部署来检查回归,其误报率比基准 Codex 智能体低 25%。
一个金融专业毕业生分享了自己通过自学 n8n 工作流自动化软件并主动拥抱“无知”的半年心路历程。文章指出,新手在学习新技术时极易陷入观看教程的“教程迷境”,甚至因盲目对比专家的高阶成果而产生自我怀疑。作者通过亲自动手实践与不断试错,克服了对技术名词和 API 密钥的陌生感,最终摆脱了传统职业路径的束缚。
本文介绍了如何在 AWS Trainium 上使用 TorchNeuron 和 PyTorch profiler 系统化地分析模型推理性能。
DuckDB 团队正式发布 DuckDB 2.0.0 LTS 版本,代号“Cinnamon Teal”,这是迄今为止规模最大的功能发布。该版本带来了完善的 Quack 协议、异步 I/O、一等公民 VARIANT 类型、智能体模式以及触发器等新特性。作为长期支持版本,其将获得至少持续到 2027 年 10 月的支持。
Wiz 安全团队披露 LiteLLM 软件包遭供应链攻击,恶意版本 v1.107.0 在 PyPI 和容器镜像库中被植入凭据窃取木马。该恶意版本会收集浏览器凭据、云服务密钥以及 OpenAI 等 LLM 提供商的 API 密钥,并外传至攻击者控制的域名。
OpenAI 介绍了 ChatGPT 基于 LLM 的广告技术栈的构建方式,旨在理解对话意图、将广告与回答区隔开,并在规模化场景下提供相关广告。该技术栈兼顾了用户信任与广告精准度。
Nvidia 在 GTC Berlin 上发布了 DSX POD 模块化数据中心参考设计,围绕 Vera Rubin 系统构建,将整体部署时间从六个月缩短至最短 14 天。该设计由合作伙伴在工厂内预先集成计算、网络、线缆、电源和液冷系统,首批产品计划于 2027 年初全球发货。
Commerce.com 联合 Cloudflare 在边缘层推出 WebMCP 测试版,为旗下近 10 万个独立网店自动注入结构化工具,让 AI 智能体无需解析 HTML 即可直接调用搜索和加购等功能。该方案结合了浏览器端的 WebMCP 与服务端 MCP,使智能体能直接在用户浏览器会话中安全地运行,同时为每个商家提供了便捷的边缘端退出选项。
LayerFS 推出了专为 AI 编码智能体设计的文件系统,支持多智能体并发挂载独立可写工作区、共享持久化提交历史并实现零成本分支复刻。该系统将每个文件工具调用视为原子存储操作,通过内容寻址与重复数据删除降低存储开销。
IBM 发布了全新插件库 vLLM-Hook MIA,旨在让开发者在 vLLM 运行时观察和转向模型的演进状态,同时几乎不降低性能。技术报告显示,该插件比前代 vLLM-Hook 快高达 20 倍,比同类方法快高达 14 倍。其通过在图记录前由 GPU 运算符捕获并转向模型内部,避免了关闭 CUDA Graphs 的性能损失。
Databricks 宣布 AI Runtime 正式可用,将全托管的 GPU 基础设施直接引入 Lakehouse。该服务支持无服务器按需访问高级 GPU、秒级启动延迟、与 Unity Catalog 集成的企业级数据治理,并能借助 MLflow 和 Genie Code 进行分布式训练与调试。
Databricks 宣布 AI Runtime 正式可用,联手 NVIDIA 帮助企业在平台上利用无服务器 GPU 训练和微调开源模型。该服务支持分布式训练、MLflow 实验跟踪与 Unity Catalog 数据治理,并可无缝衔接 Databricks Model Serving 进行推理部署。
NVIDIA 宣布 Nebius、Nscale、Verda 和 Aleria 等全球技术与云服务伙伴正利用 NVIDIA Vera CPU 构建下一代本地基础设施,以支持智能体计算的快速发展。
NVIDIA 宣布扩展机密计算能力并推出全新部署选项 Confidential Bare Metal,使前沿模型构建者能够在第三方基础设施上安全地运行敏感工作负载。该能力由硬件级隔离与加密证明支撑,并已扩展至 Grace Blackwell 和 Rubin 等系统,同时获得 Cohere、Google Cloud 等多家企业支持。
推荐理由:文章公布了机密计算在裸金属等形态上的扩展与多方支持,读者可以据此评估其在保障前沿模型与训练推理隐私方面的最新方案。
Google Cloud 与 NVIDIA 宣布 NVIDIA Vera Rubin 基础设施正式商用,A5X 实例将于下月提供。该实例整合了 Vera Rubin NVL72、ConnectX-9 SuperNICs 等硬件,将为大规模强化学习和智能体推理提供支持,首批客户包括 Ineffable Intelligence 与 WPP。
推荐理由:原文公布了新基础设施的落地进展与首批客户案例,读者可以据此了解其在超大规模强化学习和智能体工作负载中的性能与应用形态。
NVIDIA 在 GTC Berlin 展示了包括 RTX Spark、DGX Spark 和 DGX Station 在内的全线本地 AI 硬件阵容,并宣布推出 DGX Station for Windows、模型支持以及针对推理引擎的优化。
推荐理由:NVIDIA 在 GTC Berlin 公布了面向本地 AI 硬件的完整产品矩阵、软件更新及模型支持,为开发者和企业部署端侧智能体提供了新方案。
NVIDIA 宣布扩展 Agent Toolkit,新增 Agent Knowledge Foundation 与 Kumo 开放模型系列,旨在帮助企业通过安全运行时和数据治理构建可信智能体。
英伟达首席执行官黄仁勋在柏林 GTC 大会表示,未来所有电信运营商都将提供 AI 算力,电信基站有望发展成分布式 AI 网络。他在现场重提 AI“五层蛋糕”理论,强调 AI 是像电力和互联网一样的底层工业基础设施。该生态涵盖能源企业、AI 工厂建设商以及 Mistral、Legora 和 DeepL 等欧洲企业。
NVIDIA 宣布其欧洲及周边地区的云合作伙伴正在扩展区域算力以支持模型训练与推理,并推出采用 NVIDIA OpenShell 参考架构的安全边界控制,以规范 AI 智能体的访问和操作。多家合作伙伴正基于 NVIDIA 架构部署全栈基础设施、开源模型及智能体应用支持。
Black Forest Labs 开源了拥有 5.6B 参数的 FLUX 3 Image Klein 图像生成模型。该模型针对消费级 GPU 进行了优化,其 INT8 版本可在仅配备 8GB 显存的 NVIDIA GeForce RTX GPU 上通过 ComfyUI 或 Diffusers 运行,支持文本转图像、图像编辑及多参考生成并原生支持 4K 分辨率。