AWS与Hugging Face推出TorchNeuron及配套工具
先了解这件事
亚马逊云科技(AWS)与 Hugging Face 共同推出了用于在 AWS Trainium 芯片上运行 PyTorch 模型的 TorchNeuron 原生后端开发工具,并于 2026 年 10 月 20 日起提供公开测试版。该工具支持 eager mode、torch.compile 以及分布式 API 等特性。 在此之后,双方及相关博客进一步介绍了配套的生态与实践工具:Hugging Face 推出了 torch-neuronx model support Space,供用户查询 Hub 热门模型在 Trainium 上的运行支持情况;同时,Hugging Face 与 AWS 还分别介绍了如何结合 `torch.profiler` 对推理性能进行系统级剖析,以及如何在单台 trn2.48xlarge 实例上使用 torchtitan 训练 Qwen3 模型。
AI 根据报道生成 · 3 天前更新
事件进展
5 个进展
- 10月23日 08:00 · 1 篇报道Hugging Face推出torch-neuronx模型支持SpaceHugging Face Blog:模型是否能在 AWS Trainium 上运行?快来查阅
- 10月22日 04:00 · 1 篇报道使用 torchtitan 在 AWS Trainium 上训练 Qwen3AWS Machine Learning Blog:如何在 AWS Trainium 上使用 torchtitan 训练 Qwen3
- 10月22日 00:04 · 2 篇报道系统级分析 AWS Trainium 上的推理性能教程Hugging Face Blog:Profiling TorchNeuron 第一部分:在 AWS Trainium 上进行系统级剖析
- 10月20日 04:09 · 1 篇报道AWS 发布 TorchNeuron 开发工具TechCrunch:AI:AWS 发布 TorchNeuron 开发工具,助 PyTorch 应用一行配置迁移至 Trainium 芯片
- 10月19日 08:00 · 1 篇报道Hugging Face推出TorchNeuron原生后端支持Hugging Face Blog:TorchNeuron:在 AWS Trainium 上运行 HF 模型比以往更轻松
报道时间线
沿着报道,了解事件的不同侧面。
- Hugging Face Blog模型是否能在 AWS Trainium 上运行?快来查阅
Hugging Face 推出了 torch-neuronx model support Space,用于查询 Hub 上的热门模型是否能在 AWS Trainium 上未经修改地运行。用户可以查看测试结果、Trainium 核心数量、运行时间和峰值设备内存,并获取运行脚本。所有展示的数据均来源于公共数据集,方便开发者直接进行查询。
- AWS Machine Learning Blog如何在 AWS Trainium 上使用 torchtitan 训练 Qwen3
本文介绍了如何在单台 trn2.48xlarge 实例上使用 torchtitan 在 AWS Trainium 芯片上训练 Qwen3 模型。文章详细讲解了通过 Transformers v5 后端、原生 Qwen3 配置以及自定义 Neuron Kernel Interface 的 MoE 内核这三种方式进行预训练或微调的具体步骤。
- Hugging Face 社区博客TorchNeuron 性能剖析(一):在 AWS Trainium 上做系统级性能分析
本文介绍了如何使用 TorchNeuron 在 AWS Trainium 上对模型推理性能进行系统级剖析,识别耗时瓶颈并捕获干净的追踪数据。内容涵盖配置 `torch.profiler` 与 Neuron 后端、通过 `key_averages()` 表分析算子耗时,以及利用 Neuron Explorer 可视化工具查看硬件执行细节。
- Hugging Face BlogProfiling TorchNeuron 第一部分:在 AWS Trainium 上进行系统级剖析
本文介绍了如何在 AWS Trainium 上使用 TorchNeuron 和 PyTorch profiler 系统化地分析模型推理性能。
- TechCrunch:AIGoogle 开源 TorchTPU,与 Amazon TorchNeuron 争夺 Nvidia 的 PyTorch 阵地
Google 宣布开源长期备受期待的 PyTorch 版本 TorchTPU,允许开发者通过简单的配置更改,将现有的 PyTorch 应用迁移至谷歌的 Tensor Processing Units (TPU) 和 Google Cloud,无需重写应用代码。
- TechCrunch:AIAWS 发布 TorchNeuron 开发工具,助 PyTorch 应用一行配置迁移至 Trainium 芯片
亚马逊云科技(AWS)发布了 TorchNeuron 开发工具,允许开发者通过修改一行配置将 PyTorch 应用无缝迁移至其 Trainium 芯片,并计划将去耦合 Nvidia 的代码贡献给 PyTorch 社区。该工具旨在降低开发者使用 AWS 自研芯片的门槛,同时挑战 Nvidia 在 AI 软件栈生态中的主导地位。
- Hugging Face BlogTorchNeuron:在 AWS Trainium 上运行 HF 模型比以往更轻松
TorchNeuron 为 PyTorch 在 AWS Trainium 上提供全新原生后端,支持 eager mode、torch.compile 以及分布式 API 等特性。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 2710月22日 05:00
- 近 24 小时变化
- -49%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。