Hugging Face 发布 TorchNeuron 并上线模型支持查询
先了解这件事
Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 和 Kernels 已原生支持,便于在 Trainium 上运行模型并在 HF Hub 分享。该后端自 2026 年 10 月 20 日起以公开 beta 形式提供,可通过 pip install torch-neuronx 安装。 目前存在限制:Transformers 内置的异步权重加载在 Neuron 上不受支持,暂时需用 HF_DEACTIVATE_ASYNC_LOAD=1 关闭;Neuron 后端尚不能编译 Dynamo 的自动动态形状。Hugging Face 博客另发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能、定位耗时所在。 Hugging Face 随后上线 torch-neuronx 模型支持查询 Space,可查 Hub 上的热门模型能否在 AWS Trainium 上原样运行并给出复现脚本。据其说明,目前仅测试 Transformers 模型,范围限于文本生成和图文转文本模型,且只测能放进 4 台 Trainium2 设备(最多 16 核)的模型;查询结果为 PASS 不代表吞吐量或更长生成的表现。
AI 根据报道生成 · 2 天前更新
事件进展
3 个进展
- 10月23日 08:00 · 1 篇报道Hugging Face 上线 Trainium 模型支持查询 SpaceHugging Face Blog:Hugging Face 上线 torch-neuronx 模型支持查询 Space,可查模型能否在 AWS Trainium 上运行
- 10月22日 00:04 · 2 篇报道发布 TorchNeuron 系统级性能分析教程Hugging Face Blog:TorchNeuron 性能剖析(上):在 AWS Trainium 上做系统级性能分析
- 10月19日 08:00 · 1 篇报道Hugging Face 集成 TorchNeuron 原生后端Hugging Face Blog:Hugging Face 推出 TorchNeuron,让 HF 模型在 AWS Trainium 上原生运行
报道时间线
沿着报道,了解事件的不同侧面。
- Hugging Face BlogHugging Face 上线 torch-neuronx 模型支持查询 Space,可查模型能否在 AWS Trainium 上运行
Hugging Face 推出 torch-neuronx 模型支持 Space,可查询 Hub 上的热门模型能否在 AWS Trainium 上原样运行,并给出复现脚本。
- Hugging Face BlogTorchNeuron 性能剖析(上):在 AWS Trainium 上做系统级性能分析
Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能。
- Hugging Face BlogTorchNeuron 性能剖析(上):在 AWS Trainium 上做系统级性能分析
Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能。
- Hugging Face BlogHugging Face 推出 TorchNeuron,让 HF 模型在 AWS Trainium 上原生运行
Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 和 Kernels 直接支持,2026 年 10 月 20 日起以公开 beta 形式提供,可通过 pip install torch-neuronx 安装。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1010月23日 08:00
- 近 24 小时变化
- -49%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。