跳到正文
热点事件观察中

Hugging Face 发布 TorchNeuron 并上线模型支持查询

4 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 和 Kernels 已原生支持,便于在 Trainium 上运行模型并在 HF Hub 分享。该后端自 2026 年 10 月 20 日起以公开 beta 形式提供,可通过 pip install torch-neuronx 安装。 目前存在限制:Transformers 内置的异步权重加载在 Neuron 上不受支持,暂时需用 HF_DEACTIVATE_ASYNC_LOAD=1 关闭;Neuron 后端尚不能编译 Dynamo 的自动动态形状。Hugging Face 博客另发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能、定位耗时所在。 Hugging Face 随后上线 torch-neuronx 模型支持查询 Space,可查 Hub 上的热门模型能否在 AWS Trainium 上原样运行并给出复现脚本。据其说明,目前仅测试 Transformers 模型,范围限于文本生成和图文转文本模型,且只测能放进 4 台 Trainium2 设备(最多 16 核)的模型;查询结果为 PASS 不代表吞吐量或更长生成的表现。

AI 根据报道生成 · 2 天前更新

事件进展

3 个进展

  1. 10月23日 08:00 · 1 篇报道
    Hugging Face 上线 Trainium 模型支持查询 Space
    Hugging Face Blog:Hugging Face 上线 torch-neuronx 模型支持查询 Space,可查模型能否在 AWS Trainium 上运行
  2. 10月22日 00:04 · 2 篇报道
    发布 TorchNeuron 系统级性能分析教程
    Hugging Face Blog:TorchNeuron 性能剖析(上):在 AWS Trainium 上做系统级性能分析
  3. 10月19日 08:00 · 1 篇报道
    Hugging Face 集成 TorchNeuron 原生后端
    Hugging Face Blog:Hugging Face 推出 TorchNeuron,让 HF 模型在 AWS Trainium 上原生运行

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. Hugging Face Blog
    Hugging Face 上线 torch-neuronx 模型支持查询 Space,可查模型能否在 AWS Trainium 上运行

    Hugging Face 推出 torch-neuronx 模型支持 Space,可查询 Hub 上的热门模型能否在 AWS Trainium 上原样运行,并给出复现脚本。

10月22日
  1. Hugging Face Blog
    TorchNeuron 性能剖析(上):在 AWS Trainium 上做系统级性能分析

    Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能。

  2. Hugging Face Blog
    TorchNeuron 性能剖析(上):在 AWS Trainium 上做系统级性能分析

    Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能。

10月19日
  1. Hugging Face Blog
    Hugging Face 推出 TorchNeuron,让 HF 模型在 AWS Trainium 上原生运行

    Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 和 Kernels 直接支持,2026 年 10 月 20 日起以公开 beta 形式提供,可通过 pip install torch-neuronx 安装。

本事件热度走势

可比范围当前
3
可比范围峰值
1010月23日 08:00
近 24 小时变化
-49%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。

关联事件