跳到正文
  1. Hugging Face Blog62

    PyTorch 2.15 为 MPS 带来 FP8 与更快的 LLM 解码

    Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新,新增 float8_e4m3fn 张量与 F.scaled_mm,MoE 模型解码比 2.14 快 5–6.5 倍,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 提升到 61.3 tokens/s。

    推荐理由:Hugging Face 的 PyTorch 团队给出 MPS 后端在 2.15 中的具体提速数字和内存变化,可据此判断 Mac 本地跑模型的实际收益。

  1. Hugging Face Blog76

    作者用 ML Intern 两天自建六个模型,总花费约 103 美元

    作者借助 HuggingChat 中的 ML Intern,在两天内做出六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、Doodle-in LoRA 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。

    推荐理由:作者用 ML Intern 在两天内自建六个模型,公开了完整提示词与成本明细,可迁移到自己的训练流程。

已经到底了