跳到正文
热点事件历史事件

Ai2 用时间预算改造 GPU 集群调度

1 篇报道1 个报道来源16 天前更新

先了解这件事

AI 综述

Ai2 称已用 GPU 时间预算、分层公平分配和时间切片合约替换原有优先级调度器,把“每个研究项目该分多少 GPU 时间”从事后逐案协调改为透明的预算分配流程。该集群管理数千块 NVIDIA H100、B200 和 B300 GPU,单集群规模 88 至 1024 块,服务约 150 名内部研究者,待处理需求常年是可用算力的 2-3 倍。 按 Ai2 的说法,用户可将最短运行时间设为零,表示该 GPU 时间不分配预算,这类任务始终可被抢占,也不计入任何预算;时间切片下受保护运行时间上限为 8 小时,超出分配后会话转为可抢占。Ai2 还表示正在本地存储旁建设仅用 CPU 的集群,用于数据准备类开发会话,并计划为这些 CPU 任务提供可恢复会话。

AI 根据报道生成 · 16 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. Hugging Face Blog
    Ai2 如何用 GPU 时间预算与分层公平分配改造 GPU 集群调度

    Ai2 用 GPU 时间预算、分层公平分配和时间切片合约替换了原有优先级调度器,把"每个研究项目该分多少 GPU 时间"从事后逐案协调变成透明的预算分配流程。Ai2 管理数千块 NVIDIA H100、B200 和 B300 GPU,集群规模 88 至 1024 块,服务约 150 名内部研究者,待处理需求常年是可用算力的 2-3 倍。