Dharma-AI 在 Hugging Face 发布了一份论文预览,用共享 NVIDIA H200 集群上 272 个生产监督微调作业,预测 GPU 分配后还要多久才能完工。只读取调度前可得配置的 CatBoost,在分层 5 折交叉验证中把平均绝对误差从 FLOP 算力基线的 12.41 小时降到 1.71 小时。基线已经计入计划评估的 token,也试过多档算力利用率。

这批作业消耗约 7,382 GPU 小时,涵盖 LoRA 和全参数微调,计时从拿到 GPU 开始,排队另算。这恰好切中了调度团队要预留的时段。论文预览给出了同一生产环境里的预测精度,排程收益还要看低估会挤掉多少预约、高估留下的空档有多少能交给别的作业。

Dharma-AI 把评估和检查点写进了耗时账

CatBoost 保留了 FLOP 估算,又加入评估样本总量、检查点保存策略和每卡 token 量等特征。评估样本总量在模型的特征重要性排名中居首。这让平台团队有了一个具体的排查方向。两份训练配置的 token 量相近,完工时间却差得很远时,除了看训练吞吐,还可以核对评估频率和保存策略。至于改动这些配置能省多少时间,特征排名本身给不出答案。

<svg viewBox='0 0 760 218' width='100%' height='218' role='img' aria-label='从分配显卡到释放显卡的作业时间线,异步写入可与训练重叠'>
<rect x='1' y='1' width='758' height='216' rx='16' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='32' y='39' font-size='20' font-weight='700' fill='#b25a3a'>GPU 占用时间线</text>
<line x1='32' y1='56' x2='728' y2='56' stroke='#e2dccf'/>
<line x1='77' y1='111' x2='683' y2='111' stroke='#e2dccf' stroke-width='3'/>
<circle cx='77' cy='111' r='5' fill='#2c2822'/>
<circle cx='248' cy='111' r='5' fill='#2c2822'/>
<circle cx='505' cy='111' r='5' fill='#2c2822'/>
<circle cx='683' cy='111' r='5' fill='#2c2822'/>
<text x='77' y='91' text-anchor='middle' font-size='15' fill='#2c2822'>分配显卡</text>
<text x='248' y='91' text-anchor='middle' font-size='15' fill='#2c2822'>训练开始</text>
<text x='505' y='91' text-anchor='middle' font-size='15' fill='#2c2822'>训练结束</text>
<text x='683' y='91' text-anchor='middle' font-size='15' fill='#2c2822'>释放显卡</text>
<text x='162' y='140' text-anchor='middle' font-size='13' fill='#7a7266'>环境准备与加载</text>
<text x='376' y='140' text-anchor='middle' font-size='13' fill='#7a7266'>训练与周期评估</text>
<text x='594' y='140' text-anchor='middle' font-size='13' fill='#7a7266'>可能等待上传</text>
<rect x='309' y='157' width='259' height='28' rx='6' fill='#f3e4da'/>
<text x='438' y='176' text-anchor='middle' font-size='13' font-weight='700' fill='#b25a3a'>异步写入可与训练重叠</text>
</svg>

PyTorch 的异步分布式检查点机制说明了为什么这笔账不能逐项相加。后台写入可以和训练重叠,真正推迟 GPU 释放的可能是训练暂停等待暂存、存储争用拖慢训练,或退出前等待写完。平台团队要核对作业完工和 GPU 重新可分配分别对应哪个日志事件。两个时点如果没有对齐,再准的完工预测也会给预约留下偏差。

换一批作业,1.71 小时还能不能守住

训练时间预测工具的成绩要连同输入时点和预测终点一起看。Optimus 读取已经运行的作业的损失曲线,估算还需训练多少轮,适合给启动后的调度提供更新。Habitat 先在源 GPU 上剖析负载,再预测目标 GPU 的单次迭代用时,检验的是跨硬件预测。Dharma-AI 把预测放在作业启动前,覆盖从分卡到完工的整段时间,验证范围则限于 H200 上的监督微调。

同一集群里,最需要守住的恰好是误差最大的那批作业。实际运行超过 60 小时的样本只有 13 个,绝对误差的第 90 百分位达到 18.51 小时。如果重复配置或相近实验批次分布在不同折,交叉验证就可能比实际接入新作业时更乐观。上线前可用较早作业拟合、较晚作业验收,再单独留出模型家族测试,并把特征选择和调参限制在训练数据里。这样才能判断平台该给哪些预估留出更宽的余量。

能不能拿来排程,要看预约和回填

平均绝对误差把低估和高估记成同一笔账,调度团队承担的后果却不同。低估会侵占下一单的预约时段。高估会多留一段资源,集群能否避免闲置,取决于队列里有没有卡数匹配、能在空档内跑完的作业。

集群团队可以用同一批历史作业、相同的到达时间和调度策略回放,分别代入 FLOP 基线、CatBoost 点预测和带保守余量的预测,再查后续作业延误、回填成功情况和 GPU 闲置时长。最值得盯的是长作业的余量设多大。余量太窄,超时会挤占下一单。余量加宽后,空档能不能回填,决定了这份精度能换回多少可用算力。