ai-infra-interview-305

第 226 题：资源碎片整理（defragmentation）策略？

题目

资源碎片整理（defragmentation）策略？

完整讲解

一、资源碎片问题

碎片：集群中 空闲资源 分散在多个节点上，单节点 不足以满足「需要 N 卡同节点」的 gang 作业，导致 有总资源却无法调度（如总共有 64 卡空闲但每节点最多 4 卡空闲，无法满足 8 卡同节点）。碎片化 降低实际可用率、拉长排队。

二、Defragmentation 策略

整理思路：（1）迁移/驱逐：将 低优或可迁移 的已运行任务 迁到更少节点，腾出 整节点 给大 job；需与 checkpoint、迁移成本 权衡。（2）预留与预留池：预留若干 整节点 专供大 job，小 job 用零散资源；或 定时 将小 job 收拢到部分节点。（3）调度策略：Bin packing 优先「填满已有节点」再开新节点，减少碎片；Spread 则相反，易产生碎片；大集群常 bin pack 为主。（4）队列与优先级：大 job 高优时可 抢占 若干小 job、腾出整节点；被抢占方 checkpoint 后重排。

三、与 Gang 的关系

Gang 作业要求 多卡/多节点同时；碎片化直接导致 gang 无法满足。Defrag 目标就是 凑出连续/整节点 资源块；监控 上可看「碎片率」「无法调度的大 job 数」等指标，驱动 defrag 策略与参数。

面试要点

记忆要点

  1. 碎片 = 总资源够但单节点不够；defrag = 凑整块。
  2. 迁移、预留、bin pack、抢占。
  3. Gang 依赖整块资源；监控驱动 defrag。
返回模块 返回总览