ai-infra-interview-305

第 181 题：nvidia-smi的dmon、pmon模式区别？

题目

nvidia-smi的dmon、pmon模式区别？

---

完整讲解

一、dmon 模式

nvidia-smi dmon：持续监控模式，按固定间隔（如每秒）采样并输出 GPU 的 utilization（sm、mem）、功耗、温度 等到终端或日志。常用：nvidia-smi dmon -s u -c 10 表示采 utilization、共 10 次。适合观察一段时间内的波动（如训练时 GPU 是否周期性掉下去、是否在等数据），或脚本化采集做简单监控。

二、pmon 模式

nvidia-smi pmon：按 进程 维度显示 GPU 使用，输出每个进程的 PID、进程名、对应 GPU、显存占用、计算占用 等。适合看「哪几个进程在用哪块卡、各占多少」，用于排查多进程争卡、显存泄漏、混部时的占用归属。采样也是周期性的，可加 -c N 控制次数。

三、区别与使用场景

dmon：以 GPU 为维度，看整卡利用率和状态，适合看负载与瓶颈（如 GPU 是否跑满、是否在等 CPU）。pmon：以 进程为维度，看谁在用卡、用多少，适合多任务/多用户时的归属与隔离排查。二者可结合：先用 dmon 看卡是否忙，再用 pmon 看是哪些进程在占用。

面试要点

• dmon：按 GPU 维度持续采样利用率、显存、功耗等；看整卡负载与时间序列。
• pmon：按进程维度显示每进程占用的 GPU 与显存/算力；看谁在用哪块卡。
• dmon 看瓶颈与波动，pmon 看归属与多进程；可配合使用。

---

记忆要点

1. dmon = GPU 维度、持续采样；pmon = 进程维度、谁在用卡。
2. dmon 适合看利用率曲线与瓶颈；pmon 适合多进程/多用户排查。
3. 常用：dmon -s u -c N；pmon -c N。

返回模块

返回总览