ai-infra-interview-305

第 255 题：推理平台的carbon footprint优化？绿色AI？

题目

推理平台的carbon footprint优化？绿色AI？

---

完整讲解

一、Carbon footprint 与绿色 AI

碳足迹：推理与训练消耗 电力，间接产生 碳排放。绿色 AI：通过 能效优化、资源利用率、清洁能源与调度 降低 单位算力或单位请求的能耗与碳，兼顾 成本与可持续。

二、推理平台可做的优化

能效：量化、蒸馏、小模型 降低单次推理 算力与显存，同 QPS 下 功耗更低；批处理与利用率 提高 单卡吞吐，摊薄单请求能耗。调度与选址：优先调度到 清洁能源比例高、PUE 低 的 region 或机房；低峰 时 缩容 或 迁到绿色电力多的区。硬件：新一代 GPU（如 H100）能效比更好；混部与弹性 减少 空转，提高整体利用率即降低「单位产出的碳」。监控：能耗与碳 作为 指标（如每万 QPS 的 kWh、碳当量）；看板与报表 驱动优化与汇报。

三、与成本、SLA 的协同

省电即省钱：多数优化（利用率、缩容、量化）同时 降成本。SLA：在满足延迟与可用性前提下做 绿色调度（如优先绿色 region）；碳预算 可与 配额 结合，引导业务在绿色时段或区域多用。

面试要点

• Carbon footprint：电力与碳排放；绿色 AI = 能效、利用率、清洁能源与调度优化。
• 推理优化：量化/小模型、批处理与利用率；调度到绿色 region、低峰缩容；新一代硬件。
• 能耗与碳指标、看板；与成本、SLA 协同；碳预算与配额可选。

---

记忆要点

1. 碳足迹 = 能耗与排放；绿色 AI = 能效与可持续。
2. 量化、利用率、绿色 region、缩容、新硬件。
3. 指标与看板；与成本、SLA 协同。

返回模块

返回总览