ai-infra-interview-305

第 144 题：推理服务的`cost optimization`策略？Spot instance的使用？

题目

推理服务的cost optimization策略？Spot instance的使用？

完整讲解

一、Cost Optimization 思路

推理成本 = 算力（GPU/CPU）× 时长 + 存储与网络。优化方向：提高利用率（批处理、弹性伸缩、混部）、选用更便宜算力（Spot/抢占式实例、自建与云结合）、模型与推理优化（量化、剪枝、小模型）减少单请求算力与时长、按需伸缩避免常驻大容量。

二、Spot Instance 的使用

Spot（抢占式）实例：价格低但可能被回收，适合可中断、可恢复的负载。推理场景：批处理/离线推理可用 Spot 大幅降本；在线推理若要求高可用则需策略：如用 Spot 做弹性扩容、与 on-demand 混用（基线 on-demand，峰值 Spot），或多可用区/多实例冗余，单点被回收时流量切到其它实例。可配合 K8s 的 spot 节点池、中断通知与 Pod 迁移，尽量在回收前排空或迁移请求。

三、其它策略

预留实例/节省计划包年降单价；自动伸缩按 QPS 或队列深度扩缩容；多模型共享 GPU（MIG、多实例）；监控单请求成本与利用率，持续优化。

面试要点

成本优化：提利用率（批处理、弹性、混部）、便宜算力（Spot）、模型与推理优化、按需伸缩。
Spot：低价可回收；适合批处理/离线；在线需混用 on-demand 或多实例冗余，配合中断通知与迁移。
预留/节省计划、自动伸缩、多模型共享 GPU、单请求成本监控。

记忆要点

成本 = 算力×时长+存储；优化 = 利用率+算力选型+模型优化+伸缩。
Spot = 低价可回收；批处理用 Spot；在线可 Spot 弹性+on-demand 基线。
预留、伸缩、共享、监控单请求成本。

返回模块

返回总览