ai-infra-interview-305

第 241 题：推理服务的`A/B testing`和`canary deployment`？

题目

推理服务的A/B testing和canary deployment？

完整讲解

一、A/B testing

A/B 测试：流量按比例 分到 多版本（如模型 A vs 模型 B、或同一模型不同参数），收集 延迟、准确率、业务指标，统计比较 后决定是否全量切到某版本。实现：路由层 按 user_id、request_id 哈希或随机将请求分到 variant A/B；指标带 variant 标签上报；分析看 A/B 的 P99、准确率、转化等差异。

二、Canary deployment

Canary：新版本先上少量流量（如 5%），观察 错误率、延迟 无异常后再 逐步放量 至全量；若有问题则回滚。实现：路由/网关 按权重（如 95% 老版本、5% 新版本）或 按用户/地域 切流量；监控新版本实例的指标；自动或人工 判断是否继续放量或回滚。与 A/B 区别：Canary 侧重 稳妥发布；A/B 侧重 效果对比。可结合：先 canary 放量，再 A/B 对比新旧模型效果。

三、与推理平台集成

模型版本与路由规则绑定（如 10% 流量到 v2）；平台提供流量比例配置、指标按版本聚合、回滚接口。金丝雀可配自动回滚（错误率或延迟超阈值即回滚）；A/B 需统计显著性与业务决策后再全量。

面试要点

A/B testing：流量分多版本、收集指标、统计比较后决策；路由按 user/request 分 variant。
Canary：新版本少量流量、观察无异常后放量；有问题回滚；路由按权重或用户。
平台：版本与路由绑定、比例配置、按版本聚合指标、回滚与自动回滚。

记忆要点

A/B = 多版本对比、统计决策；Canary = 少量流量、逐步放量、可回滚。
路由分流量；指标带版本；Canary 可自动回滚。
可结合：canary 发布 + A/B 效果对比。

返回模块

返回总览