ai-infra-interview-305

第 133 题：推理服务的`A/B testing`如何实现？模型版本管理？

题目

推理服务的A/B testing如何实现？模型版本管理？

完整讲解

一、A/B Testing 实现思路

A/B testing：将流量按比例分到不同模型版本（如 A 90%、B 10%），比较延迟、准确率、业务指标。实现方式：（1）网关/负载均衡层：按请求头、用户 ID 哈希或随机数把请求路由到不同后端或同一后端的不同模型版本；（2）推理服务自身：同一 endpoint 支持多版本，由请求参数或 header 指定版本，内部路由到对应 model instance；（3）流量镜像：主流量走 A，复制一部分到 B 做影子测试，对比结果。需保证同一用户或 session 尽量稳定在同一版本（一致性），并打日志/打点做指标对比。

二、模型版本管理

版本管理：模型文件按版本号或标签组织（如 model_v1/、model_v2/），部署时通过 Triton 的 model_version_policy、K8s 的 deployment 标签、或配置中心指定当前生效版本。支持多版本并存：新旧版本同时加载，通过路由做灰度或 A/B；支持回滚：切回上一版本配置并重载。版本与配置（batch、instance 数等）一起管理，便于复现与审计。

三、工程要点

版本命名建议语义化或带时间戳；CI/CD 产出物与版本绑定；A/B 的流量比例与周期可配置，结果用统一监控与实验平台分析。

面试要点

A/B 实现：网关/负载均衡按比例或哈希路由到不同版本；或推理服务内按 header/参数选版本；可加流量镜像做影子测试。
版本管理：模型按版本目录或标签部署；多版本并存、路由灰度；支持回滚与配置绑定。
同一用户/session 尽量同版本；打点与监控做指标对比。

记忆要点

A/B = 流量按比例路由到不同模型版本；网关或服务内路由，可加镜像。
版本管理 = 多版本并存、路由/灰度、回滚；配置与版本绑定。
一致性（同用户同版本）、打点与监控必备。

返回模块

返回总览