第 211 题：TensorFlow Serving的模型版本管理，金丝雀发布策略？
题目
TensorFlow Serving的模型版本管理，金丝雀发布策略？
完整讲解
一、TensorFlow Serving 与模型版本
TensorFlow Serving：TF 官方推理服务，支持多模型、多版本的加载与请求路由。模型版本：同一模型名可挂载多个版本目录（如 model/1/、model/2/），每个目录含 SavedModel 或导出格式；请求可指定版本或使用默认最新。
二、版本管理机制
- 目录约定：按版本号或时间戳组织目录，Serving 扫描配置路径下的子目录并加载为版本；版本号可用于路由与回滚。
- 加载与卸载：新版本加载后可用于推理；旧版本可配置保留数（如保留最近 N 个），超出则卸载以释放资源。热更新：新版本就绪后切换默认版本或按策略路由，无需重启服务。
- 配置：通过 ModelServerConfig 指定模型名、路径、版本策略（最新、按版本号、按标签）；可文件或 API 动态更新。
三、金丝雀发布（Canary）
- 含义：新模型版本先对一小部分流量开放，观察指标（延迟、错误率、业务指标）无异常后再全量切换，降低坏版本影响面。
- 实现：（1）流量比例：在负载均衡或网关层按比例（如 5% 新版本、95% 旧版本）将请求路由到不同版本对应的实例或 endpoint。（2）版本路由：Serving 支持按请求头或参数指定版本；上游根据金丝雀比例决定发往
version=新 或默认版本。（3）观察与回滚：监控新版本延迟与错误率，异常则回滚（调回 0% 或切回旧默认）；无异常则逐步放大比例直至全量。
- 与版本管理配合：新版本加载后先不设默认，仅金丝雀流量带版本号访问；通过后设为默认并下线旧版本。
面试要点
- 能说清 TF Serving 的模型与版本组织（多版本目录、加载/卸载）；能说明热更新与版本策略。
- 能解释金丝雀发布：小流量新版本、观察指标、逐步放量或回滚；能描述流量比例与版本路由的实现方式。
- 能简述与负载均衡、监控、回滚的配合；能提及配置与动态更新。
记忆要点
- TF Serving：多版本目录、加载/卸载、热更新；版本策略=最新/指定版本/标签。
- 金丝雀=小流量新版本→观察→放量或回滚；实现=流量比例路由、版本参数、监控与回滚。