ai-infra-interview-305

第 251 题：模型ensemble和cascade的架构设计？

题目

模型ensemble和cascade的架构设计？

---

完整讲解

一、Ensemble

Ensemble：多模型 对同一输入分别推理，结果融合（投票、平均、 stacking）后输出。架构：路由 把请求 复制 到多个 模型服务；聚合服务 收齐结果后做 融合 再返回。部署：多模型可 同机多副本 或 分服务；延迟 取 最慢模型，资源 为多份之和。适用：提升准确率/鲁棒性；A/B 多版本 也可视为轻量 ensemble（选一路）。

二、Cascade

Cascade：多级 模型，先快后准：第一级 快速模型（小、快）做 粗筛，不确定或高价值 的再走 第二级 重模型。架构：请求先调 L1 服务；根据 置信度或规则 决定是否调 L2；最终返回 L1 或 L2 结果。优点：平均延迟与成本 低（多数请求只经 L1）；高价值请求 得到更好结果。实现：路由/编排 按 L1 输出分支；L2 可 异步 或 同步；超时 与 fallback（L2 超时则用 L1）需考虑。

三、对比与选型

Ensemble：多模型并行、结果融合；延迟与成本高、准确率/鲁棒性 提升。Cascade：多级串行、先快后准；省成本与延迟、复杂请求 走重模型。按 业务 选：要 稳定性 用 ensemble；要 成本与延迟 用 cascade。

面试要点

• Ensemble：多模型并行、结果融合；提升准确率/鲁棒性；延迟与成本为多份之和。
• Cascade：多级、先快后准；粗筛+重模型；省成本与平均延迟。
• 选型：要稳定用 ensemble；要成本与延迟用 cascade。

---

记忆要点

1. Ensemble = 多模型并行、融合；Cascade = 多级、先快后准。
2. Ensemble 延迟/成本高；Cascade 省成本与延迟。
3. 按业务选型。

返回模块

返回总览