ai-infra-interview-305

第 233 题：训练平台的disaster recovery？跨地域备份？

题目

训练平台的disaster recovery？跨地域备份？

---

完整讲解

一、Disaster recovery 目标

灾难恢复（DR）：在 地域级故障（机房/区域不可用）时，能 在另一地域恢复 关键服务与数据，RTO（恢复时间目标）与 RPO（恢复点目标）满足业务要求。训练平台需考虑 控制面、数据与 checkpoint、配置与元数据 的跨地域备份与恢复。

二、跨地域备份

数据：训练数据 与 checkpoint 可 异步复制 到另一 region（如对象存储跨 region 复制、Ceph/JuiceFS 多站点）；RPO 取决于复制延迟（如分钟级）。元数据与配置：etcd、DB、配置中心 做 跨地域复制（异步或同步）；或 定期快照 到对象存储，恢复时从快照拉起。控制面：API、scheduler 可在 多 region 部署，主区故障时 DNS/流量 切到备区；或 冷备：备区平时不跑、灾备时用备份数据与镜像恢复服务。

三、训练任务恢复

已跑 job：checkpoint 若已跨区复制，可在 备区 重新提交「从 checkpoint resume」的 job；未复制 的 checkpoint 可能丢失，RPO 内完成的 job 需在备区重训。新 job：备区需有 调度与资源；队列与元数据 从备份恢复或最终一致。演练：定期 DR 演练（切流量、从备份恢复）验证 RTO/RPO。

面试要点

• DR：地域级故障时在另一地域恢复；RTO/RPO 目标。
• 跨地域备份：数据与 checkpoint 异步复制；元数据/DB 复制或快照；控制面多区或冷备。
• 训练恢复：checkpoint 在备区 resume；演练验证 RTO/RPO。

---

记忆要点

1. DR = 跨地域恢复；RTO/RPO。
2. 数据/checkpoint 跨区复制；元数据复制或快照。
3. 备区 resume + 演练。

返回模块

返回总览