ai-infra-interview-305

第 246 题：模型fine-tuning as a service的架构？

题目

模型fine-tuning as a service的架构？

完整讲解

一、Fine-tuning as a service 定位

服务化微调：用户通过 API 或控制台 提交 基础模型、数据、超参，平台 在后台跑微调，完成后产出 新模型版本 并 入库或直接部署。用户无需管 GPU 调度、环境与脚本，按需、按量 使用。

二、架构要点

提交：API 接收「基础模型 ID、训练数据路径/上传、超参、任务名」；生成 微调 job，进入 训练队列（与普通训练共用调度或独立队列）。执行：调度器 分配 GPU；运行时 拉取基础模型与数据、执行 LoRA/全量 等微调脚本；checkpoint 与日志 写回存储与可观测。产出：微调完成后 新模型 写入 模型仓库（带版本、元数据、父模型血缘）；可选 自动部署 到推理或 仅入库 供用户选择部署。多租户：资源隔离与 quota；计费 按 GPU 时或按任务。

三、与训练平台的关系

可 复用 训练平台的 调度、存储、可观测；差异 在 任务形态（短任务、交互式提交、产出直接进模型仓库与推理）。数据：用户上传或指定路径；安全 与 隐私（数据不跨租户、可加密）需保障。

面试要点

记忆要点

  1. 服务化 = API 提交、平台执行、产出入库/部署。
  2. Job 队列、调度、存储、可观测；模型仓库 + 血缘。
  3. 多租户、计费、数据安全。
返回模块 返回总览