ai-infra-interview-305

第 254 题:推理服务的security?模型加密、API认证?

题目

推理服务的security?模型加密、API认证?


完整讲解

一、推理服务安全需求

安全模型与数据 不被窃取与篡改;API 仅授权可访问;审计合规。涉及 模型加密、传输与存储安全、API 认证与鉴权

二、模型加密

静态模型文件存储与分发加密(如 AES);推理节点密钥(从 KMS 或安全模块获取)解密 后加载;密钥 不落盘、按需注入。运行时机密计算(如 TEE、SGX)可在 加密内存 中跑推理,模型与输入 对宿主机不可见;成本与兼容性需权衡。目的:防 模型泄露盗用;满足 合规(如模型含敏感信息)。

三、API 认证

认证API key、OAuth2、JWT 等;请求带 token网关或服务 校验后放行。鉴权RBAC— 谁可访问哪类模型、哪类接口(如只读、只推理);多租户 下按 tenant_id 隔离。传输TLS 全链路;内网 可 mTLS。审计访问日志(谁、何时、何接口、何模型);敏感操作 留痕;满足 合规与溯源

面试要点


记忆要点

  1. 模型加密:存储/分发加密、KMS 解密;可选 TEE。
  2. API 认证:key/OAuth/JWT;RBAC、TLS。
  3. 审计与合规。
返回模块 返回总览