第 247 题：大模型的持续学习，灾难性遗忘的缓解？
题目
大模型的持续学习，灾难性遗忘的缓解？
完整讲解
一、持续学习与灾难性遗忘
- 持续学习：模型在新增任务或新数据上不断学习，希望保留旧能力。灾难性遗忘指在新数据上更新后，在旧任务/旧数据上性能大幅下降，因梯度更新覆盖了原有表示。
二、缓解思路
- 正则：EWC、L2 等对重要参数（依旧任务 Fisher 或梯度）加惩罚，更新时尽量少动这些参数，保留旧知识。
- 回放：保留少量旧数据或生成伪样本，与新数据混合训练，让模型持续见到旧分布；存储或生成质量影响效果与成本。
- 参数隔离：为不同任务/阶段分配独立参数（如 Adapter、LoRA），推理时按任务选择子网，旧参数冻结，避免互相覆盖；需管理子网数量与路由。
- 动态架构：渐进式扩展网络或 mask，为新任务增加容量，旧部分尽量冻结；复杂度与工程成本较高。
- 推荐场景：新品类、新区域、新时段数据可视为新任务；可用 LoRA 按任务/时段扩展、加回放缓冲或正则，并做旧场景的定期评估与回放采样策略。
面试要点
- 能说清灾难性遗忘的原因（梯度覆盖旧表示）及持续学习的目标。
- 能列举缓解方法：正则（EWC）、回放、参数隔离（Adapter/LoRA）、动态架构，以及推荐场景的适用方式。
记忆要点
- 持续学习防遗忘：正则（EWC）、回放旧数据、参数隔离（LoRA/Adapter）、动态扩展。
- 推荐：新品类/区域可视为新任务，用 LoRA 扩展+回放或正则，并评估旧场景。