第 20 题：自监督学习中的预训练任务设计，MLM 在推荐中为何效果有限？
题目
自监督学习中的预训练任务设计，MLM在推荐中为何效果有限？
完整讲解
一、自监督预训练任务（通用）
- MLM（Masked Language Model）：随机 mask 部分 token，预测被 mask 的 token；适合文本，学语法与语义。
- 对比学习：正对拉近、负对推远，学表征不变性（如 SimCLR、MoCo）。
- 下一句/下一项预测：序列中预测下一个 token/item，学顺序与转移。
二、MLM 在推荐中效果有限的原因
- 数据形态不同：推荐多为 ID 序列（item_id、user 行为序列），语义不像自然语言有强局部语法与上下文；mask 一个 ID 预测「哪个 ID」更像记忆表而非泛化结构，迁移与泛化收益有限。
- 目标与下游不对齐：CTR/排序关心「是否点击/排序好坏」，MLM 目标是「预测被 mask 的 token」，二者不一致；预训练学到的「补全」能力对「点击概率」的直接帮助有限。
- 稀疏与长尾：大量长尾 item 很少出现，mask 后难以预测，MLM 容易偏向头部 item，对长尾与冷启动帮助不大。
- 更合适的预训练：推荐里序列下一项预测、行为序列对比学习（如 S3-Rec）、图上的对比/掩码等，与「顺序、共现、用户意图」更对齐，往往比直接套 MLM 效果更好。
三、小结
- MLM 适合文本；推荐以 ID 序列为主，语义与任务不同，MLM 效果有限。
- 推荐预训练更常用：下一项预测、序列/图对比、行为预测等与下游一致的任务。
面试要点
- MLM 在推荐有限：ID 序列无语法、目标与 CTR/排序不对齐、长尾难预测、易偏头部。
- 推荐预训练：下一项预测、序列/图对比、行为预测等更合适。
记忆要点
- MLM 适合文本；推荐 ID 序列 + 任务不对齐 → 效果有限。
- 推荐用下一项预测、对比学习、图预训练等更对齐。