sgr-interview-300

第 41 题：DIN的注意力权重计算，引入激活单元(Activation Unit)的动机？

题目

DIN的注意力权重计算，引入激活单元(Activation Unit)的动机？

---

完整讲解

一、DIN 的注意力权重计算

Deep Interest Network (DIN) 用局部注意力从用户历史行为序列中选出与候选 item 相关的部分。设用户行为序列为 ${e_1,\ldots,e_T}$（$e_t$ 为 item 嵌入），候选 item 嵌入为 $\boldsymbol{v}_A$，注意力权重为 \(a_t = \frac{\exp(\text{score}(e_t, \boldsymbol{v}_A))}{\sum_{j=1}^T \exp(\text{score}(e_j, \boldsymbol{v}_A))},\quad \boldsymbol{v}_U = \sum_{t=1}^T a_t e_t.\) 用户表示 $\boldsymbol{v}_U$ 是加权和，与候选相关的历史获得更大权重，实现「候选相关」的兴趣表达。

二、激活单元 (Activation Unit) 的动机

动机：简单内积 $\text{score}(e_t,\boldsymbol{v}_A)=e_t^\top \boldsymbol{v}_A$ 表达能力有限，无法刻画「行为 item 与候选 item 在多种维度上的复杂匹配」（如类目、品牌、价格等）。引入 Activation Unit (AU) 做一个小型前馈网络，输入为行为与候选的拼接及外积等，输出标量分数： \(\text{score}(e_t, \boldsymbol{v}_A) = \boldsymbol{w}^\top \sigma\bigl(W [e_t; \boldsymbol{v}_A; e_t \odot \boldsymbol{v}_A] + \boldsymbol{b}\bigr).\) 其中 $[e_t;\boldsymbol{v}_A; e_t\odot\boldsymbol{v}_A]$ 提供拼接 + 逐元素乘积，增强交互；$\sigma$ 常用 PReLU。这样模型能学习「在什么维度上、多大程度上相关」，而不是单一内积。

三、工程要点

• 序列通常按时间倒序，近期行为更靠前；训练时用候选 item 作为 query，历史行为作为 key/value。
• 为控制序列长度与计算量，常对历史做截断或池化（如 sum pooling 前先乘 $a_t$）；线上可对用户侧预计算 embedding，候选侧实时算 attention 得到 $\boldsymbol{v}_U$。

---

面试要点

• 能写出 DIN 的注意力权重公式及用户向量 $\boldsymbol{v}_U = \sum_t a_t e_t$，并说明「与候选相关」的局部注意力动机。
• 能解释为何不用简单内积而用 Activation Unit：内积表达能力有限，AU 用 MLP + 拼接与外积，可学习多维度上的复杂匹配。
• 能简述 AU 的典型输入形式：$[e_t; \boldsymbol{v}_A; e_t \odot \boldsymbol{v}_A]$ 及在工业界序列长度、预计算等方面的工程处理。

---

记忆要点

• DIN 注意力：$a_t \propto \exp(\text{score}(e_t,\boldsymbol{v}_A))$，$\boldsymbol{v}_U = \sum_t a_t e_t$；候选相关历史权重大。
• 激活单元 AU：用 MLP 对 $[e_t;\boldsymbol{v}_A; e_t\odot\boldsymbol{v}_A]$ 打分，替代内积，增强多维度匹配能力。
• 工程：历史序列截断、用户侧预计算、候选侧实时 attention。

返回模块

返回总览