sgr-interview-300

第 42 题：DIEN的GRU with Attentional Update gate，兴趣演化的建模细节？

题目

DIEN的GRU with Attentional Update gate，兴趣演化的建模细节？

---

完整讲解

一、兴趣演化与 GRU 建模

DIEN (Deep Interest Evolution Network) 认为用户兴趣会随时间演化，而非静态池化。用两层结构：底层 Interest Extractor Layer 从行为序列得到兴趣序列 ${\boldsymbol{h}_1,\ldots,\boldsymbol{h}_T}$（常用 GRU）；顶层 Interest Evolving Layer 在兴趣序列上再跑 GRU，并引入与候选 item 相关的注意力来驱动演化，使最后隐状态更贴合当前候选。

二、GRU with Attentional Update gate (AUGRU)

标准 GRU 的更新门为 $u_t = \sigma(W_u [\boldsymbol{h}_{t-1}, \boldsymbol{x}_t])$，与候选无关。AUGRU 用注意力得分 $\tilde{a}_t$（由当前兴趣 $\boldsymbol{h}_t$ 与候选 $\boldsymbol{e}_A$ 算得）对更新门做调制： \(\tilde{u}_t = \tilde{a}_t \cdot u_t,\quad \boldsymbol{h}_t' = (1-\tilde{u}_t) \odot \boldsymbol{h}_t'^{cand} + \tilde{u}_t \odot \boldsymbol{h}_{t-1}'.\) 即：与候选越相关的历史兴趣，$\tilde{a}_t$ 越大，更新门越大，越倾向于保留当前步的隐状态（少被覆盖）；不相关的兴趣更新门被压低，隐状态更快演化掉。这样演化过程是「面向候选的兴趣演化」，最终 $\boldsymbol{h}_T’$ 既有时序信息又对齐候选。

三、注意力得分与损失

$\tilde{a}_t$ 通常由 $\boldsymbol{h}_t$ 与 $\boldsymbol{e}_A$ 经一个小网络或内积 + softmax 得到。辅助损失：用下一时刻真实行为（如 next item）作为正样本，当前兴趣 $\boldsymbol{h}_t$ 做预测，增加兴趣表示的判别性，避免兴趣向量退化成无关表示。

---

面试要点

• 能说清 DIEN 的两层：Interest Extractor（行为→兴趣序列）与 Interest Evolving（兴趣序列的演化），以及「演化要面向候选」的动机。
• 能写出 AUGRU 的核心式子：$\tilde{u}_t = \tilde{a}_t \cdot u_t$，并解释「相关兴趣保留、不相关兴趣被遗忘」的语义。
• 能简述辅助损失：用 next behavior 监督兴趣向量，提升兴趣表达的判别性。

---

记忆要点

• DIEN：兴趣抽取层（GRU）→ 兴趣演化层（AUGRU）；演化与候选 item 相关。
• AUGRU：$\tilde{u}_t = \tilde{a}_t \cdot u_t$；$\tilde{a}_t$ 大则多保留当前兴趣，小则多遗忘，实现面向候选的演化。
• 辅助损失：用下一行为监督兴趣，避免兴趣表示退化。

返回模块

返回总览