sgr-interview-300

第 80 题：低秩分解在推荐中的应用，Tucker分解 vs CP分解的效率比较？

题目

低秩分解在推荐中的应用，Tucker分解 vs CP分解的效率比较？

---

完整讲解

一、低秩分解在推荐中的动机

推荐模型里的大矩阵（如全连接层 $W \in \mathbb{R}^{m \times n}$、协同过滤矩阵、某些嵌入变换）往往低秩或近似低秩。用低秩分解 $W \approx U V^\top$，$U \in \mathbb{R}^{m \times r}$，$V \in \mathbb{R}^{n \times r}$，$r \ll \min(m,n)$，参数量从 $mn$ 降为 $(m+n)r$，计算也由一次大矩阵乘变为两次小矩阵乘，利于压缩与加速。

二、Tucker 分解 vs CP 分解

• CP 分解（CANDECOMP/PARAFAC）：张量 $\mathcal{X}$ 分解为若干秩 1 张量之和： \(\mathcal{X} \approx \sum_{r=1}^{R} \boldsymbol{a}_r \otimes \boldsymbol{b}_r \otimes \boldsymbol{c}_r.\) 参数量与 $R$ 和各模态维度之和成线性关系；存储与计算都较省，适合张量阶数高、各维规模大的场景；但表达能力受 $R$ 限制，且拟合非 CP 结构时可能需较大 $R$。

• Tucker 分解：$\mathcal{X} \approx \mathcal{G} \times_1 A \times_2 B \times_3 C$，$\mathcal{G}$ 为核张量，$A,B,C$ 为因子矩阵。更灵活，可对不同模态设不同秩（$r_1,r_2,r_3$），表达力强；但核张量 $\mathcal{G}$ 与各因子参数量相对 CP 更大，计算与存储成本更高。

三、效率比较与选用

• 效率：CP 参数量与计算量更小，适合极致压缩与快速推理；Tucker 表达力强，适合精度要求高、可接受更多参数的场景。
• 推荐场景：嵌入层后的变换、双线性层、序列建模中的低秩注意力等，可按「参数量-精度」需求选 CP（更省）或 Tucker（更准）；实际中 CP 与矩阵 SVD（$W=UV^\top$）在推荐里更常见，Tucker 多用于高阶张量（如多模态、多关系）。

---

面试要点

• 能写出低秩动机：$W \approx UV^\top$，参数量 $(m+n)r$，计算两次小矩阵乘。
• 能对比 CP 与 Tucker：CP 为秩 1 和，参数量小、省算力，表达受 $R$ 限；Tucker 有核张量+各模态因子，更灵活、表达强，但参数量与计算更大。
• 能说推荐中 CP/矩阵 SVD 常用，Tucker 多用于高阶张量。

---

记忆要点

• 低秩：$W\approx UV^\top$ 或张量 CP/Tucker，参数量与计算降。
• CP：秩 1 和，省参省算；Tucker：核+因子，表达强、成本高。
• 推荐：矩阵低秩/CP 常用；Tucker 用于高阶张量。

返回模块

返回总览