sgr-interview-300

第 93 题:SSE-PT的个性化Transformer,用户嵌入与位置编码的融合?

题目

SSE-PT的个性化Transformer,用户嵌入与位置编码的融合?


完整讲解

一、SSE-PT 的个性化思路

SSE-PT(Stochastic Shared Embeddings for Parameter-efficient Transfer)在序列 Transformer 中引入用户级个性化:同一模型服务多用户,通过「用户嵌入」区分不同用户对同一序列的差异反应。序列输入为 item 嵌入 + 位置编码;用户信息通过用户嵌入注入,使同一序列在不同用户下得到不同表征。

二、用户嵌入与位置编码的融合方式

三、与位置编码的关系

位置编码提供「第几个」的序信息;用户嵌入提供「谁」的身份信息。二者同属加法型条件时,模型可学习到「某用户在某位置对某 item 的注意力」;若担心互相干扰,可采用分离注入(如用户只加在 [CLS]/最后一层)或门控融合,便于可解释性与调参。


面试要点


记忆要点

返回模块 返回总览