字节HLLM:在推荐系统落地User-Item分层的LLM方案

标题: HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling
地址: https://arxiv.org/pdf/2409.12740
公司: 字节
代码: https://github. com/bytedance/HLLM

1. 前言

基于ID的推荐系统一般都是Embedding参数量很大而模型参数量较小,这种ID-based的模型主要存在两个问题:

• 冷启乏力: 严重依赖ID特征导致在冷启动场景中表现不佳
• 能力欠佳: 相对浅层的网络模型难以建模复杂且多样的用户兴趣

随着近年来LLM的突破性进展, 业界也在不断探索LLM在推荐系统中的应用, 这里大概可以分成三类:

• 信息增强: 利用LLM为推荐系统提供一些精细化的信息, 例如做Item的特征增强
• 对话式处理: 将推荐系统转换为与LLM兼容的对话驱动形式
• 直接输入ID: 修改LLM不再仅处理文本输入/输出, 比如直接输入ID特征给LLM

当前, LLM4Rec还面临着一些挑战, 比如在处理相同时间跨度的用户行为序列时, 使用文本作为输入的LLM要比ID-based方法需要处理更长的序列长度, 且计算复杂度更高。此外, 基于LLM的方法远没有其它领域那么显著的提升。

作者提出, 关于LLM4Rec还有三个关键问题还需要再探索的:

1. 预训练LLM权重的真正价值: LLM大规模预训练本质上是在做一个世界知识的压缩, 其权重蕴含着世界知识, 但使用大规模推荐数据训练时, 这些权重的真正价值还尚未挖掘。
2. 有必要对推荐任务进行微调吗? 还不清楚进一步使用推荐任务微调是否有收益。
3. LLM在推荐场景中能否呈现Scaling Law? 在更大规模的参数下, LLM4Rec是否也能像其它场景一样具有Scaling Law呢, 还未有结论。

基于此, 作者提出了Hierarchical Large Language Model(HLLM)方法，下面进行详细介绍。

2. 方法

HLLM的整体框架如下图所示, 分为Item LLM和User LLM。

2.1 Item LLM

Item LLM的作用是作为特征提取器, 如下图所示, 使用Item的标题、标签、描述的文本信息作为输入, 并在最后位置额外增加了一个特殊Token 。

最终的输入为, 其中为文本token的长度, 而特殊Token对应的输出则作为该Item的Embedding。

论文没有提及Item LLM具体的预训练方式, 但笔者觉得这个才是最核心的地方。论文后面的实验部分有提及说Item LLM要使用推荐目标做微调会更好, 但没说在这一阶段推荐数据如何构造, 推荐目标具体如何微调。如果只是next token prediction的训练微调, 那纯粹只是学习Item的语义信息, 笔者感觉效果可能不会很好。参考业界小红书NoteLLM使用共现笔记做GCL实现微调, 相比而言, 笔者更倾向于相信作者也做了类似的事情, 引入了推荐用户行为信号去做微调。这里有其它看法的小伙伴也欢迎留言讨论。

2.2 User LLM

User LLM的输入是用户历史交互序列, 前面的Item LLM就起到传统深度模型的Embedding Lookup Table的作用, 这样就将用户行为序列转化成。

然后, 再将这些Embedding作为输入, 进行Next Item Prediction, 预测下一位置的Item Embedding。这里User LLM对于Next Item Prediction的训练目标, 按照训练方式的差异, 可以分成生成式推荐与判别式推荐, 而HLLM同时使用了这两种。

2.2.1 生成式推荐训练方式

使用大模型自回归的训练方式, 使用InfoNCE来作为生成损失, 对于模型第位置输出的Embedding , 将第个位置输入的Embedding , 构成pair对()当作正样本:

其中, 是一个相似度函数, 表示第个用户用户序列第个位置Item所对应的Embedding, 表示由用户LLM为第个用户预测的第个位置的Embedding, 为负采样的数量, 表示第个负样本的Embedding, 表示Batch中的用户总数, 表示用户历史行为交互的长度

2.2.2 判别式推荐训练方式

判别式推荐的训练方式主要有两种: Early Fusion和Late Fusion, 作者在实际在落地使用的是Late Fusion。

1) Early Fusion

Early Fusion是将Target Item的Embedding 拼接在用户行为序列的最后, 再输入给User LLM, 然后再将对应位置的输出做分类预测。Early Fusion方式的优点是, Target Item可与用户行为序列在User LLM中进行充分的特征交叉, 它的效果一般会更好, 但效率较低。

2） Late Fusion

Late Fusion首先在用户行为序列的最后拼接一个特殊Token , 类似Item LLM的方式, 再使用User LLM编码用户行为序列, 提取得到用户的Embedding(即位置对应的输出), 再将其与拼接起来去预测分类。Late Fusion在后期再实现特征交叉, 效果一般会差一些, 但在推理时效率更高。比如当Prediction Head是使用内积去计算User Embedding与Target Item的Logit时, 那Late Fusion的User LLM就是一个双塔模型, 就可以直接使用向量索引做召回。

对于预测部分, 它是个二分类问题，训练损失函数如下：

其中，表示训练样本的Label, 表示预测的logit。

2.2.3 整体训练Loss

这里, 作者同时使用生成式和判别式的损失, 将它们做加权融合:

其中, 是生成式辅助Loss的权重系数。

此外, 可能有读者会有疑惑, User LLM和Item LLM是联合训练的吗。笔者认为它们是独立训练的, 这里主要原因是不具备联合训练的条件, Item LLM的输入为Item的文本描述, 而User LLM的输入为各Item的Embedding, End2End训练的话, 成本太高, 可能并不现实。

3. 实验部分

3.1 LLM预训练及推荐目标微调的作用

LLM有无预训练对推荐效果的影响 -> 结论:无论是Item LLM还是User LLM，基于预训练微调更好

预训练权重的质量与推荐效果的影响 -> 结论: 预训练使用的Token越多, 推荐效果越好, 此外, 增加对话场景的SFT对推荐场景并无收益。

使用推荐目标做微调的影响 -> 结论: 无论是Item LLM还是User LLM,都非常有必要使用推荐目标做微调。

3.2 HLLM是否具有Scaling Law

坦白说, 这部分实验做的没啥说服力, 看看就好。

Item LLM部分

User LLM部分

3.3 对比基线

整体效果

3.4 训练和 Serving 效率

与HSTU的对比, 结论: 仅需要1/6~1/4的数据就可达到HSTU的同等水平

推理时, 可使用Item Cache方法提效, 虽然效果会有一定下降, 但仍好于HSTU

3.5 线上AB

关键指标提升了0.705%.