论文：dl.acm.org/doi/10.1145/3626772.365778
推荐系统已经被广泛应用于各种在线平台。在序列推荐的背景下，准确捕捉用户活动中的时间模式以生成相关推荐至关重要。传统的基于id的序列推荐模型已经展示了出色的推荐能力，但其缺点就是缺乏关于物品侧的全面现实知识，这限制了它们的有效性；大语言模型的最新进展提供了通过利用大模型中封装的广泛现实世界知识来弥合这一差距的潜力。
然而，尽管这些方法具有访问现实世界知识的优势，并在一些少样本设置中产生了较好的结果，但仍未超过传统的基于id的推荐方法的精度和效率。这种大模型-推荐范式的局限性可能归因于几个关键缺点，包括:(i)物品id中包含的序列模式和协作信号的表示不足。 如前所述，提示中的每一项都使用其文本元数据进行编码，如标题和描述。虽然有效地利用了大模型的语言能力，但这未能充分捕捉物品id中包含的用户序列行为模式和协同信息。(ii)较长的推理延迟。 大模型固有的大量参数使得它们直接应用于推荐系统对于现实世界的工业使用非常不切实际。
本文旨在通过整合大模型庞大现实世界知识的存储和推理能力，来增强传统的基于id的序列推荐模型。通过这样的方式，旨在同时实现序列推荐的有效性和效率性。然而，尽管大模型具有非常强的世界知识，但从大模型中提取相关和有益的知识并非易事。主要挑战来自于大模型中包含的广泛和多样化的信息，这些信息可能会引入不利于推荐系统性能的噪声。
为缓解这一问题，关键是将大模型生成的知识定制为序列推荐任务的特定需求。考虑电影推荐的背景:关于电影制作中使用的摄像机的复杂技术规格的增强知识对大多数用户来说可能没有什么价值，并可能导致推荐系统中的噪声。相比之下，提供用户观看列表的电影主题摘要，如“他/她喜欢人们之间的复杂关系”，可以对用户偏好建模产生更大的影响。因此，将大模型生成的知识与序列推荐任务的目标进行对齐，对于有效的知识增强至关重要。
为应对上述挑战，本文提出了一种从对齐的大语言模型中增强知识来增强序列推荐器的方法SeRALM。SeRALM是一种与模型无关的方法，它将大模型与传统的基于id的序列推荐器相匹配，从而实现序列推荐任务的针对性应用。通过这种对齐，大模型产生与上下文相关的有益知识，从而增强推荐过程。将大模型生成的文本格式知识与物品id相结合，并将它们提供给基于id的传统序列推荐模型。这种融合利用了大模型提供的丰富的现实世界知识，同时保持基于id的序列推荐模型在捕获序列行为模式和协同信号方面的优势。此外，它通过在推荐阶段之前预先生成大模型衍生的知识，从而避免了推理延迟问题，从而消除了推荐需要等待耗时的大模型生成的需要。
具体的，本文首先设计了一个提示模板来提取关于物品的知识，其中包括物品描述和反映用户偏好的特征。文本格式的增强知识和物品id都被输入到基于id的序列推荐器中以产生推荐。为了进一步使大模型与基于id的推荐算法在序列推荐任务中保持一致，使用基于id的推荐模型的输出和实际用户的交互物品的反馈对大模型进行微调，以更好地增强知识。另外，本文还开发了一种异步技术来加速集成大模型和基于id的推荐模型的对齐训练，从而提高训练效率。
在公开数据集上的实验结果表明，SeRALM显著提高了基于id的传统序列推荐算法的性能。另外，消融实验和分析证实了SeRALM在指导大模型在不同场景中产生更有针对性和优势的知识方面的优势。
更多技术细节请阅读原始论文。
欢迎干货投稿 \ 论文宣传 \ 合作交流
推荐阅读
由于公众号试行乱序推送，您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容， 请将本号设为星标，以及常点文末右下角的“在看”。
由于公众号试行乱序推送，您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容， 请将本号设为星标，以及常点文末右下角的“在看”。
