引言

鉴于大模型推荐该领域的快速发展，我们继续整理了近期发表在KDD'24、RecSys'24、CIKM'24、ACL'24等顶会的相关文章，供读者速览领域最新研究进展。

论文速览

1. Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System (KDD'24)

论文链接：https://arxiv.org/pdf/2404.11343

协同过滤推荐系统在提升社交媒体和电商平台的用户体验方面表现出色。然而，这类方法在用户-商品交互稀疏的冷启动场景中表现不佳，近期的策略开始借助基于预训练模态编码器和大语言模型的用户/商品模态信息（如文本或图像）。尽管这些策略在冷启动场景下效果显著，但我们观察到，在有更多交互数据的温启动场景中，它们的表现不如传统的协同过滤模型。本文提出一种基于LLM的全方位推荐系统A-LLMRec，该系统不仅在冷启动场景下表现出色，在温启动场景下也同样出色。核心思想是使LLM能够直接利用预训练的协同过滤系统中包含的协同知识，从而共同发挥LLM的能力以及已经由协同过滤系统训练的高质量用户/商品嵌入。这种方法有两个优势：（1）模型无关性，允许与各种现有的协同过滤系统集成；（2）高效性，消除了通常需要大量微调的LLM推荐系统的调优过程。本文在各种真实数据集上的广泛实验表明，A-LLMRec在多种场景下表现优越，包括冷启动、温启动、少样本、冷用户和跨领域场景。除了推荐任务之外，本文还展示了A-LLMRec在基于协同知识理解生成自然语言输出的潜力，并通过一个最喜爱类型预测任务验证了这一点。

2. CoRAL: Collaborative Retrieval-Augmented Large Language Models Improve Long-tail Recommendation (KDD'24)

论文链接：https://arxiv.org/pdf/2403.06447

由于数据稀疏性和数据不平衡问题，长尾推荐对传统推荐系统来说是一项具有挑战性的任务。最近大型语言模型的发展展示了它们在复杂推理方面的能力，这可以帮助基于极少的先前交互来推断用户的偏好。然而，由于大多数基于LLM的系统仅依赖于物品语义作为推理的唯一依据，忽略了用户与物品交互的协同信息，这可能导致LLM的推理与数据集中特定任务的协同信息不一致。为进一步将LLM的推理与特定任务的用户-物品交互知识对齐，本文引入了协同检索增强的LLM（CoRAL），该方法直接将协同证据融入提示中。基于检索到的用户-物品交互，LLM可以分析用户之间的共同和独特偏好，并总结出哪些类型的用户会被特定物品吸引的模式。检索到的协同证据提示LLM将其推理与数据集中用户-物品交互模式对齐。然而，由于输入提示的容量有限，找到推荐任务的最小充分协同信息是一个挑战。本文提出通过顺序决策过程找到最优交互集，并通过强化学习框架开发了检索策略CoRAL。实验结果表明，CoRAL可以显著提高LLM在特定推荐任务上的推理能力。本文分析还揭示了CoRAL可以通过强化学习更高效地探索协同信息。

3. RecExplainer: Aligning Large Language Models for Explaining Recommendation Models (KDD'24)

论文链接：https://arxiv.org/pdf/2311.10947

推荐系统广泛应用于在线服务中，基于嵌入的模型由于其在表示复杂信号方面的表现力而特别受欢迎。然而，这些模型通常像一个黑箱，使其对用户和开发者来说缺乏透明性和可靠性。近年来，大型语言模型在理解、推理和执行指令方面展现出非凡的智能。本文介绍了将LLMs作为替代模型来解释黑箱推荐模型的初步探索。其核心概念是训练LLMs来理解并模拟目标推荐模型的行为。通过利用LLMs自身广泛的世界知识和多步推理能力，这些对齐的LLMs可以作为高级替代模型，能够对观察结果进行推理。此外，使用自然语言作为接口，可以创建可定制的解释，适应个别用户的偏好。为了实现有效的对齐，本文提出了三种方法：行为对齐、意图对齐和混合对齐。行为对齐在语言空间中运行，将用户偏好和物品信息表示为文本，以模拟目标模型的行为；意图对齐在推荐模型的潜在空间中工作，利用用户和物品的表示来理解模型的行为；混合对齐结合了语言空间和潜在空间。基于三个公共数据集的综合实验表明，本文方法在理解和模拟目标模型方面取得了有前景的结果，生成了高质量、高保真且具有差异性的解释。

4. Towards Open-World Recommendation with Knowledge Augmentation from Large Language Models (RecSys'24)

论文链接：https://arxiv.org/pdf/2306.10933

推荐系统在各种在线服务中发挥着至关重要的作用。然而，在特定领域内独立训练和部署的封闭性限制了它们获取开放世界知识的能力。大型语言模型展示了在弥合这一差距方面的潜力，因为它们能够编码广泛的世界知识并展示推理能力。然而，以前尝试直接将LLMs用作推荐器的效果并不理想。这项工作提出了一种基于大型语言模型的开放世界知识增强推荐框架，简称KAR，以从LLMs中获取两种类型的外部知识——用户偏好的推理知识和关于物品的事实知识。本文引入了因子化提示来引出对用户偏好的准确推理。生成的推理和事实知识通过一个混合专家适配器被有效转化和压缩为增强向量，以便与推荐任务兼容。然后，这些获得的向量可以直接用于增强任何推荐模型的性能。本文还通过预处理和预存来自LLM的知识来确保高效推理。大量实验表明，KAR显著优于最先进的基线模型，并且与广泛的推荐算法兼容。作者将KAR部署到华为的新闻和音乐推荐平台，在在线A/B测试中分别获得了7%和1.7%的改进。

5. Scaling Law of Large Sequential Recommendation Models （RecSys'24）

论文链接：https://arxiv.org/pdf/2311.11351

神经网络的扩展最近在各个领域展示了巨大的潜力，能够提升模型的能力。具体来说，模型性能与模型规模或数据规模呈现出幂律关系，这为大规模模型的发展提供了重要指导。然而，对于推荐系统中用户行为模型的扩展效应的理解仍然有限，因为数据稀缺和稀疏等独特的数据特性在推荐任务中对探索扩展效应提出了新的挑战。本文专注于研究大规模序列推荐模型的扩展规律。特别考虑了一种纯基于ID的任务形式，在这种形式下，用户的交互历史被格式化为一个按时间顺序排列的物品ID序列。作者没有结合任何附加信息（如物品文本），希望从用户行为的角度探索扩展规律的适用性。通过特别改进的策略，作者将模型规模扩大到8亿个参数，从而能够在各种不同规模的模型中探索扩展效应。主要的研究发现表明，即使在数据受限的情况下，这些训练过的模型仍然遵循扩展规律。本文还拟合了扩展规律的曲线，并成功预测了两个最大测试模型规模的测试损失。在五个具有挑战性的推荐任务中检验了扩展效应的性能优势，考虑了推荐系统中的独特问题（如冷启动、鲁棒性、长期偏好）。扩大模型规模可以极大地提升这些具有挑战性的任务的性能，这再次验证了大规模推荐模型的优势。

6. EmbSum: Leveraging the Summarization Capabilities of Large Language Models for Content-Based Recommendations （RecSys'24）

论文链接：https://arxiv.org/pdf/2405.11441

内容推荐系统在为用户提供个性化内容方面起着至关重要的作用。本文介绍了一个新颖的框架EmbSum，能够在线下预先计算用户和候选物品，同时捕捉用户参与历史中的互动。通过利用预训练的编码器-解码器模型和多重注意力层，EmbSum生成用户多重嵌入和内容多重嵌入，以计算用户和候选物品之间的相关性得分。EmbSum通过生成用户兴趣摘要，并在大型语言模型的监督下进行学习，从而有效地学习用户的长期参与历史。EmbSum在两个来自不同领域的数据集上进行了验证，表现出了比最先进的方法更高的准确性和更少的参数量。此外，该模型生成用户兴趣摘要的能力作为一种有价值的副产品，进一步增强了其在个性化内容推荐中的实用性。

7. Distillation Matters: Empowering Sequential Recommenders to Match the Performance of Large Language Models (RecSys'24)

论文链接：https://arxiv.org/pdf/2405.00338

由于其强大的语义推理能力，大型语言模型已被有效地用于推荐系统，并取得了显著的性能。然而，LLMs的高推理延迟大大限制了其实际部署。为了解决这个问题，本文研究了将基于LLM的复杂推荐模型的知识蒸馏到轻量级的传统序列模型中。本文遇到了三个挑战：1) 教师模型的知识可能并不总是可靠的；2) 教师和学生模型之间的容量差距使得学生难以吸收教师的知识；3) 语义空间的差异使得从嵌入中提取知识变得具有挑战性。为了解决这些挑战，本文提出了一种新颖的蒸馏策略，名为DLLM2Rec，专门用于从基于LLM的推荐模型向传统序列模型进行知识蒸馏。DLLM2Rec包括：1) 基于重要性的排序蒸馏，通过根据教师模型的信心和师生一致性为实例加权，过滤出可靠且对学生模型友好的知识；2) 协作嵌入蒸馏，将教师嵌入的知识与从数据中挖掘的协作信号整合在一起。广泛的实验表明，所提出的DLLM2Rec策略的有效性，使得三种典型的序列模型的性能平均提升了47.97%，甚至在某些情况下使其超过了基于LLM的推荐系统。

8. Large Language Models as Evaluators for Recommendation Explanations (RecSys'24)

论文链接：https://arxiv.org/pdf/2406.03248

本文探讨了推荐系统的可解释性问题。尽管已经做出了许多关于可解释推荐的努力，但评估解释质量仍然是一个具有挑战性和未解决的问题。近年来，利用大语言模型（LLMs）作为评估工具在自然语言处理任务中表现出良好的前景（例如情感分类、信息提取），因为它们在遵循指令和常识推理方面表现强劲。然而，评估推荐解释文本与这些自然语言生成任务不同，因为其标准与人类感知相关，并且通常是主观的。本文研究了LLMs是否可以作为推荐解释的评估工具。为了解决这个问题，作者利用了来自以往工作的真实用户反馈，并额外收集了第三方注释和LLM评估。作者设计并应用了一个三级元评估策略，以测量评估标签与用户提供的真实信息之间的相关性。实验结果表明，像GPT-4这样的LLM可以通过适当的提示和设置提供与用户标签相当的评估结果。作者还进一步探讨了将人类标签与LLM评估过程相结合，以及利用多种异质LLM评估器的组合来提高评估的准确性和稳定性。研究验证了利用LLMs作为评估工具可以成为一种准确、可重复且成本有效的解决方案，用于评估推荐解释文本。

9. Large Language Models Enhanced Collaborative Filtering (CIKM'24)

论文链接：https://arxiv.org/pdf/2403.17688

大型语言模型的进展引起了研究人员的广泛兴趣，他们希望利用这些模型来增强推荐系统。现有的工作主要利用LLMs生成富含知识的文本，或将LLM衍生的嵌入作为特征来改进推荐系统。尽管LLMs中嵌入的广泛世界知识通常有助于推荐系统，但其应用只能接受有限数量的用户和物品作为输入，无法充分利用协同过滤信息。考虑到协同过滤在推荐系统中的关键作用，利用LLMs增强推荐系统的一个主要挑战在于如何通过LLMs提供更好的协同过滤信息。本文从LLMs的上下文学习和链式思维推理中获得灵感，提出了大型语言模型增强的协同过滤（LLM-CF）框架，该框架将LLMs的世界知识和推理能力提炼到协同过滤中。作者还探索了一种简洁且高效的指令调优方法，在不降低LLM基准性能的前提下，提升了LLMs的推荐能力。基于三个真实世界数据集的全面实验表明，LLM-CF显著增强了多个基础推荐模型，并持续优于竞争性基线，展示了其在将LLM的世界知识和推理能力提炼到协同过滤中的有效性。

10. Aligning Large Language Models for Controllable Recommendations (ACL'24)

论文链接：https://arxiv.org/pdf/2403.05063

受到大型语言模型卓越的通用智能启发，研究人员开始探索将其应用于开创下一代推荐系统，这些系统具有对话性、可解释性和可控性。然而，现有文献主要集中于将领域特定的知识整合到LLMs中，以使用固定的任务模板提高准确性，往往忽视了推荐任务的多样性以及LLMs遵循推荐特定指令的能力。为了解决这一问题，本文首先引入了一系列监督学习任务，这些任务通过来自传统推荐模型的标签增强，旨在显著提高LLMs在遵循推荐特定指令方面的能力。其次，本文提出了一种基于强化学习的对齐过程，以增强LLMs的泛化能力。在两个真实世界的数据集上进行的大量实验表明，本文方法显著提高了LLMs在推荐系统中响应指令的能力，减少了格式错误，同时保持了高水平的准确性。

由于公众号试行乱序推送，您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容， 请将本号设为星标，以及常点文末右下角的“在看”。