推荐系统已成为我们数字生活不可或缺的一部分。大模型（LLM）因其强大的泛化能力和推理能力成为提升推荐系统的基石，导致了推荐领域范式的转变。近日，吉林大学人工智能学院联合香港理工大学、悉尼科技大学以及 Meta AI 的研究团队，对基于大模型（LLM）的推荐系统进行了深入调研与系统梳理，并将研究成果整理成一篇全面的综述文章。
作者：张长旺，图源：旺知识
现有大语言模型驱动的推荐综述更多沿用NLP社区的LLM技术分类方式或仅根据推荐场景对相关工作进行总结。与现有工作不同，该综述引入一种更根源于推荐本质的新颖分类法，深入研究了基于大模型推荐系统的应用及其工业实现。具体来说，文章中提出了一个三层结构，更准确地反映了推荐系统从研究到实际落地部署的发展过程，包括表征和理解、规划和利用以及工业部署。这是首个讨论基于LLM的推荐系统从学术研究到工业应用之间差距的综述，深入探讨了这一领域的挑战与机遇，为推动大模型在推荐系统中的研究与实践融合提供了重要参考。
论文题目：Towards Next-Generation LLM-based Recommender Systems: A Survey and Beyond
作者机构：吉林大学、香港理工大学、悉尼科技大学、Meta AI
论文地址：https://arxiv.org/abs/2410.19744
项目地址：https://github.com/jindongli-Ai/Next-Generation-LLM-based-Recommender-Systems-Survey
具体地，文章提出了一个三层结构，更准确地反映了推荐系统从研究到实际落地部署的发展过程，包括表征和理解、规划和利用以及工业部署。如下图所示，表征和理解是为了更好地规划和利用，最终实现工业部署。
一、表征与理解（Representing and Understanding）
随着大模型的出现，推荐系统正从传统的封闭方法论向更开放和动态的框架转变。这些模型不仅提升了推荐系统生成推荐结果的能力，还改进了用户和项目表示等中间过程的效果。在这一不断演变的领域中，表征和理解显得尤为重要。
表征（Representing）指的是创建用户和项目的细致、语义化表示，可分为单模态和多模态方法。
单模态推荐（Uni-Modality Recommendation）：侧重于利用用户-项目交互，使用图数据（graph data）对这些交互进行建模，并偶尔用文本信息对其进行补充，以完善对用户偏好和项目属性的理解。
多模态推荐（Multi-Modality Recommendation）：通过集成来自多个来源或多种模态的数据，以提供更加丰富和全面的用户和项目表示。这种扩展利用了不同数据源的可用性，可以更丰富地了解用户偏好和商品属性，从而提供更全面、更灵活的推荐策略。
理解（Understanding）则关注于阐明推荐背后的理由，目前推荐系统的解释方法可以根据推荐过程的阶段大致分为推荐前解释和推荐后解释。
推荐前解释（Pre-Recommendation Explanations）：该范式强调在推荐过程之前对项目进行解释，为考虑每个项目被推荐的原因提供清晰理由，利用LLM生成透明且可解释的中间见解并进行推理整合，帮助在最终决策前更好地理解推荐依据。
推荐后解释（Post-Recommendation Explanations）：在此范式中，在做出具体推荐后生成解释，使用户能够理解为什么推荐某些项。需确保解释信息丰富且个性化，贴合用户偏好和具体上下文。
二、规划和利用（Scheming and Utilizing）
LLM的出现为推荐系统引入了一种新范式，引发了关于如何有效地将LLM整合到推荐框架中的广泛研究。该领域的研究可分为基于LLM的非生成式推荐和基于LLM的生成式推荐方法，这取决于推荐框架是否需要为每个候选对象计算评分来确定推荐项目。下图展示了这些方法与传统推荐系统之间的区别。
基于LLM的非生成式推荐（Non-Generative LLM-based Recommendation）：基于LLM的非生成式推荐是一种利用LLM提升传统推荐任务的范式，将LLM的自然语言理解能力融入推荐过程。与生成型方法不同，非生成型LLM方法并不直接以自然语言输出作为推荐结果，而是通过利用LLM的语义理解来提高推荐模型的准确性和相关性。这些方法通常涉及多阶段过程，其中LLM在特定阶段（如特征丰富化或排序）中起到重要作用。
基于LLM的生成式推荐（Generative LLM-based Recommendation）：基于LLM的生成式推荐是一种利用LLM执行推荐任务的范式，通过将推荐任务转化为自然语言任务来实现推荐。该方法允许生成式推荐，系统直接生成推荐的项目，而不是像传统推荐模型那样为每个候选项目计算排序分数。这种方法通常简化了推荐过程，将多阶段筛选流程转化为单阶段生成过程。
为了更清晰地理解LLM在这些框架中的应用，下图进一步将这些方法分为两种主要策略：LLM再训练和LLM重用，图中(a) (b) (c)属于LLM再训练方法，(d) (e) (f) 则属于LLM重用方法。
LLM再训练（LLM Retraining）：LLM再训练指的是修改预训练大模型的参数，以使其适应特定的推荐任务。这可能涉及微调等技术，使LLM的知识与推荐系统的特定特征和数据保持一致。再训练的目标是根据任务的领域特定需求调整LLM的能力，增强推荐的个性化、准确性和有效性。
LLM重用（LLM Reusing）：LLM重用指的是在不改变或仅对参数进行最小修改的情况下，利用预训练大模型。该策略利用LLM现有能力和知识，重点优化模型在推荐系统中的应用方式。此类别下的方法通常涉及调整输入、输出或中间处理阶段的方式，而不改变LLM的核心参数。LLM重用特别有利于保持计算效率和原始模型的泛化能力，同时提高推荐性能。
三、工业部署（Industrial Deploying）
在大规模工业环境中部署基于LLM的推荐系统涉及多个关键方面。本节将探讨基于LLM的推荐系统的主要关注领域，包括其在大规模工业场景中的方法、加速、冷启动、动态更新的实现，以及满足各种业务定制需求。通过关注这些关键领域，可以更好地理解基于LLM的推荐系统在实际工业部署中的当前进展和实践考量。下表列出了可在工业中部署落地的代表性工作。
大规模工业场景（Large-Scale Industrial Scenarios）：大规模工业应用中，由于数据量庞大、业务需求动态变化，部署基于LLM的推荐系统更加复杂。大模型通常作为组件集成以提升性能，但训练和推理的高资源需求使大规模部署更具挑战性。
加速（Acceleration）：在基于LLM的推荐系统领域，加速技术对于优化性能和减少延迟至关重要。鉴于LLM所需的大量计算资源，提高其部署效率显得尤为重要。
冷启动（Cold Start）：冷启动是推荐系统中最具挑战性的问题之一。LLM拥有广泛的世界知识，能够更好地理解产品描述中的语义信息以及以文本形式描述的用户偏好信息。因此，整合LLM有可能缓解冷启动问题。
动态更新（Dynamic Update）：在工业环境中，动态更新对于基于LLM的推荐系统至关重要，通过持续适应新的用户行为、内容和趋势，确保推荐的相关性和准确性。这一能力不仅提升了推荐效果，还使企业能快速响应用户行为变化，保持竞争力并优化用户参与度。
业务定制需求（Business Customization Requirements）：在工业应用中，推荐系统需要根据不同企业的独特需求进行定制，统一的方法不足以满足这些需求。针对特定场景、用户行为和领域知识的可定制模型对优化性能和实现业务目标至关重要。
四、挑战与机会（Challenges and Opportunities）
将大模型整合到推荐系统中，具有革新推荐生成方式的潜力，能够利用海量数据和复杂的上下文理解，为用户提供高度个性化的建议。然而，这一演变也伴随着一系列需要谨慎对待的挑战。在本节将讨论这些挑战和机遇。下图展示了各种挑战之间的关系及其对用户、行业、技术和社会的影响。
校准（Calibration）：基于用户偏好的相对强度校准推荐系统，使推荐结果更符合用户实际兴趣。
时间动态（Temporal Dynamics）：通过时间建模适应用户偏好变化，增强推荐的及时性与个性化。
可扩展性（Scalability）：实现系统在高数据量和用户互动下的稳定性，通过横向和纵向扩展支持高效处理。
效率（Efficiency）：优化计算资源和成本以提升推荐系统的计算、操作、能源效率，确保持续高效运行。
多模态推荐场景（Multimodal Recommendation Scenarios）：整合多模态数据增强个性化和推荐的多样性，提高用户参与度。
用户隐私与数据安全（User Privacy and Data Security）：通过数据保护和访问控制措施确保用户数据安全，增强用户信任。
交互性和反馈回路（Interactivity and Feedback Loop）：通过实时反馈和可调设置增强用户参与和体验个性化。
伦理道德（Ethics）：通过公平、透明和负责任的AI操作建立用户信任，建立信任并实现负责任的操作和积极的社会影响。
公平性（Fairness）：确保推荐系统对不同群体公平对待，减少偏见以支持伦理实践。
五、总结与展望
这篇综述全面回顾了LLM推荐系统领域的最新进展，并讨论了这些系统面临的挑战。特别是，该文章引入了一种新的分类法，为理解LLM在推荐系统中的集成及其在工业中的部署提供了结构化的方法。该分类法组织为一个三层框架，涵盖了从理论研究到实践应用的演进。每一层都建立在前一层的基础上，通过表示和理解来增强规划和利用的能力，从而推动推荐系统的工业部署。
下图中总结了从各类会议和期刊收集的基于LLM的推荐系统文章，可以观察到一个有趣的趋势：尽管大多数关于基于LLM推荐系统的论文强调生成式推荐，但大多数研究仍然遵循传统推荐流程，将LLM作为技术组件使用。
未来的研究应深入探索LLM卓越的文本理解和生成能力，以释放真正生成式推荐的潜力，致力于提升技术性能、伦理标准以及新方法，以提高基于LLM的推荐系统的效率和安全性，使其更加适应用户需求，造福用户和社会。
作者：张长旺，图源：旺知识
