LLM 在可解释推荐领域的应用
一、简介
大语言模型（LLM）在推动可解释推荐系统的发展中发挥了关键作用。它们具备强大的自然语言处理和生成能力，能够理解复杂的用户行为和项目特征，并将其转化为类人解释。LLM模型的加入使得推荐系统不仅能够提供个性化的推荐，还能够为用户提供透明、直观的解释，增强用户对系统决策过程的信任感。同时，LLM可以通过分析用户-项目交互数据，生成针对不同用户偏好和行为模式的定制化解释，能够有效提升推荐的个性化程度和用户满意度。本文分享两篇相关的研究：XRec和GaVaMoE,旨在介绍LLM在推动可解释推荐发展可以采用的一些方法。
二、 GaVaMoE: Gaussian-Variational Gated Mixture of Experts for Explainable Recommendation
基于大语言模型的可解释推荐系统（LLM-based ER）在生成类人解释方面展现出潜力，但在建模用户-项目协作偏好、个性化解释和处理稀疏用户-项目交互方面面临挑战。为了解决这些问题，该论文提出了GaVaMoE——一种新颖的高斯变分门控专家框架。在GaVaMoE中包括两个关键组件：评分重建模块和多门控专家混合模型。通过对三个真实世界数据集的广泛实验表明，GaVaMoE在解释质量、个性化和一致性方面显著优于现有方法。
2.1 整体框架
GaVaMoE的架构由N个堆叠的GaVaMoE模块（如上图）组成，每个模块包含两个关键组件：(1) VAE-GMM用于评分重建，利用变分自编码器（VAE）和高斯混合模型（GMM）重建用户-项目评分，捕捉协作信号并对具有相似偏好的用户进行聚类；(2) 多门控专家混合模型，采用多门控机制将用户-项目对路由到适当的细粒度专家进行解释生成。从模型训练角度来看，GaVaMoE分为两个阶段：评分重建训练，专注于学习用户-项目的协作偏好和聚类；接着是解释生成训练，利用学习到的表示生成个性化的解释。
2.2 VAE-GMM for Rating Reconstruction
VAE-GMM用于评分重建部分结合了变分自编码器（VAE）和高斯混合模型（GMM），旨在有效捕捉用户-项目交互中的复杂协作偏好。首先，VAE通过编码器将用户和项目的输入映射到潜在空间，生成潜在表示的均值和方差。通过重参数化技巧，从潜在分布中采样得到潜在变量。GMM用于对用户进行聚类，假设用户-项目对的嵌入遵循混合高斯分布，从而将相似行为的用户分组。该模型不仅能够重建用户的评分，还能通过聚类信息为后续的个性化解释生成提供支持，增强系统在处理稀疏数据时的表现。
2.3 Multi-gating Mixture of Experts
该部分引入了一种动态的多门控机制，旨在根据用户的聚类信息高效地路由用户-项目对到最合适的专家模型。该机制基于VAE-GMM阶段获得的用户聚类结果，为每个聚类分配一个特定的门，确保每个用户-项目对都能被引导到最相关的专家进行解释生成。通过计算输入样本在各个聚类中的概率，系统能够识别出最可能的聚类，从而激活相应的专家。这种设计不仅提高了个性化和效率，还使得GaVaMoE能够为不同用户群体生成更具针对性和上下文相关的解释，尤其是在用户交互历史有限的情况下，依然能够提供高质量的推荐和解释。
2.4 实验效果
GaVaMoE模型在Amazon、TripAdvisor和Yelp数据集上均优于其他解释生成方法，尤其在BLEU、ROUGE、Distinct和BERTScore等指标上表现突出，
三、XRec: Large Language Models for Explainable Recommendation
推荐系统帮助用户应对信息过载，通过提供与用户偏好相符的个性化推荐。协作过滤（CF）作为一种广泛采用的方法，尽管图神经网络（GNN）和自监督学习（SSL）等先进技术已增强了CF模型的用户表示能力，但它们仍缺乏对推荐项目提供解释的能力。本研究利用大语言模型（LLMs）的语言能力，提出了一种名为XRec的模型框架，使LLMs能够为推荐系统中的用户行为提供全面的解释。
3.1 整体架构
XRec的整体架构包括以下三个主要组件：协作关系标记器（Collaborative Relation Tokenizer）、协作信息适配器（Collaborative Information Adapter）以及将协作过滤与LLM统一（Unifying CF with LLM），通过这三个组件的协同工作，XRec能够有效地理解用户偏好并生成全面的推荐解释。
3.2 各组件介绍
3.2.1 .协作关系标记器
该模块是XRec架构中的关键组件，它利用图神经网络（GNNs）将复杂的用户-物品关系转化为潜在嵌入。这一过程通过捕捉用户与物品之间的高阶交互信息，能够有效地反映用户偏好和行为模式，从而为后续的推荐和解释生成提供丰富的上下文信息，通过这种方式，协作关系标记器为理解用户行为和提升推荐系统的可解释性奠定基础。
3.2.2.协作信息适配器
该模块是XRec框架中的一个轻量级组件，旨在将协作信号有效整合到大语言模型（LLMs）中。它通过接收来自协作关系标记器的潜在嵌入，增强LLMs对用户行为的理解能力。该适配器的设计使得模型能够更好地捕捉用户与物品之间的复杂交互模式。
3.2.3.协作过滤与LLM统一
该模块直接将协作过滤的洞察整合到LLM中，这一过程通过引入特定的标记和嵌入，使得模型能够在生成推荐时充分利用用户与物品之间的协作关系。通过这种整合，LLM不仅能够提供准确的推荐，还能生成有深度的解释，帮助用户理解推荐背后的原因。
3.3 实验结果
XRec框架在解释性和稳定性方面表现优异，尤其在GPTScore、BERTScore等指标上均取得了最高分，在不同场景下能够保持良好的性能，优于其他基线模型，验证了其在可解释推荐系统中的有效性。
XRec实验结果
四、总结
本文主要介绍了 XRec和 GaVaMoE两项研究，它们分别在不同维度上拓展了 LLM 在推荐系统中的应用，展示了 LLM 如何在推荐系统中提供个性化解释、提升用户满意度，并显著推动推荐领域的发展。未来的研究可以继续探索 LLM 与推荐系统的集成，进一步提升推荐效果和解释质量，同时解决现有系统在计算复杂度和通用性方面的挑战。
