TLDR: 针对传统方法存在的难以区分困难样本和噪声样本的挑战，本文提出了一种名为LLMHD的新型去噪推荐方法。具体的，该方法由基于方差的样本剪枝、基于大模型的样本评分和迭代偏好更新三个关键模块构成。通过提出大模型增强的评分器来评估用户偏好与项目间的语义一致性，并据此评估样本难度。在大量实验中证明了LLMHD在提高推荐系统鲁棒性和准确性方面的有效性。
论文：https://www.arxiv.org/abs/2409.10343
隐式反馈数据通常用于推荐系统的训练当中，然而其不可避免地会因为误点击和位置偏差等因素而引入噪声问题。以往的研究试图通过识别表现出分歧模式的噪声样本（例如更高的损失值）并通过样本丢弃或重加权技术来减轻噪声。尽管这些方法取得了一定进展，本文观察发现现有的方法在区分困难样本和噪声样本上存在较大的困难，因为它们经常表现出类似的模式，从而限制了它们在去噪推荐中的有效性。
最近大模型已经展现出了理解用户偏好和增强项目语义的强大能力，这为解决困难样本识别的挑战提供了机会。本文认为，大模型可以用来总结用户偏好，并充当评分器来分析用户偏好和项目之间的一致性，从而通过产生的分数识别困难样本。例如，在使用贝叶斯个性化排序（BPR）目标优化模型时，大模型评分器可以有效评估正样本和负样本的用户偏好分数。因此，具有相似正面和负面分数的样本被精确地识别为困难样本，因为它们与旨在最大化分数差异的BPR训练目标本质上是不兼容的。这使得能够在去噪推荐系统训练中减轻困难样本的误分类问题。
然而，利用大模型来完成这项任务并非易事，主要是因为两个主要挑战。首先，鉴于用户和项目的庞大数量，评估所有用户对所有项目的偏好在计算上是密集型的，尤其是考虑到大模型高昂的推理成本。其次，尽管大模型可以通过推断交互项目来推导用户偏好，但历史交互中误报项目的存在可能导致用户偏好总结的偏差。
为了应对上述挑战，本文提出了一个大语言模型增强的困难样本去噪（LLMHD）框架用于推荐系统，该框架包括三个关键模块：基于方差的样本剪枝、基于大模型的样本评分和迭代偏好更新。
为确保效率，本文首先引入了一种基于方差的剪枝策略，逐步选择一小部分困难样本候选。在此之后，构建了基于大模型的样本评分模块，通过评估它们满足训练目标的程度来识别困难样本。具体来说，大模型通过总结用户偏好来为给定项目的用户偏好打分，根据point-wise或者pair-wise训练目标评估样本的难度，并确定其是否符合困难样本的条件。此外，为了提高总结用户偏好的准确性，提出了一个迭代偏好更新模块。其通过调整在总结过程中被错误识别或忽视的项目来细化用户偏好，从而提高该框架的整体可靠性。
在三个真实世界数据集和四种经典推荐模型上的广泛实验证明了该方法的有效性。
欢迎干货投稿 \ 论文宣传 \ 合作交流
推荐阅读
由于公众号试行乱序推送，您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容， 请将本号设为星标，以及常点文末右下角的“在看”。
由于公众号试行乱序推送，您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容， 请将本号设为星标，以及常点文末右下角的“在看”。
