推荐系统相关研究进展

1. Robust Training Objectives Improve Embedding-based Retrieval in Industrial Recommendation Systems
2. Revisiting BPR: A Replicability Study of a Common Recommender System Baseline
3. Enhancing Performance and Scalability of Large-Scale Recommendation Systems with Jagged Flash Attention
4. Efficient Pointwise-Pairwise Learning-to-Rank for News Recommendation
5. FedSlate: A Federated Deep Reinforcement Learning Recommender System

1.Robust Training Objectives Improve Embedding-based Retrieval in Industrial Recommendation Systems

Authors: Matthew Kolodner, Mingxuan Ju, Zihao Fan, Tong Zhao, Elham Ghazizadeh, Yan Wu, Neil Shah, Yozen Liu

https://arxiv.org/abs/2409.14682

论文摘要

改进推荐系统（RS）可以大幅提升用户在多个领域的体验，例如社交媒体。许多推荐系统采用基于嵌入的检索（EBR）方法来检索推荐候选项。在EBR系统中，嵌入质量是关键。根据近期文献，自监督多任务学习（SSMTL）在嵌入学习方面表现优异，且在多个下游任务中实现了整体改进，显示出更强的抗干扰能力，从而通过训练目标增强了模型的鲁棒性和任务泛化能力。然而，SSMTL作为一个鲁棒训练目标的成功是否能够转化到大规模的工业推荐系统中，仍需验证。在工业推荐系统中简单采用学术设置可能会带来两个问题。首先，许多自监督目标需要对大量用户和项目进行数据增强（如嵌入掩码/腐蚀），这在工业环境中代价高昂。其次，一些自监督目标可能与推荐任务不完全一致，可能导致冗余的计算开销或负迁移。鉴于这两个挑战，我们在一家技术行业社交媒体平台的大规模好友推荐系统中评估了使用鲁棒训练目标，特别是SSMTL，来验证这种鲁棒性提升是否能够扩展，以增强检索能力。通过基于SSMTL的EBR进行在线A/B测试，我们观察到好友推荐的关键指标有显著提升，新交友人数增加了高达5.45%，冷启动用户的新交友人数提升了1.91%。此外，通过一个专项案例研究，展示了鲁棒训练目标在大规模图上通过SSMTL在检索和端到端好友推荐方面的益处。

论文简评

这篇论文探讨了自监督多任务学习（SSMTL）在工业推荐系统中嵌入式检索中的应用，显著提高了相关性度量。该研究专注于训练目标的鲁棒性，并评估特定自监督方法在现实世界中的表现。

这篇论文的主要贡献在于解决了工业推荐系统的实际问题，并提供了来自大规模部署的实证证据。还展示了自监督多任务学习在关键指标上的统计显著改进。

然而，该论文也存在局限性。首先，虽然证明了自监督多任务学习在嵌入式检索中的有效性，但没有探讨如何进一步改善效果或解决可能的挑战。其次，虽然讨论了训练目标的鲁棒性，但没有详细解释如何充分利用这些信息来优化模型性能。最后，尽管提供了大量数据集和实验结果，但在数据分析中缺乏足够的细节和深度。

总的来说，这篇论文为工业推荐系统的嵌入式检索提供了新视角，但也存在一些未解决的问题。因此，在将其作为未来工作的参考时，需要谨慎考虑它的局限性。

2.Revisiting BPR: A Replicability Study of a Common Recommender System Baseline

Authors: Aleksandr Milogradskii, Oleg Lashinin, Alexander P, Marina Ananyeva, Sergey Kolesnikov

https://arxiv.org/abs/2409.14217

论文摘要

贝叶斯个性化排序（BPR）是一种基于矩阵分解的协同过滤方法，常作为推荐系统研究的基准。然而，许多研究往往忽视BPR实现中的细微差别，声称其在各种任务中的表现不如新提出的方法。本文深入分析了BPR模型的特性，指出它们对模型性能的影响，并调查了开源BPR的实现。我们的分析揭示了这些实现与原始BPR论文之间的不一致，导致某些实现的性能下降高达50%。此外，通过在现代评估设置下用真实数据集进行的广泛实验，我们展示了在适当调整超参数的情况下，BPR模型可以在top-n推荐任务上接近最先进方法的性能，甚至在特定数据集上超越它们。具体而言，在百万音乐数据集上，经过超参数调整的BPR模型在NDCG@100上使用二元相关性函数显著超越Mult-VAE达10%。

论文简评

这篇论文旨在研究Bayesian Personalized Ranking（BPR）模型的可复现性，发现了一些开源实现中的不一致，并展示了通过适当超参数调优，BPR可以达到竞争力的表现。然而，该研究在实验设计上缺乏严谨性，特别是在与最先进的方法进行比较以及方法论清晰度方面存在不足。

尽管如此，论文的主要贡献在于对BPR模型进行了广泛的实验证明其在多个真实世界数据集上的性能，为改进和推广该模型提供了有价值的见解。论文强调了BPR在某些情况下的高性能水平，这表明可以通过适当的调整来优化模型以提高其表现。这一结果可能会激励研究人员重新评估BPR模型，并寻找更有效的策略来提升其性能。此外，论文还鼓励进一步的研究，以更好地理解BPR模型的工作原理及其潜在应用场景。

总的来说，尽管论文中的某些方面可能需要进一步完善，但其对于BPR模型的深入研究和分析是值得肯定的。通过对现有问题的探索和解决方案的提出，论文不仅推动了推荐系统领域的发展，也对其他相关领域的研究产生了积极影响。

3.Enhancing Performance and Scalability of Large-Scale Recommendation Systems with Jagged Flash Attention

Authors: Rengan Xu, Junjie Yang, Yifan Xu, Hong Li, Xing Liu, Devashish Shankar, Haoci Zhang, Meng Liu, Boyang Li, Yuxi Hu, Mingwei Tang, Zehua Zhang, Tunhou Zhang, Dai Li, Sijia Chen, Gian-Paolo Musumeci, Jiaqi Zhai, Bill Zhu, Hong Yan, Srihari Reddy

https://arxiv.org/abs/2409.15373

论文摘要

硬件加速器的集成显著提升了现代推荐系统的能力，使得探索之前被认为不切实际的复杂排名范式成为可能。然而，基于GPU的计算成本带来了巨大的挑战。在本论文中，我们展示了一种效率驱动的方法，探索这些范式，超越对原生PyTorch模块的传统依赖。我们解决了排名模型对可变长度类别特征的依赖带来的特定挑战，使得GPU的利用变得更加复杂。我们引入了不规则特征交互核，这是一种新方法，旨在通过高效处理动态大小的张量，从长类别特征中提取细粒度的见解。此外，我们结合不规则张量与闪电注意力机制，进一步提升了注意力机制的性能。我们的新型不规则闪电注意力机制在速度上比稠密注意力机制提高了多达9倍，同时在内存使用上减少了22倍。值得注意的是，它还在速度上超越了稠密闪电注意力机制，提升幅度可达3倍，并具有53%的内存效率提升。在生产模型中，我们观察到查询每秒（QPS）提高了10%，内存节省了18%，使我们能够在具有更长特征和更复杂架构的推荐系统中实现扩展。

论文简评

这篇论文深入探讨了大规模推荐系统中的效率问题，提出了Jagged Feature Interaction Kernels和Jagged Flash Attention等创新方法来解决这一问题。这些方法旨在优化处理类别特征的内存使用和计算速度，从而显著提高推荐系统的性能。

首先，该研究提出了Jagged Feature Interaction Kernels的方法，利用具有跳跃结构的特征交互模型来提高分类器的性能。此外，Jagged Flash Attention是一种新的注意力机制，它通过改变对不同类别信息的分配来优化模型性能。

论文的主要优点在于其提出的解决方案能够有效提升推荐系统的效率。通过对现有技术的改进，论文提供了更快更有效的推荐服务，尤其是在处理大量数据时。这种进步对企业和用户而言都是有益的，因为它意味着他们可以更快地获取所需信息和服务。

综上所述，这篇论文为大型推荐系统的设计与实现提供了一个有价值的参考。通过引入Jagged Feature Interaction Kernels和Jagged Flash Attention等新技术，论文展现了如何有效处理类别特征，同时保持高性能。这种创新不仅有助于解决当前推荐系统面临的挑战，也为未来的研究提供了启示。

4.Efficient Pointwise-Pairwise Learning-to-Rank for News Recommendation

Authors: Nithish Kannen, Yao Ma, Gerrit J. J. van den Burg, Jean Baptiste Faddoul

https://arxiv.org/abs/2409.17711

论文摘要

新闻推荐是一项具有挑战性的任务，需要根据用户的互动历史和偏好进行个性化推荐。最近的研究利用预训练语言模型（PLMs）的能力，直接对新闻项目进行排名，并使用主要分为三类的推理方法：点对点、对对对和列表学习排名。尽管点对点方法在推理时提供了线性复杂度，但未能捕捉项之间的重要比较信息，而这些信息对排名任务至关重要。相比之下，对对对和列表方法擅长纳入这些比较，但在实践中面临限制：对对对方法要么计算开销大，要么缺乏理论保证，而列表方法常常效果不佳。本文提出了一种新的基于PLM的新闻推荐框架，结合了点对点相关性预测与对对对比较，以可扩展的方式进行整合。我们对该框架进行了严谨的理论分析，建立了确保性能提升的条件。大量实验表明，我们的方法在MIND和Adressa新闻推荐数据集上超越了最先进的技术。

论文简评

这篇论文《GLIMPSE：一个新闻推荐框架》提出了一种新的新闻推荐方法——GLIMPSE（Pointwise Pairwise Information Model for News Recommendation），它整合了点相关性预测与基于预训练语言模型的对称比较。该研究通过提供理论基础和实验证明，证实了他们的方法在MIND和Adressa等数据集上优于现有方法。

首先，论文强调了点相关性和对称比较之间的融合能够有效解决现有新闻推荐方法的局限性。其次，理论分析为确保提出的方法在性能上有显著改进提供了有用见解，证明了这种融合可以有效提升推荐系统表现。

最后，实验结果证实了这些论点的有效性，并展示了GLIMPSE在与当前最先进方法竞争时的明显优势。总的来说，GLIMPSE是一个创新的新闻推荐方法，其理论基础、实验成果及实际应用均表现良好，值得深入研究。

5.FedSlate: A Federated Deep Reinforcement Learning Recommender System

Authors: Yongxin Deng, Xiaoyu Tan, Xihe Qiu, Yaochu Jin

https://arxiv.org/abs/2409.14872

论文摘要

强化学习方法已被用于优化推荐系统中的长期用户参与度。然而，现有的基于强化学习的推荐系统并未充分利用不同平台上个体用户行为之间的相关性。一个潜在的解决方案是将来自各个平台的数据进行集中聚合，并利用这些聚合数据进行训练。然而，这种方法引发了经济和法律问题，包括通信成本增加和对用户隐私的潜在威胁。为了解决这些挑战，我们提出了FedSlate，一种联邦强化学习推荐算法，有效利用法律禁止共享的信息。我们采用SlateQ算法来辅助FedSlate学习用户的长期行为并评估推荐内容的价值。我们将推荐系统的应用范围从单用户单平台扩展到单用户多平台，并通过引入联邦学习来解决跨平台学习的挑战。我们使用RecSim构建了一个模拟环境来评估FedSlate，并将其性能与最先进的基准推荐模型进行了比较。实验结果表明，FedSlate在各种环境设置中优于基线方法，并且在基线方法完全不适用的场景下，FedSlate有助于推荐策略的学习。代码可在 https://github.com/TianYaDY/FedSlate 上获取。

论文简评

这篇论文提出了一种新的联邦强化学习算法——FedSlate，旨在解决跨平台推荐系统中的用户行为依赖问题，并保证用户隐私。该文采用SlateQ算法来评估用户参与度，并利用联邦学习技术优化推荐策略，而无需集中收集数据。

论文的主要贡献在于引入联邦学习技术以增强推荐系统的联邦强化学习，这是当前研究的新方向。此外，通过实验验证，FedSlate在特定条件下表现出优于基线方法的优势。

总的来说，这篇论文深入研究了跨平台推荐系统中用户行为依赖的问题，并提出了一个有效解决方案——FedSlate。其创新之处在于利用联邦学习技术来优化推荐策略，同时有效展示实验结果，具有较高的实用性和推广价值。因此，我们可以认为FedSlate是一个非常有潜力的研究成果，值得进一步探讨和应用。

推荐阅读