点关注，不迷路，用心整理每一篇算法干货~
今天这篇文章给大家介绍几篇RecSys 2024中，大厂发表的5篇推荐系统预估模型基础优化工作。涉及CVR预估、广告预估模型纠偏、大模型推荐系统、多任务学习、Scaling Law等多个主题。
论文标题：Utilizing Non-click Samples via Semi-supervised Learning for Conversion Rate Prediction
下载地址：https://dl.acm.org/doi/pdf/10.1145/3640457.3688151
本文提出了一种利用非点击样本伪标签的方式建模全空间CVR目标，并结合CTR作为辅助任务，使用自适应的loss权重进行动态加权。
为了解决CVR训练样本稀疏和样本选择偏差问题，本文将未点击空间的样本也加入模型训练中。引入方法为，将未点击空间的CVR模型预测结果，作为未点击空间的伪标签，使用logloss进行拟合。这部分未点击空间样本的loss相当于退化成了计算模型在这部分样本上预测结果的信息熵。信息熵的引入，让模型将CVR预测结果推向0或1的边界值，可以提升模型对于伪负样本的识别能力，高置信的伪负样本的预测值会更接近1。
此外，文中引入CTR作为辅助任务进行训练，为了平衡辅助任务和CVR任务的梯度关系，文中采用了一种动态权重设置的方法，根据CTR和CVR的预估loss的比例，对两个loss进行缩放，让两个任务的loss平衡，缓解CTR loss太大主导模型训练的问题。
论文标题：Scaling Law of Large Sequential Recommendation Models
下载地址：https://arxiv.org/pdf/2311.11351
本文构建了序列推荐场景的大模型，模型整体基于Transformer Decoder的架构，输入全部为item id，不引入任何其他特征，完全基于用户前序的item id序列预测下一个item id。为了提升大模型的训练稳定性，文中提出了不同层网络个性化的dropout机制，浅层使用较大dropout比例提升泛化性，深层使用较小dropout比例保证信息提取的确定性。在优化器方面，使用Adam和SGD相结合的方式，先用Adam训练至收敛，然后改成SGD进行继续训练。
通过上述训练方式，文中构建了多层的序列推荐大模型，并结合5个具体的推荐系统任务，验证大模型的scaling law，实验结果表明序列推荐场景也具备scaling law的特性，各个任务的效果随着模型参数量的增加而提升。
论文标题：FLIP: Towards Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction
下载地址：https://arxiv.org/pdf/2310.19453
本文提出了一种结合传统ID类推荐模型和大语言模型推荐的方法。ID类模型将特征映射成ID进行建模，忽视了各个特征和特征值之间的关系；而语言模型虽然泛化性强，但是由于将特征拆分成了token，对特征field的建模能力弱，对一些字面差别小的特征区分度也不高。
为了融合二者各自的优势，本文提出了一种融合ID模型和大语言模型的推荐模型建模方法。核心解决方法是通过预训练对齐ID模型和语言模型的表征。文中引入了类似MLM的方法和对比学习的方法。在MLM中，对特征的文本表示和ID表示分别进行mask，使用上下文两种模态的信息进行被mask部分的还原。在对比学习中，对于同一个样本特征的ID和文本表示方法作为正样本对，使用对比学习拉近其距离。在预训练后，使用ID模型和大语言模型的预测结果做加权求和得到最终预测结果，使用下游数据进行finetune。
论文标题：AIE: Auction Information Enhanced Framework for CTR Prediction in Online Advertising
下载地址：https://arxiv.org/pdf/2408.07907
本文提出了一种解决广告系统CTR预估中auction bias的问题。在广告系统中，CPC计费模式下，样本的最终展现除了和广告的点击率有关外，还和广告主出价相关。广告主出价越高，越可能获得展现机会。这就导致样本中存在竞价带来的bias：有的广告本身由于出价高带来了额外的展现，获得了一些相关性较差的推荐，相应的后验点击率变低。这就导致了影响模型的训练数据。
为了解决这个问题，本文在CTR预估模型中引入了2个模块。第一个模块是显示建模market price，和CTR底层共享网络参数，以此让CTR预估模型感知到market price信息。第二个模块是一个校准模块，由于出价高的样本可能后验点击率偏低，因此根据出价高低对正样本加权，出价越高正样本的权重越高，并通过截断、minmax归一化等进行权重处理，校准出价带来的ctr预估bias。
论文标题：Touch the Core: Exploring Task Dependence Among Hybrid Targets for Recommendation
下载地址：https://arxiv.org/pdf/2403.17442
本文是腾讯发表的一篇推荐系统多任务学习建模优化工作。在推荐系统中，经常会出现多目标优化的场景，并且有一个核心的关注指标，其他目标可能是这个指标的前置行为。腾讯的这个场景，希望预估的核心目标是观看时长，是一个回归任务，在其之前还有一系列的点击、观看等二分类任务。如何让模型建模出这种多目标之间的递进关系，且同时处理好回归label和二分类label，是本文的核心研究问题。
针对上述问题，本文提出了一种递进式的多任务学习方法，核心是将各个任务按照链路关系进行串行递进建模，并引入label embedding和表征融合等机制，让后链路目标的拟合可以使用前链路目标的label或者表征。对于多个目标，每个任务进行建模后，会将其label和预估塔的表征作为后续模型的输入特征。对于label，引入了label embedding技术，直接根据前一个塔的预测结果进行gumble softmax采样，转换成0、1之间的离散值，再查到对应的embedding。表征或者label embedding，都会过一个attention模块，对前序多个目标的label embedding或者模型表征进行加权融合，得到下一个塔的输入特征。通过上述方式，实现了多任务之间的关系建模，后链路任务预测时可以考虑到前链路的预估信息。
投稿&加交流群请加微信，备注机构+方向拉群~
