摘要
Abstract
电商平台推荐系统对于增加销售收入和提升用户体验起着至关重要的作用，其中提升推荐结果的多样性是一个关键因素。用户在购买阶段对多样性的需求有所不同，因此推荐系统需要平衡不同场景下的相关性和多样性。为了解决这个问题，我们基于eBay的实际场景构建了一套通用的多样性控制解决方案，该方案包括召回、排序和重排三个阶段的优化。实验结果表明，该方案能够有效提升GMV和Revenue，同时降低重复商品被推荐带来的负向反馈。
01
消费阶段和多样性
用户在电商平台的活动周期主要包括四个阶段：需求感知、考虑比价、下单、以及留存。因为用户在购买前和购买后的消费行为差别很大，我们把该周期截断成两部分，购前阶段和购后阶段。
(点击可查看大图)
购前阶段，用户更倾向于浏览和比价，主要推荐相似商品。例如，在需求感知阶段，用户可能会在eBay的搜索框中输入“iPhone”，在搜索结果页看到多个iphone商品，并在不同卖家之间进行比价。购后阶段，用户需要更多的个性化和多样性推荐，帮助用户探索新商品，增加用户留存。例如，在订单页，eBay会推荐用户个性化的候选结果，如手机壳、充电器等，以满足用户的其他购物需求。此外，eBay的广告位非常丰富，横跨购前和购后两个阶段，包括详情页推荐、加入购物车弹窗、结算页、Email和push notification等。
02
推荐相似性和多样性
衡量推荐系统中的多样性有若干指标量化，比如集中度，新颖性，覆盖率等。为了更直观的描述电商场景下相似性和多样性的关系，我们用复购率来统计不同品类的表现。我们将同一品类下商品界定为相似商品，跨品类商品界定为多样商品，以泛化区分两者。
这里复购率是描述同一用户在同一品类内重复购买的指标，这个指标可以指导我们在不同品类内设置相似性和多样性的平衡比例以及恰当的推荐时机。对于需要周期性复购的商品，推荐相似商品更能满足用户需求；而对于不需要经常购买的商品，推荐更多的多样化商品能帮助用户探索新的购物需求，提高用户满意度和留存率。
（点击可查看大图）
上图是采样了一段时间窗口，主流大类的复购率，可以得出以下结论：
1.eBay上较大比例的商品一个月内不会被复购，相当比例的商品一年只需要购买一次，因此对于这些商品，推荐系统需要增加推荐的多样性，帮助用户探索和发现新的购物需求。
2.不同大类的商品复购率差异很大，多样性控制的设计应该考虑类别维度。
3.购买时间间隔也会影响复购率，即使是周期性生活用品，下单后短期内也可以适当提升互补商品推荐。
这些结论可以帮助推荐系统更准确地根据不同的品类和投放时机，提供合适的推荐服务。
03
业界现状
当今主流的多样性控制方法包括最大边缘相关性（MMR）、基于贪心算法的数据排列算法（DPP）、基于排序的最小边缘相关性（DPO）等。其中，MMR算法最早由Carbonell和Goldstein在1998年提出，该算法利用商品之间的相关性来控制推荐结果的多样性。DPP算法则是一种基于概率模型的多样性控制方法，它可以有效地处理高维数据和结构化数据，近年来在信息检索和图像检索等领域得到了广泛应用。DPO算法则是一种基于排序的多样性控制方法，它通过重新排序推荐结果来实现多样性控制，已经被成功地应用于推荐系统中。
除此之外，还有一些新的多样性控制方法正在被研究和探索。例如，一些研究者提出了基于神经网络的多样性控制方法，如基于注意力机制的多样性控制方法和基于生成对抗网络的多样性控制方法。在这些方法中，注意力机制被用来控制推荐结果中商品的重要性，而生成对抗网络则被用来生成多样化的推荐结果。这些方法在一些推荐系统中已经得到了应用，例如Google News和YouTube等。
04
eBay推荐系统多样性控制
系统有两个主要目标，丰富召回源和控制多样性。前者确保能够覆盖到更多的潜在商品。后者增加多样性控制，以适应不同的场景需求。
在评测指标方面，业务指标是首要考虑的因素，包括GMV、revenue、CTR、PTR等，以确保系统的商业价值。用户体验也是一个非常重要的方面，所以需要考虑负向反馈率。此外，还需要考虑技术指标，其中品类丰富度是一个非常重要的指标，因为它可以反映出系统对于不同类型商品的覆盖程度和多样性。
系统设计
eBay商品推荐系统设计采用了主流架构，包括召回、排序和重排阶段。为了丰富召回源，引入了图网络和co-purchase数据集。多样性控制集成在排序和重排阶段，包括用户个性化信息、短期兴趣、价格和运费敏感性等，增加个性化推荐偏好。在重排阶段，引入MMR模块来平衡相关性和多样性，以适应不同场景对多样性的需求。
召回阶段
在召回阶段，我们采用了Graph Neural Network (GNN) 来构建商品图网络，该方法已经在推荐系统中得到广泛应用。同时，我们引入视觉特征信息来帮助去重和增加多样性。
(点击可查看大图)
在推荐系统的候选商品召回阶段，系统更加注重使用"co-purchase"的数据作为召回源或者训练集，减少了"co-view"的影响。这样，系统推荐的商品不再仅限于相似商品，而更多地考虑了互补商品，从而提高了推荐结果的多样性。同时，为避免推荐已购买商品，系统还对用户已购买商品的相似商品做了一些抑制处理。
(点击可查看大图)
排序阶段
在排序模型中，我们引入了用户个性化信息，包括用户的近期兴趣集合、价格和运费敏感度等。这些信息通过用户行为和历史数据进行建模和提取，被用于优化排序模型的输出结果。目的是根据用户的个性化需求，调整推荐商品的集合和排列顺序，以提高推荐效果和用户体验。
多数用户的兴趣在一个时间窗口内是稳定的，我们随机对一部分用户统计，发现用户购买主要来源于历史半年内点击和购买过的品类。
(点击可查看大图)
除了近期兴趣，我们还挖掘了用户对价格和运费的敏感程度。
(点击可查看大图)
重排阶段
在重排阶段，我们主要对比了MMR和DPP，最终选择并改进了MMR作为控制框架。原因有两点：首先，MMR显式考虑了相关性和多样性之间的平衡，可以在保证相关性的前提下增加多样性；其次，改进后MMR相比DPP更加高效，尤其在处理大规模商品数据时表现更好。
(点击可查看大图)
具体来说，我们使用了一个平衡系数，由多样性和相关性组成。其中，相关性用于确保推荐商品与用户兴趣相符，多样性用于确保推荐结果有足够的差异性。我们使用同一个超参数权重lambda来控制这两个因素的权重。差异性的构成由类别相似性、图片相似性、价格等多个因素共同构成，每个维度各有一个参数。其次，针对多样性的计算我们做了改进，对于候选商品与已选中商品差异计算的范围由全局缩小到局部，缩小逻辑由已有的显式特征圈选，比如品类等。该改进在不影响准确率的情况下，将计算成本缩减到33.3%~50%。
调参过程也被流程化，我们通过对历史数据的离线模拟来训练这些参数。具体来说，我们随机从历史购买记录中选择一些用户，将他们之前的一部分购买记录作为已购买商品，然后将其他商品作为候选商品，使用我们的排序和重排序模块进行推荐。我们使用离线指标来评估模型的性能，例如召回率、CTR等。最终，我们通过多轮小实验迭代修正模型，使线上线下指标的差异尽可能小。
05
实验结果
我们首先进行了一些购后留存场景的实验，例如在用户购买后订单邮件确认推送中增加推荐多样性，从而提高用户留存以及探索新商品的机会。
✦
✦
(点击可查看大图)
实验结果表明，前6个栏位的平均品类增加了1.2个，前12个栏位品类增加了2.5个，跨类别点击增加了7.4%，跨类别购买增加了4.3%，整个广告位CTR提升了0.7%。此外，通过对5000个推荐案例进行人工调研，我们发现用户体验负面反馈率降低了4.2%。随后，我们在购前场景的互补商品广告位上引入了个性化信息，并调整了多样性偏向，也获得了正向业务收益。
(点击可查看大图)
因此，综合来看，多样性无论在购前还是购后环节都是推荐系统不可或缺的一部分。在不同场景中，多样性权重和带来的收益也有所不同。
06
总结
随着电商推荐系统的发展，多样性控制将会更加智能化和自适应。未来的推荐系统将能够更好地理解用户的行为和兴趣，并根据用户的特征和上下文信息，智能地调整多样性的程度。例如，系统可以根据用户的历史购买记录、搜索行为、社交关系等信息，对多样性进行个性化的调整，从而更好地满足用户的需求。
另外，随着跨平台和跨域融合的发展，未来的推荐系统也将面临着更加复杂的多样性控制问题。例如，如何在不同平台和不同领域的推荐系统中实现多样性控制，如何在不同平台之间实现协同推荐等问题，都是未来需要解决的问题。
最后，未来的推荐系统将会越来越注重个性化和社交化。个性化将成为推荐系统的核心，未来的推荐系统将更加注重用户的个性化需求，为用户提供更加个性化的推荐服务。同时，社交化也将成为推荐系统的重要趋势，未来的推荐系统将会更加注重用户之间的互动和社交关系，从而提高推荐的准确性和效果。
END
