全域用户建模在美团首页推荐的探索与实践

• 一、背景

• 1.1 产品形态及业务特点

• 1.2 全域用户建模的必要性

• 1.3 落地难点

• 二、全域用户建模的探索与落地

• 2.1 优化全域行为召回策略

• 2.2 召排模型训练引入全域信号

• 2.3 显式兴趣迁移框架解决负迁移问题

• 2.4 全域全链路统一建模及感知增强

• 三、总结与展望

• 3.1 总结

• 3.2 后续计划

• 四、参考文献

一、背景

| 1.1 产品形态及业务特点

美团首页推荐展位，如下图1所示，是用户打开美团App后，触达美团各业务的流量入口，每天服务数千万用户。首页推荐的核心能力体现在差异化地承载并快速响应用户个性化需求，需要支持高效分发外卖、餐饮、休闲娱乐、酒店旅游、优选、买菜、电商、超市闪购等各种业务供给。业务之间在履约特性、供给特点之间存在巨大的差异性，如外卖业务通常为用户“饭点儿”的即时随性消费，受到配送距离的强限制；酒店旅游业务需较长周期种草规划，偏好相对稳定，但集中于特定节假日时段；电商业务随着不同品类不同场景对于履约周期有所取舍。这些特点对个性化推荐建模提出了较高的要求。

| 1.2 全域用户建模的必要性

全域用户建模是指在多个平台、多个应用或多个领域中，整合用户在不同环境下的行为数据，构建一个统一的用户画像或模型。这种建模方法旨在更全面地了解用户的兴趣、偏好和行为模式，增强建模的准确性和多样性，从而提供更加精准的个性化服务和推荐。

具体到美团首页推荐的业务场景下，全域用户建模旨在将用户的源域兴趣迁移到目标域，利用其他源域的用户行为数据来增强目标域即首页推荐的召回排序链路，解决目标域中的数据稀疏问题^[1]，以提高推荐效果。本文中的源域表示美团大搜、金刚区等除首页推荐外的其他渠道或展位，目标域即指首页推荐。推荐场景下的全域用户建模也可称为跨域推荐。

过去美团首页推荐各模块建模所用的行为数据过于依赖特定来源（仅首页猜喜），缺乏来自其他重要渠道的用户交互数据，这限制了首页猜喜推荐系统在全面理解用户行为模式上的能力。

| 1.3 落地难点

由于展位之间显著的数据分布差异、多业务间的可迁移性差异以及本地生活业务时空场景的强相关性三个方面的原因，使得将外域信号引入推荐各链路中存在严重的负迁移挑战。其中，展位差异是行业内落地全域建模的共有挑战，时空场景强相关性是美团本地生活业务特点带来的特有挑战，而业务间差异则是美团首页推荐展位分发多业务供给带来的展位特有挑战。

1.3.1 展位之间显著的数据分布差异

由于不同展位承载差异化的需求表达，美团搜索和业务金刚区较多承载用户意图更明确的主动需求，而首页推荐更多是用户有模糊性需求时的自然浏览，且不同展位的物料展示形式也不同，使得不同展位流量在用户分布、行为习惯等方面存在显著差异。美团App不同展位之间的业务占比具有显著差异，体现用户心智在不同渠道存在一定差异，在扩展用户信号覆盖时，需要考虑不同展位间用户行为的差异性。

例如，在美团的首页猜喜，向用户推荐药品可能会显得不合时宜，因为用户可能没有明确的购药意图。相反，在美团医药频道，用户的行为预示着他们有明确的相关意图，因此在该频道内搜索和推荐药品是用户预期之内的行为。如果直接将其他数据源应用于猜喜模型，不考虑上下文的差异，可能导致负迁移现象，即模型性能由于数据整合不当而降低。应对这一挑战的有效方法是采取精细化的数据集成方法和周到的模型训练策略，以确保数据的适当应用并优化模型性能。

1.3.2 多业务间的可迁移性差异

美团本地生活服务业务类型众多，与以内容、商品为主体的推荐场景下业务相比，特性显著。

• 行业内，服务电商相比实物电商具有更大的业务差异性。比如餐饮外卖、酒店预订、到店桌游、生鲜自提之间的差异相较于实体电商的服饰、书籍、3C等品类有更大的差异性，后者可通过用户网络下单、商家发货、快递到手的统一流程满足用户需求；而美团的“外卖”、“KTV”等业务涉及实时配送和到店消费， 业务逻辑间有所不同。
• 美团内部，首页推荐业务交杂情况更为显著。典型推荐场景还有美团外卖推荐和大众点评内容推荐等。美团外卖推荐更聚焦于外卖的不同品类，需平衡商户的复购和用户尝鲜探索，目标层面更关注短期的用户体验和转化效率；大众点评推荐是内容的分发，更多关注“点击”、“停留时长”、“收藏”等信息消费目标，不同类型内容之间的差异相比服务之间较小。

首页推荐承接的外卖、餐饮、休闲娱乐、酒店旅游、优选、小象、电商、超市闪购等多个业务之间的履约特性、供给特点之间巨大的差异性导致全域建模时不同业务的可迁移性具有显著差异。如医药、闪购等大部分是在用户有明确需求时的即时需要；优选、小象超市等则表现为用户下单时会包含多件商品，其中可能包含用户为凑单而购买的商品，而并非用户对这些商品真正地感兴趣。这类业务往往在全域用户建模过程中更容易导致负迁移问题，而到店餐饮、休闲娱乐等业务的下单行为更能体现用户常态化的兴趣，因此负迁移问题相对较弱。

1.3.3 时空场景的强相关性

二、全域用户建模的探索与落地

综上所述，全域用户建模有助于扩展用户理解和个性化服务的空间，但由于不同展位、不同业务之间用户行为和需求的显著差异，存在较大挑战。业界现有跨域推荐方法按照知识跨域迁移方式可以划分为基于Content的迁移^[2][3]、基于Rating Patterns的迁移^[4][5]和基于Embedding的迁移^[6][7][8]，其中基于Embedding的方式应用最为广泛，即利用机器学习方法首先学习出不同域的User或Item的Embedding表征，然后将Embedding作为知识载体进行域间的信息迁移。

业界现有方法尽管已经取得了不错的进展，但当应用于展位和业务之间都存在显著差异的美团场景下，均效果不佳。原因在于现有方法往往研究在多个相似领域之间进行知识转移（大多为不同场景下的多个推荐域^{[5][6][8][9][10][11]}），相似域间的负迁移问题往往比较小，但在美团场景下不同展位和不同业务带来跨领域之间显著的差异性。

另外，现有的跨域推荐方法主要关注隐式建模范式，学习目标是去拟合目标域或源域兴趣的Ground Truth，而没有对兴趣信号的跨领域迁移进行直接监督。因此，从源域到目标域的兴趣迁移是隐式的和不可控的。这种隐式建模范式使得区分源域的有用信号和噪声信号变成一大挑战，很可能将不适当或干扰的兴趣迁移到目标域，从而导致负转移问题。

因此，基于多展位、多业务及时空场景强相关性带来的落地挑战，我们计划对不同域的数据在细粒度时空场景下的可迁移性进行精准建模，强调时空场景信息的重要性，仅迁移其他域中对推荐域有用的兴趣信号，以实现兴趣信号的有效迁移并优化模型效果。

全域用户建模的落地过程中，我们采取递进式的迭代策略，在首页推荐召排模块分阶段逐步摸索与落地。全域用户建模召排升级的整体思路及落地路径如下：

• 第一阶段：优化全域行为召回策略。首先将全域信号引入召回阶段，将行为触发的i2i类、热单类等多路召回子策略中的数据源由猜喜行为扩展到多展位行为，并进一步扩展到多渠道行为，快速验证全域用户建模在首页推荐落地的可行性。
• 第二阶段：模型训练样本引入全域信号，并缓解负迁移问题。在首页推荐召回和排序模型引入金刚区、首页搜索中的支付行为数据，作为训练点击、支付目标的正样本，对猜喜原训练样本Label进行改写，以融入全域兴趣信号。然而由于不同域数据分布的显著差异，在实验过程中，我们发现大量引入优选、医药等业务的外域正样本导致模型在这些业务上猜喜离在线AUC大幅下降，导致模型“学偏”。为此本文根据不同业务导致负迁移的严重程度设置了阶梯式的训练权重，来缓解负迁移问题。
• 第三阶段：提出显式兴趣迁移框架解决负迁移问题。上一阶段我们对不同类型（本域与外域）监督信号分业务赋予阶梯式权重来缓解跨域负迁移问题。此种方案虽然取得了较好的业务效果，但对训练权重的区分仅限于业务粒度，且阶梯式权重是由人工拍定的硬参数，仍难以精准地建模细粒度场景（如<工作日、中午、雨天、青年、白领>构成用户上下文场景）下源域兴趣向目标域的迁移。为了实现仅对适合推荐域的兴趣信号进行迁移，本文创新性地提出了一种显式兴趣迁移跨域推荐框架，解决现有方法面临的跨展位、多业务、强时空相关性场景下的负迁移挑战。无需复杂的网络结构及繁琐的模型训练过程，本文提出的显式框架能快速在工业推荐系统落地，为跨域推荐提供了一种简单而有效的解决方案。
• 第四阶段：全域全链路统一建模及感知增强。前述阶段通过召回策略、样本数据及模型结构方面的升级，在召回及排序模块初步构建起了全域感知能力，但召排全域体系建设在扩展全域样本空间、构建全域特征、统一召排全域样本等方面尚存优化空间。为全方面增强全域感知能力，我们进行了全域、全链路、全供给统一样本建设，在全域信号更完备的新样本基础上实现全域全链路统一建模。
• 第五阶段（理想态）：基于用户全域行为的生成式范式统一召排。前面4个阶段已经基本完成并全量上线，取得了预期成果及业务收益。现今，随着大模型与推荐系统结合的日益深入，生成式推荐范式展现出了巨大的应用潜力。生成式模型的序列化Token输入形式与全域信号构建的用户全域行为序列可以完美结合。我们计划基于生成式推荐范式进一步统一召排全域建模方案，构建样本、特征和模型范式统一且可复用的召排全域体系。

| 2.1 优化全域行为召回策略

美团拥有众多场景展位和消费渠道以满足用户不同类型的需求，同一用户在不同展位/渠道上都可能有行为反馈，体现了用户细分的、多样的兴趣。为提升召回层对用户全域兴趣的感知能力，我们按照【首页猜喜 -> 多展位 -> 全渠道】的路径逐步扩展召回行为数据源，对行为触发的多路召回子策略进行了升级改造。

我们将重定向、热单、i2i类的多路召回子策略计算逻辑及召回trigger的行为数据源由仅首页猜喜行为扩展为全渠道行为（包括搜索、点击、支付行为等），在召回阶段补齐首页推荐系统对本展位外行为信号的建模及兴趣感知能力。通过在召回模块引入全渠道的多源（多展位、多应用渠道）兴趣信号，提升用户兴趣建模能力与人货匹配能力，带动大盘点击、支付等核心业务指标增长。

| 2.2 召排模型训练引入全域信号

全域行为召回策略优化取得业务收益后，我们认识到了全域信号具有较大的应用潜力。因此我们进一步在模型训练中引入全域信号，通过在召回u2i模型和排序模型训练样本中引入金刚区、首页搜索中的支付行为数据，作为训练点击、支付目标的正样本，对原训练样本Label进行改写，Label改写方式如下图4所示。通过引入全域正向用户兴趣信号大幅扩充了模型训练所使用的正样本，克服了推荐域用户行为稀疏导致的训练不充分问题。

尽管通过Label改写方式大幅扩充了模型训练的正样本，在一定程度上缓解了数据稀疏问题，但囿于不同域数据分布和用户习惯上的较大差异，跨域迁移建模中存在的外域信号干扰本域信号的负迁移成为一大挑战。针对这种跨域信号引入过程中部分业务存在的“水土不服”问题，本文采用分业务赋予不同类型（本域与外域）监督信号阶梯式权重的方式，有效缓解了全域用户建模中的负迁移问题。

| 2.3 显式兴趣迁移框架解决负迁移问题

为缓解外域信号干扰本域信号的负迁移问题，我们最初的解决方案是对不同类型（本域与外域）监督信号分业务赋予阶梯式权重。此种方案虽然取得了较好的业务效果，但对训练权重的区分仅限于业务粒度，且阶梯式权重是由人工拍定的硬参数，仍难以精准地建模细粒度场景（如<工作日、中午、雨天、青年、白领>构成用户上下文场景）下源域兴趣向目标域的迁移。

我们希望将业务粒度的硬参数权重升级为精细时空场景粒度的自适应软权重，以实现在美团首页推荐场景下更精准地建模源域兴趣向目标域的迁移，即在不同的时空场景下精确地排除他域的噪声兴趣，保留适合推荐域的有用兴趣。为此，本文创新性地提出了一种显式兴趣迁移跨域推荐框架，解决现有方法面临的跨展位、多业务、强时空相关性场景下的负迁移挑战。无需复杂的网络结构及繁琐的模型训练过程，我们提出的显式框架能快速在工业推荐系统落地，为跨域推荐提供了一种简单而有效的解决方案。

我们也将这一创新思路整理并投稿顶会论文《EXIT: An EXplicit Interest Transfer Framework for Cross-Domain Recommendation》，文章已被CIKM 2024接受，arXiv下载链接为: PDF。

2.3.1 显式建模范式

基于对业界方案的充分调研，我们认为当前业界跨域推荐方案无法应对美团首页推荐场景下全域用户建模突出的负迁移问题。在无业界适用方案的情况下，我们基于对业务的深刻理解，创新性地提出显式兴趣迁移跨域推荐框架 EXIT（EXplicit Interest Transfer framework），来显式建模其他域适合向推荐域迁移的兴趣，解决传统隐式跨域推荐方法用于美团这类跨展位、多业务场景下广泛存在的负迁移问题。EXIT方案与传统跨域推荐方案的区别如下图5所示，和传统跨域推荐方法不同的是，EXIT框架能够基于用户所处的时空场景仅从源域迁移那些对目标域有益的兴趣信号，从而防止负迁移。

2.3.2 兴趣组合标签

2.3.3 场景选择网络

根据前述的落地难点分析，用户在美团的兴趣偏好与特定的时空场景具有强相关性，因此场景信息在用户兴趣预估过程中发挥着重要作用，也是影响跨域兴趣迁移的重要因素。我们在EXIT框架中提出了场景选择网络（Scene Selector Network，SSN），来与兴趣组合标签相配合，使模型学习到在不同的细粒度场景下对不同业务输出差异化的兴趣转移强度，以确保兴趣迁移概率与用户兴趣的实际变化相匹配。例如，在<工作日，中午，写字楼，白领>的场景下，我们期望模型预估的外卖业务的兴趣迁移概率较高，而该场景下到店服务的迁移概率则应相对较低。相反，在<周末，下午，购物中心，白领>的场景下，模型预估的到店服务的兴趣迁移概率则应该较高。

2.3.4 离在线实验结果

为了验证所提出的显式兴趣迁移框架的效果，我们选取了多个基准模型进行了大量的离在线对比实验。基准模型包括经典推荐方法和跨域推荐方法两类。对比实验结果如下表所示，结果表明我们所提出的显式框架不仅能更好地建模用户兴趣偏好（离线AUC和在线CTCVR均有提升），也能防止负迁移问题（负反馈率NFR下降，负反馈率表示负反馈PV/总曝光PV，衡量用户对推荐结果的满意度）。EXIT框架在美团首页推荐系统的全量上线取得了全域用户建模单次迭代的最大线上收益。

我们对EXIT框架中的主要模块进行了消融实验，如下表3所示，实验结果表明框架中的各个模块都是有效的。兴趣组合标签ICL发挥了最显著的作用，不仅有助于更精准地建模用户兴趣，而且在防止负迁移方面起着关键作用。

为了更好地理解兴趣迁移概率的作用，我们可视化了模型在线Serving时外卖业务的平均兴趣迁移概率在一天24小时内的变化，如下图7所示。可以发现外卖业务的兴趣迁移概率在早餐、午餐和晚餐时间出现了三个峰值，这表明模型已经学会在不同的场景中自适应地调节跨领域兴趣迁移的强度。我们的显式建模框架能够基于细粒度的场景选择性地筛选出适当的源域兴趣信号，从而实现我们的建模目标。

2.4 全域全链路统一建模及感知增强

召回和排序模型虽已通过「样本Label改写」及「显式兴趣迁移框架」等多期全域建模升级具备了全域感知能力，但召排全域体系建设仍然具有外域信号不全、全域特征缺乏、链路一致性不足的问题：

• 外域信号不全：一方面，全域建模仅在推荐曝光样本空间中进行，对于未在推荐域曝光而在其他域有点击或支付的用户行为无法感知；另一方面，过往全域建模遵循业界做法均仅引入了外域正向信号，但负向信号也能反映用户的兴趣偏好。这在一定程度上造成了部分有效外域信号的丢失。
• 全域特征缺乏：召排模型已从样本、模型结构方面增强了全域感知能力，但作为模型迭代三件套之一的特征工程未有全域角度的建设和迭代。
• 链路一致性不足：当前召回和排序的全域样本割裂，在外域信号引入、全域特征建设等方面难以同步及统一，这种链路不一致性可能会成为单模块效果的掣肘（如根据全域兴趣召回的item不能在排序阶段透出），难以完全发挥全域建模的作用。

为全方面增强推荐整体链路的全域感知能力，构建统一的召排全域体系，我们进行了全域、全链路、全供给统一样本建设，并基于新的全域样本继续升级召排模型，通过更全面信号和链路一致性进一步发挥全域建模的效果。

2.4.1 全域、全链路、全供给统一样本建设

基于当前召回全域体系在样本层面存在的不足，我们对召回及排序模型样本进行统一升级，具体动作如下：

• 正样本扩充：过往全域信号引入对于不在曝光样本空间但在源域有支付的行为数据未进行考虑。为引入更充分的源域兴趣信号，对于与猜喜曝光样本空间无法关联的全域支付行为数据，通过限制一定范围的时间窗口（-δ_time=<用户其他展位的下单时间-猜喜请求时间<=δ_time）方式与用户在猜喜的请求相关联，从而扩充对应的支付正样本，并且该样本的User侧特征与用户下单时的真实特征相差不大，有助于进一步抑制全域建模中的负迁移问题。
• 负样本扩充：业界在全域建模领域的通常做法是只引入用户正向行为数据，但负向信号也能反映用户的兴趣偏好，知道用户不喜欢买什么可以帮助模型做排除选项，因此我们对其他展位负样本做随机采样添加到粗排模型训练样本中。增加其他展位的随机负样本也可以帮助解决粗排模型训练和预测样本空间不一致的样本选择偏差（Sample Selection Bias，SSB）问题。实践中为解决SSB问题，我们一方面继续增加未加载样本（粗排出口Item）作为负样本，另一方面在全体样本空间下通过城市下带降热的随机负采样方式进一步扩充负样本。

• 全域特征体系建设：在特征工程方面进行全域升级，构建搜索、频道区等其他展位相关特征，基于全域行为的UI统计特征等，在特征侧增强模型的全域感知能力。例如从全域行为数据中提取用户交互特征，如点击率、下单率、停留时间等，基于全域行为构造UI统计特征如频次统计、时序特征等。
• 召排样本统一：统一召回及排序样本，使得召排模型在外域信号引入、全域特征建设等方面保持同步，召排全域体系的链路一致性更高，更好发挥全域建模的效果。

2.4.2 全域感知增强建模

升级后的召排统一样本具有更完备的全域正负信号及全域特征体系，为适配新样本增强链路全域感知能力，同时增强链路一致性以更大程度发挥全域建模效果，我们基于新样本对粗排模型进行了重构，以统筹兼顾全域兴趣预估与链路一致性任务。我们通过对全域兴趣预估与一致性联合建模，在模型中同时建模曝光、点击、支付、时长、互动和一致性（Pointwise+Pairwise）等目标，使模型同时具有校准能力和排序能力，且两类能力能互相补充。全域兴趣预估与一致性联合建模的多目标逻辑示意图如下：

三、总结与展望

| 3.1 总结

总的来说，我们通过多阶段递进式探索验证的方式，在美团首页推荐召排模块引入多展位、多应用渠道的多源用户交互数据，并在落地过程中解决美团多展位、多业务、时空场景强相关性的特点导致的严重跨域信号负迁移挑战。全域用户建模经过多期算法落地已经取得显著业务收益，缓解了首页推荐用户行为稀疏导致的模型训练不充分及用户兴趣预估有偏问题，大幅提升了首页猜喜推荐系统在全面理解用户行为模式上的能力。此外，我们在排序模块的部分创新成果也已在CIKM2024会议上发表。

全域用户建模在美团首页推荐的成功，验证了全域感知的重要性，增强推荐系统的全域感知能力是一条可行的路径。我们将进一步结合美团业务特点与业界先进技术，探索并创新更多全域用户建模在推荐系统落地的有效方案。

| 3.2 后续计划

• 引入外域点击信号。当前我们主要引入外域支付信号到首页猜喜来进行算法建模，这是由于支付信号相比点击信号来说兴趣表达更强烈，且平台的目标以支付为主。后续我们进一步考虑引入外域点击信号，点击信号相比支付信号更为丰富，但噪声也更大，对数据清洗的要求更高，也更容易导致负迁移问题。这对我们的算法建模提出了更高的要求，团队也会持续在解决跨域负迁移问题上进行更多的探索和创新。
• 升级显式兴趣迁移范式。我们提出的用于CTCVR预测的显式兴趣迁移框架，在Item粒度考虑兴趣的跨域迁移，要求源域和目标域具有重叠的Item。我们计划对这一范式进行升级以支持源域和目标域不具有重叠Item的场景，扩大显式兴趣迁移框架的应用范围，并继续发表创新性成果。
• 探索基于全域行为的生成式推荐范式。受LLM取得巨大成功的启发，最近Meta的相关同行重新审视了现代推荐系统中的基本设计选择，将整个推荐问题建模成类似GPT的生成式问题，并拥有和LLM一样的Scaling Law规律。我们也在基于用户全域行为数据构造用户超长行为序列，进行生成式推荐范式的探索与落地。

// 参考文献 //