京东零售广告部承担着京东全站流量变现及营销效果提升的重要职责，广告研发部是京东最核心的技术部门，也是京东最主要的盈利来源之一。作为京东广告部的核心方向，我们基于京东海量的用户和商家数据，探索最前沿的深度学习等算法技术，创新并应用到业务实践中，赋能千万商家和数亿消费者的消费连接，不断拓展中国乃至全世界的数字经济边界。
在这里，你将与各业务、产品、工程团队紧密合作，深入京东亿量级的数据与丰富的广告业务场景，进行前沿AI算法和工程架构的研究与应用工作。通过AGI算法创新和行业领先的广告技术，赋能京东多个业务线的广告投放和管理需求，帮助商家实现精准营销，同时提升用户购物体验，推动京东的商业增长，创造数以亿计的业务贡献。
大模型时代的到来，新一代广告系统中，我们目前重点攻坚以下五个方向，欢迎敢于挑战、有梦想的同学，和我们一起共事。让我们一起来看看新一代广告系统中如何实现大模型时代的流量价值预估、流量售卖机制、生成式推荐、智能创意以及承载它的算法工程体系。
文末有最新的机会~
广告用户意图理解
Query意图识别是电商搜索中离用户最近和最基础的一个模块，主要的功能是精确地理解用户的搜索意图，为下游的召回/相关性/排序提供决策信息和特征。Query意图识别主要是做分词、纠错、NER、品牌识别、类目预测和query改写等，需准确捕捉用户意图辅助下游决策，是供需匹配和用户体验的基础。
当前query意图识别训练样本的产生逻辑导致约85%的query预测的类目都是单类目，且多标签样本的标签量较少。因此亟需在保持现有的类目精准度情况下，提升类目的召回率。通过分析，主要存在以下类型的query的高相关召回率不足：
泛词的多意图：侧重知识类，词与具体商品之间需要知识关联，例如：水果，生日礼物，灯； 歧义词的多意图：多意图query下，基于样本生成逻辑，会偏向主意图，弱化甚至丢失次意图，导致召回问题，例如：小米（粮食or手机？），苹果（水果or手机？）； 长尾类目冷启：由于用户点击数据的马太效应，使得大量的长尾类目没有曝光机会，类目下商品无法获得点击，加深了模型无法得到长尾类目训练数据的问题，例如：服务类，健康类，工业品类； 长尾query的多意图：由于用户背景和表达习惯不同，对同类商品需求，会有多种表达方式，产生很多长尾query。模型给出的类目不准，因此产生的点击数据也不够准确。
生成-判别模型增强长尾类目训练数据
用户反馈信号被高频类目主导，需打破仅依赖用户反馈的马太效应闭环。例如：用户搜“耳机”，相关类目包含 862-手机耳机，842-蓝牙耳机... 等9个三级类目。由于马太效应，系统只能展现出1~2个高点击类目的商品，中长尾类目下商品无展现。
业界最新算法，也高度依赖后验反馈信号，无法召回中长尾类目。
解决方案：通过引入先验知识和模型的优化，增强模型对电商知识的感知，弱化模型对后验反馈的依赖：引入先验知识：类目语义知识、类目共现/语义关系图。通过提取类目名、类目的产品词等，代表类目侧的语义表征。通过类目关系图，反映类目共点击和语义相似关系，实现头部类目带长尾（相关）类目来提升召回率。学习先验知识：设计新模型，以BERT为文本编码器，学习Query和类目表征。以多通道GCN为图结构编码器，学习类目之间的关系。设计半监督Loss，通过query-类目语义匹配分数，作为监督信号增强类目标签。
算法方案发表于WWW 2024《A Semi-supervised Multi-channel Graph Convolutional Network for Query Classification in E-commerce》
广告多模态内容理解
随着富媒体时代的到来，商业广告已告别了纯文本广告时代，图文广告、视频广告已成为广告主进行创意表达的新型方式。目前京东APP中的推荐和搜索页面均包含大量图像、视频形式的商品展示。在此场景下，传统单模态or少模态的建模方式，有以下问题：
无法建模视觉信息对用户行为的影响，用户对商品展示效果的偏好无法建模。 只局限在文本/ID特征上，无法对商品细节进行精准建模。 大量使用物料 ID 特征会带来模型记忆性的问题，使得整个广告系统对广告物料的换血能力会比较差，新物料无法在系统中快速生效。
基于图像模态的商品表征 目前商详主图中存在一定的噪声，因此对于全图的表征往往会受到噪声的干扰，之前的做法往往先对主商品进行抠图，之后再进行特征提取，但是这种两阶段的特征提取依赖主图区域的准确标注，并会带来误差累积的问题，不适合缺乏标签的电商图像预训练任务。我们考虑直接进行图像自监督方法（DINO）进行预训练，在模型训练的同时端到端提取可靠的图像主体表征，具体流程如下图所示：
无监督模型方案
ListVCG：基于强化学习的序列拍卖机制
首先面临要解决的是700选4的排列组合问题，序列的搜索空间上千亿，我们将此定义成一个强化学习的问题，借鉴了经典的Actor-Critic架构，Actor输出概率矩阵，通过采样的手段去求解排列组合问题，同时我们利用用户的真实反馈去提升Critic的评估水平，挑选出的最优组合会利用策略梯度的方式指引Actor学习。通过这种互相迭代自提升的方式去高效逼近最优组合。
VCG下的多品拍卖同时是一个经济学问题，需要满足激励相容的拍卖理论约束来保证长期的生态健康发展，然而常见的多目标问题的优化思路会使得无法使用vcg计费。因此我们在Listvcg中对于ECPM价值进行了参数化的变形，在保证可计费的同时通过可学习的参数来满足平台收益、社会福利、用户体验以及物料整体价值多目标优化的诉求。
基于强化学习的多智能体博弈
多智体在拍卖机制的博弈环境
目标层面：机制和出价智能体联合优化是行业发展趋势，出价与机制智能体具有一致的整体目标。
算法层面：我们从算法视角分析出价与机制的策略如何影响广告收入和tcharge。
平台一段时间的收入由以下三个因素决定：
3.平台机制策略：分配以及计费规则
具体的，我们有（假设100个请求，10个广告主）
出价和机制智能体一侧固定，通过离线模拟尽可能还原线上策略，进行模型训练
难点：
缺少精确的离线模拟环境，目前只有部分精排队列还原，复杂逻辑难以还原
计算量级大；新的机制还在不断迭代中
出价和机制智能体通过感知 自身不同动作下对方的反馈，对未来奖励预估更准确
风险：
模拟误差累计增大（无法模拟部分/用户行为模拟偏差）
实验评估难以进行
在京东广告场景，我们面临了如下的挑战：用户行为复杂、平台数据边界、数据稀疏性高、冷启动问题、场景理解困难、多样性和新颖性。由于现实系统中的商品数量巨大，传统RS通常采用多级过滤范式，包括召回、粗排、精排、重排等流程，
相较于传统RS，生成式推荐系统具备如下的优势：1）简化推荐流程。实现从多级过滤范式（discriminative-based，判别式）到单级过滤范式（generative-based，生成式）的变迁。2）具备更好的泛化性和稳定性。利用LLM中的世界知识和推理能力，在具有新用户和商品的冷启动和新领域场景下具备更好的推荐效果和迁移效果。
方案
提示词:请告诉我,商品的四元组表示为{input_turple}的标题是什么？输入:<a_1><b_2><c_3><d_4>输出:华为（HUAWEI）旗舰手机mate60 pro+ 16G+512GB 宣白提示词:请告诉我,商品的标题是{input_title}, 它的四元组表示是什么?输入:华为（HUAWEI）旗舰手机mate60 pro+ 16G+512GB 宣白输出:<a_1><b_2><c_3><d_4>
非对称商品预测任务1:提示词:用户历史浏览的商品的四元组序列为{input_tuple1, input_tuple2, ..., input_tupleN},请帮我预测用户下一个要浏览的商品是什么？输入:<a_1><b_2><c_3><d_4>,<a_1><b_2><c_3><d_7>,<a_1><b_2><c_3><d_9>,<a_1><b_2><c_4><d_2>输出:华为（HUAWEI）旗舰手机mate60 pro+ 16G+512GB 宣白
提示词:用户历史浏览的商品序列的文本语义信息为{input_text1, input_text2, ..., input_text_N},请帮我预测用户下一个要浏览的商品是什么？输入:华为（HUAWEI）旗舰手机mate60 pro+ 16G+512GB 宣白,华为（HUAWEI）旗舰手机mate60 pro+ 16G+1TB 宣白,华为（HUAWEI）旗舰手机mate60 pro+ 16G+512GB 砚黑，华为（HUAWEI）旗舰手机mate60 pro+ 16G+1TB 砚黑,华为输出:<a_1><b_2><c_3><d_4>
提示词:用户历史浏览的商品的四元组序列为{input_tuple1, input_tuple2, ..., input_tupleN},请帮我预测用户下一个要浏览的商品是什么？输入:<a_1><b_2><c_3><d_4>，<a_1><b_2><c_3><d_7>, <a_1><b_2><c_3><d_9>, <a_1><b_2><c_4><d_2>输出:<a_1><b_2><c_3><d_2>
提示词:用户历史浏览的商品的四元组序列为{input_tuple1, input_tuple2, ..., input_tupleN},请帮我预测用户下一个要浏览的商品是什么？输入:<a_35><b_87><c_282><d_347>, <a_35><b_89><c_17><d_363>, <a_112><b_140><c_435><d_946>, <a_112><b_103><c_449><d_942>正例:<a_21><b_37><c_138><d_524>负例:<a_21><b_188><c_357><d_377>
效果
为了解决上述问题，我们提出一种多模态可靠反馈网络（RFNet），用于自动审核生成的图片，并将其应用于递归生成过程中，从而提高可用广告图片的数量。此外，我们通过一致性条件正则化（Consistent Condition regularization）微调扩散模型，利用RFNet的反馈，显著提升了生成图片的可用率，减少了递归生成的尝试次数，同时保持了高效的生产过程和视觉吸引力。我们还构建了一个包含超过一百万张人工标注生成广告图片的RF1M数据集，帮助训练RFNet准确评估图片的可用性。这项工作发表在计算机视觉顶级会议ECCV2024。
业务链路上，最典型的模型服务以模型内逻辑+外部链路逻辑整合而成，而一个DAG（RAG）服务是一种不错的融合方式。
2024.10.1～2025.9.30之间毕业
技术热情与理想兼备：对先进技术的研究和应用充满热情，拥有坚定的“技术造福大众”的理想信念。
专业背景与实践经验：拥有计算机、信息工程、模式识别、人工智能、自动化、软件工程、数学等相关专业背景，有较强的编程能力，并在一个或多个应用领域有实战或研发经历。
逻辑思维与沟通能力：拥有良好的逻辑思维能力、沟通能力、团队合作精神和学习能力。
心动不如行动，欢迎关注【京东技术】公众号后台私信投递简历，京东广告等你大显身手！
