点击上方卡片关注我，回复“实践”，即可获得 AI Agent、RAG、多模态大模型相关的案例资料
12 月 13-14 日，作为全年系列大会的收官之站，2024 AICon 全球人工智能开发与应用大会将在北京举办！本次大会将继续聚焦人工智能的前沿技术、实践应用和未来趋势，比如大模型训练与推理、AI agent、RAG、多模态大模型等等...... 精彩议题正陆续上线，欢迎访问链接查看详情：https://aicon.infoq.cn/202412/beijing/
更低的成本：降低成本不仅涉及商品采销和库存管理，还包括物流成本和平台运营成本。通过智能化的供应链管理和 AI 技术，京东可以优化库存配置，减少商品滞销和库存积压，从而降低成本。 更高的效率：提高效率主要体现在物流配送和订单处理上。京东通过建设智能物流系统和自动化仓储设施，实现了从订单生成到商品配送的全流程高效运作。同时，通过精准的用户画像和个性化推荐，京东能够在用户浏览和搜索时，更快地匹配到合适的商品，提高用户购物效率。 更好的体验：用户体验的提升不仅依赖于界面设计和功能优化，更需要在售前、售中和售后各个环节提供优质的服务。京东通过优化搜索算法、提升客服质量和完善售后服务体系，全面提升用户的购物体验。
UV（独立访客数）：增加 UV 需要通过多种渠道吸引新用户和保留老用户。京东通过多样化的营销活动、社交媒体推广和内容合作，吸引更多用户访问平台。 UCVR（用户转化率）：提高 UCVR 需要优化用户的购物路径，减少购买障碍。京东通过改进搜索和推荐系统，提供个性化的商品展示，提升用户的购买意愿。此外，简化支付流程和提供多种支付方式，也有助于提高用户转化率。 客单价：提升客单价可以通过增加商品的附加值和鼓励用户购买更多商品来实现。京东通过推出高品质的自有品牌商品和组合销售策略，提升客单价。
交互引流 提升交互效率同时考虑激发用户需求：在提升用户交互效率的同时，需要设计能够激发用户需求的交互方式。 时效性问题：确保信息和商品推荐的实时性，以满足用户的即时需求。 丰富性问题：提供多样化的内容和商品选择，满足用户的不同需求。 意图理解 复杂用户需求理解：准确理解用户的复杂需求，提供相应的商品和服务供给。 数千数万商品属性和类目精准识别：对海量商品的属性和类目进行精准识别和分类，从而提升检索效率。 用户画像等复杂上下文：利用用户画像和上下文信息，提供个性化的商品推荐和服务。 商品召回 多维度召回和融合：从多个维度进行商品召回，确保推荐结果的全面性和准确性。 商品和库存等动态变化：实时跟踪商品和库存的动态变化，确保推荐的商品有货且可购买。 个性化和多样性问题：在个性化推荐的同时，确保推荐结果的多样性，避免推荐的单一化。 相关性 文本 + 图像多模态匹配：通过文本和图像的多模态匹配，提升推荐结果的相关性。 动态价格、促销、物流等：考虑商品的动态价格、促销活动和物流情况，提供更具吸引力的推荐。 权衡 UCVR 和长期 GMV：在提升用户转化率的同时，兼顾长期 GMV 的增长。 宏观流量调控和反作弊：进行宏观流量调控，防止作弊行为，确保平台的公平性和用户体验。
规则引擎的应用：利用预定义的规则和逻辑，初步实现用户搜索需求与商品信息的匹配。 基础文本检索技术：通过简单的文本匹配算法，检索出与用户搜索词相关的商品。 关键词的人货匹配：基于关键词的匹配技术，初步实现用户需求与商品的对接。
用户意图理解和商品理解：通过统计自然语言处理技术，更加精准地理解用户的搜索意图和商品属性。 基于 ML 的 CTR/CVR 建模：利用机器学习模型预测点击率（CTR）和转化率（CVR），优化搜索结果的排序。 LTR 排序模型：通过学习排序（LTR）模型，进一步提升搜索结果的相关性。 用户反馈数据学习：利用用户的搜索和点击反馈数据，不断优化和调整搜索算法，形成基于数据驱动算法迭代闭环。
基于 DNN 的意图 / 商品精准理解提升分发准确率：利用深度神经网络模型，提升用户意图和商品信息的理解精度，增强泛化效果，从而提高搜索结果的准确性。 以文本 + 语音 + 图像的新搜索交互：支持用户通过文本、语音和图像进行搜索，提供更加丰富的交互方式。 ANN 语义召回、多模态召回和 DNN 匹配技术：通过近似最近邻（ANN）算法进行语义召回，结合多模态召回和 DNN 匹配技术，提升搜索结果的相关性和多样性。 个性化搜索 & 千人千面：根据用户历史行为和偏好，提供个性化的搜索结果，实现千人千面的搜索体验。
交互上单向引导到对话式交互导购：从传统的单向搜索引导，发展到对话式的交互导购，提供更加智能和自然交互的购物体验。 基于大模型的用户理解和商品理解解决长尾问题：利用大模型技术，提升对用户需求和商品信息的理解，特别是解决长尾商品的推荐问题。 大模型生成式检索技术：在召回和相关性上大模型也正在重构整个技术架构，包括极具有颠覆潜力的大模型生成式检索技术的探索和应用。
完全 AGI 技术驱动：利用人工通用智能（AGI）技术，全面提升电商搜索和推荐的智能化水平。 完全多模态交互：支持文本、语音、图像等多种交互方式，提供更加自然和便捷的购物体验。 AI Agent 式购物服务：通过 AI Agent 提供个性化的购物建议和服务，提升用户的购物体验。 人格化数字虚拟助理：打造具有人格化特征的数字虚拟助理，为用户提供更加贴心的购物服务。
强大的语言理解和生成能力
广泛的知识总结和归纳能力
显著的迁移学习和多任务能力
逻辑推理和分析能力
多语言多模态建模
商品知识专业性不足：通用大模型在商品类目、品牌和属性等方面的专业性不够，难以满足电商平台对商品信息的精细化需求。这导致模型在处理商品相关任务时，可能无法提供准确和有用的结果。 通用知识和商品的对齐问题：大模型通常基于广泛的通用知识进行训练，但这些知识与具体的商品信息之间存在对齐问题。例如，模型可能无法正确理解某些商品的特定属性或品牌特征。 图像商品理解差：尽管大模型在文本处理方面表现优异，但在商品图像商品理解上仍存在显著差距。这限制了其在需要图像识别和处理的电商应用中的效果。
理解购物历史和偏好：大模型在理解用户的购物历史、偏好、评论和商品细节方面面临挑战。个性化推荐需要对用户统计行为进行深度分析，而通用大模型在这方面的能力有限。 个性化挑战：尽管大模型可以处理大量数据，但要实现真正的个性化推荐，仍需克服许多技术难题。例如，如何在短时间内分析和理解用户的复杂需求，并提供精准的商品推荐。
更新速度慢：大模型本身的更新速度较慢，导致其知识容易陈旧，无法及时反映最新的商品信息、促销活动和价格变动。 高时效性需求：电商平台需要实时更新新商品、促销信息和价格变动，以确保用户获取最新的商品信息。然而，大模型在这方面的更新时效性难以满足电商平台的需求。
高训练和推理成本：大模型的训练需要大量的计算资源和时间，推理过程也消耗大量的计算能力。这使得其在大规模商用中的 ROI（投资回报率）较低，难以广泛应用。 实时性挑战：在线推理速度难以满足电商平台的实时性要求，尤其是在高并发的购物场景中，模型的响应速度成为瓶颈。
用户敏感数据泄露风险：大模型在处理用户数据时，存在敏感数据泄露的风险。这对用户隐私保护和数据安全提出了严峻挑战。 生成内容的安全合规：大模型生成的商品相关内容需要确保安全和合规，避免出现虚假信息或不当内容。这对电商平台的内容审核和监管提出了更高要求。
文法引擎过滤：文法引擎通过分析文本的语法和结构，过滤掉不符合语法规则的噪音数据。这一步骤确保了输入数据的基本语法正确性，减少了模型处理无效信息的负担。 困惑度评分器：困惑度评分器用于评估文本的复杂度和合理性。通过计算文本的困惑度，可以识别和过滤掉那些难以理解或不符合常识的内容，从而提高数据的质量。 质量评分器：质量评分器根据预定义的标准（如信息完整性、准确性和相关性）对数据进行评分。在技术上一般组合使用多种分类器，可基于 CNN 或 Bert 模型进行构建，只有那些高质量的数据才会被保留下来用于训练模型。 数据去重分析：数据去重分析通过识别和删除重复数据，确保训练数据的独特性和多样性，可以使用多种去重算法，这不仅提高了数据的有效利用率，还避免了模型因重复信息而产生的偏差。 基于聚类和分类的过滤：通过聚类和分类算法，可以将数据按照不同的类别和特征进行分组和筛选。此步骤有助于识别和过滤掉不相关或低质量的数据，进一步提升数据的电商知识密度。 安全性过滤：安全性过滤确保数据不包含敏感信息或违反隐私和安全规定的内容。这一步骤至关重要，特别是在处理用户数据时，必须严格遵守相关的法律法规和隐私政策。 数据配比均衡策略：数据配比均衡策略通过调整电商知识类数据和通用数据的比例，确保训练数据的均衡性和全面性。这有助于模型在电商知识增强上充分训练，同时降低对通用能力的损失。
平台和框架
底座大模型
参数扩展
长上下文扩展
持续预训练
SFT 阶段
DPO 阶段
PPO 阶段
用户输入检测：对用户输入的提示词进行实时监控和分析，识别并过滤潜在的恶意或不当内容，防止其对大模型的生成过程产生不良影响。 生成内容检测：对大模型生成的内容进行全面的安全审查，检测其中可能存在的幻觉（hallucinations）、毒性（toxicity）、偏见（bias）等问题，确保输出内容符合安全和道德标准。
监督微调（SFT）：通过在大量标注数据上进行微调训练，使大模型学习如何生成符合安全标准的内容。训练数据涵盖各种可能的输入场景和生成要求，确保模型具备广泛的安全生成能力。 基于人类反馈的强化学习（RLHF）：通过收集和分析人类对大模型生成内容的反馈，不断优化模型的生成策略。RLHF 方法能够动态调整模型参数，使其在生成过程中更加注重安全性，减少幻觉、毒性和偏见等问题的出现。
文法规则引擎: 以句法分析模板 + 词典进行识别，侧重关键词特征明显的文本识别 分类模型：以 NN 为核心的小模型，例如基于 bert 的分类，保证一定泛化，同时满足实时要求 大模型安全检测：通过 SFT 等技术通过大模型来检测，为了满足低时延往往小参数 LLM 实现
融合路线：通用对齐 + 电商对齐 + 安全对齐在 SFT 和 DPO 阶段数据融合，PPO 阶段 RewardModel 模型融合 两阶段对齐：最后单独进行二阶段的安全对齐
MMLU：评估模型在多任务语言理解上的能力。 CMMLU：针对中文多任务语言理解的评估。 C-Eval：评估模型在中文环境下的综合表现。 GSM8K：用于评估模型在数学推理任务上的能力。 GAOKAO：模拟中国高考题目，评估模型的知识水平和解题能力。 SuperCLUE：中文语言理解评估基准。 AlignBench：评估模型在对齐任务上的表现。
自动评估：利用自动化工具和算法，快速评估模型在电商任务中的表现，裁判模型我们使用 GPT4 作为参考。 人工评估：由专业评估人员对模型生成的内容进行人工审核，确保评估结果的准确性和可靠性。
CValues：评估模型输出内容的安全性和合规性。 Safety-Prompts：使用特定的安全提示词，测试模型在处理敏感话题时的表现。 自建安全评估集：基于实际应用场景，构建专门的安全评估数据集。
Query 引导：通过智能引导，帮助用户优化搜索词，提高搜索结果的相关性和满意度。 交互成本降低：减少用户在搜索过程中的操作步骤，提高搜索效率。 转化率提升：通过精准的搜索结果引流，提升用户的购买转化率。
传统方法局限：传统的搜索方法主要依赖于召回和排序，利用 SMT（统计机器翻译）和 NMT（神经机器翻译）技术，优化链路较长且噪音大。 语言理解挑战：处理歧义、多义词和个性化需求是搜索交互中的主要难点，传统方法难以全面解决这些问题。 准确性和泛化效果：在保证搜索结果准确性的同时，提升模型的泛化效果仍然是一个难题。
电商知识增强：将电商领域的专业知识融入大模型中，使其能够更准确地理解和处理用户的搜索需求。 业务任务对齐：结合具体的业务任务，对大模型进行优化，使其在搜索交互中表现更佳。 搜索交互日志利用：利用历史搜索交互日志，优化模型的对齐目标，提升搜索效果。 Multi-Instruction Learning：通过多指令学习，增强模型应对多样化搜索需求的能力。
解决用户需求表达与商品语义对齐问题：确保用户输入的搜索 query 能够准确匹配到相关商品。 提升商品召回的相关性和多样性：提供高相关搜索结果的同时保证结果的多样性，满足不同用户的需求。 提升用户转化率（UCVR）：通过优化搜索体验和结果，提高用户的购买转化率。
Query 理解： 分词：将用户输入的搜索词进行合理的分词处理，提升理解精度。 实体识别：识别搜索 query 中的关键实体，如品牌、型号等。 类目预测：预测用户搜索的商品类别，提升召回精度。 品牌识别：识别并理解用户搜索中的品牌信息。 改写：对用户输入的 query 进行智能改写，优化搜索结果。 需求识别：理解用户的具体需求，如购买意图、用途等。 商品理解： 商品 SKU 理解：深入理解商品的 SKU 信息，提升匹配度。 商品图像理解：通过多模态大模型图像识别技术，理解商品图片内容。 SKU-to-Query：实现商品 SKU 信息与用户搜索 query 的精准匹配。
传统方法局限：传统方法主要依赖于规则和基于 BERT 的二分类或多分类、序列标注算法，优化成本高且难以处理长尾问题。 长尾问题：用户输入的多样化和个性化需求难以全面覆盖。
泛化能力差：商品理解的泛化能力较弱，难以适应多变的商品信息。 图像理解准确率低：基于 OCR 的商品图像理解准确率不高，影响搜索结果的精度。
Instruction Learning：通过指令对齐学习，提升模型对多样化需求的理解和处理能力。 搜索用户反馈用于强化学习：利用用户搜索行为和反馈数据，对模型进行强化学习，持续优化搜索效果。 RAG（Retrieval-Augmented Generation）： 知识图谱 -RAG：结合知识图谱，增强模型对商品信息的理解和匹配能力。 用户画像 -RAG：利用用户画像，提升个性化推荐和搜索结果的精准度。 Web 搜索 RAG： 基于公网搜索信息，解决时效性相关知识问题。
商品标题生成： SKU 描述 -> 标题：通过分析 SKU 描述信息，自动生成简洁明了、富有吸引力的商品标题。 SKU 描述 + SKU 图像 -> 标题：结合 SKU 描述和商品图像，生成更加精准和视觉化的商品标题。 商品文案生成： SKU 描述 + 场景 -> 营销文案：基于 SKU 描述和特定使用场景，生成富有创意和吸引力的营销文案，帮助商品更好地触达目标用户。 SKU 描述 + SKU 图像 -> 图文文案：结合 SKU 描述和商品图像，生成图文并茂的商品文案，提升用户的阅读体验和购买欲望。 卖点生成： SKU 商详 -> 卖点：从商品详情中提取核心卖点，帮助用户快速了解商品的主要优势。 SKU 商详 + 卖点 -> 卖点文案：结合商品详情和提炼的卖点，生成详细的卖点文案，进一步增强商品的吸引力。
图文语义对齐学习：通过先进的图文语义对齐技术，确保商品图像与文字描述之间的高度一致性，提升生成文案的准确性和相关性。 商品图文数据构建：构建高质量的商品图文数据集，作为训练多模态大模型的基础。通过大量真实商品数据的训练，使模型能够更好地理解和生成符合实际需求的文案。
孪生网络（Siamese Network）：也称双塔模型，孪生网络通过两个或多个共享参数的子网络来处理输入的 query 和 SKU。每个子网络独立地将输入映射到一个高维向量空间，然后计算这两个向量的相似度。这种方法的优点在于计算效率高，适用于大规模的在线搜索场景。 交互式匹配（Interactive Matching）：也称单塔模型，交互式匹配模型在处理 query 和 SKU 时，允许输入之间进行复杂的交互操作。这种模型能够捕捉到更丰富的语义关系，从而提升匹配的精度。尽管计算复杂度较高，但在高精度需求的场景中表现出色。
长尾泛化效果存在瓶颈：在电商平台上，用户的搜索需求具有高度的多样性和个性化，特别是长尾搜索 query。这些长尾 query 往往缺乏足够的训练数据，导致模型在处理长尾需求时的泛化效果较差。 超长上下文理解有限：用户的搜索 query 有时包含复杂的上下文信息，特别是超长 query。现有模型在处理这些超长上下文时，理解能力有限，难以准确捕捉用户的真实意图，从而影响搜索结果的相关性。
Prompt 工程应用 是一种通过设计和优化输入提示（prompts）来引导大模型生成更准确和相关的输出的方法。在电商搜索场景中，精心设计的 prompts 可以帮助模型更好地理解用户的搜索意图，而不需要后训练，从而提升搜索结果的相关性。 数据增强蒸馏 则是通过生成更多高质量的训练数据来提升模型的泛化能力。利用调试优化好的大模型 +prompt 工程来标注数据，再通过蒸馏技术将这些数据整合到模型的训练过程中。
增强预训练 是指在模型预训练阶段引入更多领域相关的数据和任务，以提升模型对特定领域的理解能力。在电商搜索场景中，可以通过引入大量商品描述、用户评论和搜索日志等数据进行预训练，使模型能够更好地理解商品和用户需求之间的关系。 相关性对齐 则是在模型训练过程中，通过设计特定的损失函数和优化策略，使得模型输出的相关性评分更符合实际需求。具体来说，可以通过引入多任务学习、对比学习等方法，使模型在学习商品相关性的同时，兼顾点击率（CRT）和转化率（CVR）等关键指标，核心是需要考虑搜索系统的收益。
成本：用户交互成本高，需要精准的关键词表达才能容易找到所需商品，用户购买决策成本高，搜索结果通常是一个长长的 SKU 列表，用户需要多次点击查看商品详情，增加了决策难度和时间成本。 效率：传统搜推技术转化链路长且低效，长尾搜索结果不相关或无结果，导致搜索效率低下，用户难以找到符合需求的商品。 体验：交互方式受限，主要依赖于单向的 query 输入，会存在用户在多个平台之间跳转，增加了购物的复杂性和不便。
技术驱动：下一代 AI 电商搜索应完全由大模型或 AGI 技术驱动。在技术上能够更深刻地理解用户需求，并提供高度个性化的搜索和推荐服务 数字虚拟助理：产品形态上，下一代 AI 电商搜索应类似于电影《Her》中出现的超级 AI 助手。这个数字虚拟助理能够与用户进行全模态的自然语言交互，包括无障碍的流畅语音交互，并且具备听觉、视觉和空间感知等能力。 精准商品推荐：基于用户需求，数字虚拟助理可以直接推荐最匹配的商品，并给出精准的商品总结，解释为什么这些商品满足用户需求，性价比如何等。对于需求不明的用户，助理可以进行拟人的交互式导购，帮助用户明确需求然后推荐。 智能代理：通过 AI Agent 技术，数字虚拟助理可以在用户授权下自动完成下单，包括后续的物流和售后服务。用户只需要下达简单的命令，助理即可完成整个购物流程，极大地简化了用户的操作。
10 月 18 日 -19 日，QCon 全球软件开发大会将在上海举办。从云原生工程、架构、线上可靠性、大前端、技术管理等经典内容，到 AI Agent、AI Infra、RAG 等大热的 AI 话题，60+ 资深专家共聚一堂，深度剖析相关落地实践案例，共话前沿技术趋势。大会火热报名中，详情可联系票务经理 17310043226 咨询。
关注「InfoQ数字化经纬」公众号，回复「案例」领取《行知数字中国数字化转型案例集锦》。 关注「InfoQ数字化经纬」公众号，回复「进群」加入数字化读者群交流。
