本文摘自达观数据出版书籍《推荐系统算法、案例与大模型》
图1 智能推荐系统总体架构
依托数据中台的海量数据处理能力,提供推荐应用所需的内外部批量和复杂实时用户数据、物品数据和行为数据加工处理,生成数字画像标签提供给推荐平台分析应用。
支撑个性化推荐应用模型体系训练、验证及批量模型部署,为智能推荐服务平台提供分析建模工具支撑,生成训练好的推荐模型包,供推荐平台部署,提供推荐模型服务。
提供个性化推荐应用所需的实时事件感知采集,供大数据平台处理,同时接收来自智能推荐服务平台的推荐指令,实时流转到组织经营平台智能分发渠道端进行处理。
提供推荐平台运行报警时系统自动通知邮件、短信功能。
行内用户身份统一认证管理。
图2 智能推荐系统数据流
实时推荐服务,包括推荐API请求的参数解析和校验、场景推荐配置信息获取和解析、执行包括召回排序等推荐逻辑、返回推荐结果等。
离线挖掘分析,包括用户画像和物品画像构建、NLP分析、特征工程、排序模型训练、推荐召回结果生成、数据指标统计等; 近线挖掘分析,包括用户和物品的冷启动处理、近实时行为数据处理、推荐结果的预生成等;实时推荐服务,包括参数解析,基于召回、排序、运营干预、兜底等推荐流程生成推荐结果,接口异常及超时降级处理等; 后台管理系统,包括各种指标数据的统计展示,算法及运营规则的配置,用户、角色及权限的配置管理等; 系统运维,包括日志统一收集,效果指标和服务状态的监控,鉴权控制,资源使用统计等;
智能推荐平台的特征处理模块基于用户、物品及其交付的多样化输入数据,实现离线特征(批处理/微批处理)、实时特征等多维度加工处理,同时支持自定义特征数据的导入,以应用于模型训练、模型实时预测、模型批量预测等流程、服务。
在推荐平台的建设中,模型的训练和预测功能是整个平台的重中之重。在该项目中,涉及到的Wide&Deep、DeepFM、MMoE等诸多模型的训练和预测的实现,都是基于统一的流程来实现的。
图4 智能推荐系统模型训练预测流程