导读 分享主题：拥抱大模型时代，构建新时代数字员工。
1. 背景介绍
2. 产品介绍
3. 案例分享
4. 问答环节
分享嘉宾｜高原 句子互动 联合创始人兼CTO
编辑整理｜蔡郁婕
内容校对｜李瑶
出品社区｜DataFun
背景介绍
以 GPT 为代表的大语言模型开启了一个全新的生产力。人类历史上从来没有这种能力，可以千人千面，场景性的，带有情感的让企业和每一个用户之间进行互动。有了 GPT 后可以做定制化交互，它不只局限于对话，更不只局限于被动的响应，而是一名真正的数字员工，可以主动解决现实中看起来非常繁琐的问题。缺乏与真实世界的连接：大模型专业深度不足，数据更新不及时，经常会出现幻觉，用户使用最直观的感受是它会一本正经地“胡说八道”。记忆能力有限：大模型由于 token 的限制，只能记忆部分上下文，比如 ChatGPT3.5 只能记忆 4096 个 token 的上下文，无法实现长期记忆。数据安全隐患：企业要想利用大模型构建商业，必须将自己的语料全部输送给大模型，以进行推理和表达，对于数据敏感的行业而言存在较大的安全隐患。落地成本较高：大模型由于数千亿的模型参数，光部署计算资源的投资就得上亿，重新训练一次模型也需要近千万的投入。句子互动在 2018 年成立之初就计划打造一款聊天机器人，但当时老一代的 AI 技术有很多限制，比如需要手动清洗大量语料，并进行人工标注，再训练模型，反复迭代，效果仍无法达到预期，解决的问题非常有限。大模型问世之后，逻辑推理能力大幅提升，甚至可以实现 zero-shot 的逻辑推理，这一能力使得聊天机器人的工作流可以更加自动化，成本也可以大幅降低，甚至无需人工标注，基于大模型可以实现更加智能的 AI 应用。产品介绍
句子互动通过 RPA+AI 打造了下一代数字员工。其具备四个能力，提供了两款产品，以 8 大生命周期作为理论支撑。它既可以化身为数字销售，高效推动业务增长；也能够成为数字网格员，助力社区治理升级；还可以是数字 SDR，精准挖掘潜在客户；或者成为数字民警，为维护社会安全贡献力量；亦有可能成为数字电力管家，保障电力系统的稳定运行等等。![]()
1. 四大核心能力
产品提供了 RPA（机器人流程自动化）工具，可以控制即时聊天软件进行各种操作。大模型原生交互以文本为主，而有了 RPA 能力后，就为大模型提供了实际出口。能在社交媒体平台上让机器人实现发消息、收消息、打标签等操作，还能通过逻辑定义行为，比如拉人进群、创建群等。句子互动的业务流体现了最佳实践和流程，涵盖了从客户需求分析、产品推荐、订单处理到售后服务等各个环节。通过标准化的业务流程，数字员工能够为客户提供一致、高效的服务体验。句子互动的数据分为结构化数据和非结构化数据。结构化数据包括客户的基本信息、购买记录、会员等级等，这些数据可以直接用于分析和决策。非结构化数据则包括客户的聊天记录、反馈意见、社交媒体上的评论等，通过自然语言处理技术，句子互动能够从非结构化数据中提取有价值的信息，为企业提供更深入的客户洞察。句子互动的模型池包括大模型、小模型、端侧模型等多种类型的模型，满足不同业务场景的需求，通过整合不同类型的模型，句子互动的产品能够为企业提供全方位的智能解决方案。![]()
2. 两个产品
![]()
通过 RPA 打通了社交媒体平台，结合用户的标签、订单信息、聊天历史，生成一些定制化的话术，主动联系客户去完成转化成交，并不断去做获客留存、转化复购。![]()
利用 RPA，基于社交媒体打造了一个运营服务的呼叫中心。如果企业向用户发送一条短信告知其近期有新的产品推出，用户很可能不会予以关注。然而，若采用社交媒体的方式推送此类通知，客户至少会打开查看并进行了解。因此希望通过 RPA 的方式，基于即时通讯工具为用户提供智能体。（RPA 即通过模拟人类操作，将基于规则的重复枯燥数字化业务流程实现自动化，进而达到降本增效之目的。）![]()
RPA 在 AI 落地中扮演了非常重要的角色，可以做多 IM 账号的聚合以及客服的分流，实现智能运营、营销自动化，以及社群朋友圈自动管理等功能。![]()
在 RPA 这套产品里可以实现智能触达，或者高频推送智能触达。![]()
RPA 产品可以聚合多个账号的消息，把同一批账号和信息聚合在一起，在一个界面上管理账号和回答客户问题。![]()
由于大模型能力仍存在缺陷，因此需要通过工程化的手段解决机器人搭建过程中可能遇到的问题。AI-Agent 平台提供了可视化的 Agent 和流程引擎，通过 Agent 构建到 AI workflow 的编排、RAG 检索、模型管理等能力，助力快速构建大模型应用，打造千人千聊的 Agent 平台。AI-Agent 主要包括四个功能模块：知识库、流程引擎、测试中心、调优中心。![]()
知识库：支持不同格式一键上传，实现了对复杂文本的智能切片，图片视频智能理解，以及对话历史一键提取。![]()
流程引擎：通过流程编排的形式去组织大模型的能力，之后回复用户。与其它产品不同的是，我们的 work flow 完全是针对 IM 对话设计的。![]()
测试中心：采用测试用例的方式，通过测试集的管理和不同版本的管理，以及每个版本测试集测试情况，来判别每次迭代更新是否实现了优化，保证 Agent 不断地正向迭代。![]()
调优中心：可以看到每一个历史的消息回复，精确定位到问题，并且能将问题和回复加入测试案例中，不断优化流程。![]()
机器推荐：AI 辅助人工客户，发送之前可修改内容。![]()
一个好的数字员工不只是一个产品，而是要提供全方位的服务。我们通过运营力、内容力、触达力、数据力、组织力这五个方面帮助用户进行分析，基于分析结论搭建 AI 工作流。![]()
专门组织了 PE（Prompt Engineer）团队，团队用产品跟客户沟通，结合客户提供的私有数据去搭建数字员工。根据产品的规划完成测试上线的动作，之后陪跑，解决上线后的问题，再不断地迭代模型，最终满足需求。![]()
整体的技术架构如下图所示，作为大模型中间件提供相应的解决方案。在应用层可以提供数字民警、数据销售员工、数字网络员等功能。在 RPA 层提供了接入到 RPA里的能力，让这些数字员工能够真正上岗，与客户建立联系。中间层，提供编排能力，包括处理逻辑，如数据切割、转换更新、pipeline、意图识别、对话管理等。向量数据层是数据知识库的管理。最后借助大模型层的推理能力来实现这一整套逻辑。![]()
3. 八大生命周期理论
搭建 Agent 过程中，需要不断往复循环，首先做需求分析，设计流程，处理数据，再写 prompt，搭建系统，做评测，集成到平台上面去试运行，再真实地上线运行，拿到用户反馈之后，再重新分析有哪些地方可以优化，然后再重复这一流程，不断将系统越做越好。![]()
2020 年，句子互动 CEO 李佳芮所作《Chatbot 从 0 到 1》第一版面市，当时利用 NLP 技术实现 chatbot 仍存在很多困难。到 2024 年，随着大模型技术的突破性发展，该书又出版了第二版，加入了大模型相关技术，欢迎感兴趣的读者阅读。![]()
4. 产品服务
我们的产品提供了多种部署方式，灵活性高，服务全面。![]()
案例分享
1. 案例一：健合集团-AI 产品知识库
SKU 产品多：带来了管理成本高、产品更新迭代快、销售难度大等影响。人员流动大：投入了大量时间、人力和资源进行招聘和培训，效率低下。通过 AI 机器人，帮助销售人员解决与客户沟通中遇到的任何问题，提高效率。整体流程为，针对用户提问，首先进行意图识别，将一个很广的对话域收缩到一个较小的对话域，接着对上下文指代或描述不清晰的问题进行重写，根据改写后的问题进行检索，再次通过一个分类器，到相应的知识库查找该问题，生成答案，之后通过校验程序，判断答案是否正确，最终回复用户。![]()
2. 案例二：头部银行保险业务-AI 业务员
转化周期长：过去大部分成交都是“概率成交”，虽然企业有打造“信任成交”的经营策略，但是“客户陪伴式营销”的策略落地周期长，成本高，销售意愿度不可控。沉默线索转化成本高：银行行业拥有大量的沉默线索，人工进行线索转化成本高，不可规模化，因此即使沉默线索中有可能挖掘出大单，但是销售依然会专注于确定性更强的重点线索。以用户个体为最小服务单位，让 AI 机器人主动向用户提问来获取信息，根据用户身份和需求，主动提供针对性的内容，并检测触达效果。与银行系统打通，借助 AI 和 RPA 实现了精细化运营。![]()
通过在流程引擎中设置转化链路，让 AI 业务员可以主动获取信息，并发起下一步动作。![]()
基于各种标签，决定客户运营手段，并且通过标签的评分去确定是否转人工，是否达到 VIP 级别。如果 AI 在接待的过程中发现某个客户的打分超过了平均分，说明客户很有价值，非常值得有一个专业的保险顾问或者客户经理去跟进，采取下一步动作。![]()
AI 给业务员最大的价值在于可以帮销售筛出重点线索，销售继续跟重点线索，可以从原本沉默的池子里不断寻找新的机会。![]()
3. 案例三：AI 数字分身
结合品牌特性，打造独特的数字人格，提升品牌互动性和用户参与感；复现IP角色，为用户提供更加沉浸式的体验。通过独特的领域知识、说话风格等搭建AI助理，提供全天候咨询服务，可以快速、准确地回答问题。![]()
4. 案例四：政务场景-数字网格员、数字 AI 民警
居民可以通过社交媒体快速得到政府的帮助，解决生活中遇到的实际问题。![]()
通过社交媒体消息推送减少网络诈骗。当居民收到诈骗信息蒙在鼓里的时候，如果突然有个公安局的人给他打电话，或者给他发了一条消息，可能会瞬间点醒他，从而避免诈骗。![]()
除了上述案例外，还有很多运营场景，可以在 AI 的帮助下，得到效率和用户体验的提升。![]()
问答环节
Q1：产品是在 dify 的基础上二次开发的吗？如何跟 RPA 接口对接？A1：因为我们希望这一套产品能够最大化的来适配 IM 对话场景，所以整体产品都是我们自己研发的，来保证我们对功能的可控性，而且我们在设计开发的时候，dify 也还没有工作流的功能。和 RPA 对接这块是因为 RPA 这一套系统也是我们自己开发的，两套系统的对接就直接通过开放的 HTTP API 把功能接在一起就可以了。A2：客户将常用问题列在 Excel 中，PE 把所有问题在产品里面问一遍，之后就到调优中心，把问题批量导入测试中心里，形成测试用例。最后去列好所有的结果，预期结果，以比对其通过率。句子互动联合创始人& CTO 高原
Sam Altman 在 Y - Combinator 带的最后一届校友，奇绩创坛 S23 校友， Bot Friday Club 活动发起者之一，2w+ star 开源社区 Wechaty 核心 contributor ，前 Amazon , Expedia 全栈工程师。
