大模型的崛起为数据分析领域注入了新活力。凭借其卓越的自然语言处理技术,不仅推动了数据分析的智能化进程,还降低了技术门槛,使之更加易于理解和应用。
近日,在「敏捷·创变——2024观远数据智能决策峰会暨产品发布会」现场,自然堂集团大数据中心总经理罗予晋以《自然堂全渠道数字化创新与AI实践》为主题,介绍自然堂集团引入大模型技术,并与观远数据合作,共创ChatBI问数产品,利用AI大模型的自然语言理解能力,为用户提供更简单、直接、高效的数据查询方式。
以ChatBI技术解决
临时、重复、个性化的业务需求
自然堂集团作为中国领先的数字化驱动的科技美妆企业,一直致力于通过科技创新提升产品质量和用户体验,已在数字化领域也取得了显著成就,从消费者到供应链,从产品开发到后台服务,部署了全面的在线化工具,实现了数据的无缝整合,构建高效的数字化运营体系。自然堂在充分利用数据资产,以数据应用推动业务的持续创新和发展的过程中,也曾遇到过一些难点。
临时性一次性需求多:灵活变动的业务要求数据指标动态综合调整,众多指标和维度是临时提出的一次性需求。例如业务想要取下半年6个品类的会员购买的数量以及金额数据。此时,产品经理需要进行对接,讨论业务场景、数据口径和价值,并由数据开发工程师进行开发,最后与业务对数。整个机制过程又慢又沉重,导致大家疲惫不堪。
重复需求多:梳理了自然堂的日常数据应用需求,发现很多的需求是重复进行的。不同的业务方,不同时间点,不同场景下,可能是同一个取数需求,都需要重新排期进行,白白浪费了大家的精力。
使用门槛高:不同用户往往存在个性化的分析逻辑,尽管内部已经创建了1000多张报表和看板,但仍然无法完全满足业务部门对数据的个性化需求。但传统BI门槛较高,非技术人员往往难以自行使用BI进行个性化分析。
去年,随着大模型的出现,自然堂开始思考利用AI来解决数据难题。大模型又可以听懂人话,又可以写代码,这两个根本能力就像一个虚拟产品经理加上一位数据分析师,可以作为某些业务同学的助手,随时在线,一起协作,解决困扰已久的取数问题。
鉴于观远数据在技术积累与业务需求方面与自然堂高度契合,自然堂决定携手观远数据,共同搭建AI问数(ChatBI)解决方案。通过即时学习、逻辑预设、图表生产能力,分别解决临时、重复、个性化的业务需求:
即时学习:通过自然语义的对话交互,即可理解临时的指标和维度含义,及时给出结果,无需经历传统分析方式的开发过程,即问即用、用完即走。
逻辑预设:通过预设决策树模型,可以覆盖80%重复的用数需求。
图表生成:通过对话,基于对个性化需求的理解,可以自动生成可视化图表,帮助业务用户快速构建个性化分析体系。
ChatBI 三个关键:
结果准不准、知识显性化、交互更友好
经过几个月的开发,自然堂ChatBI问数产品问世,构建了标准解决方案,将大语言模型和BI基座能力相结合,应用大语言模型的底层能力,学习企业业务知识(表知识、业务逻辑、问答知识、洞察知识等),实现问答式数据分析。
同时,逐步向内部进行推广,但起初准确率其实并不高,交互不够友好,导致使用人数不多。我们进行了深入思考,总结了ChatBI落地应用的三个关键点。
结果准不准
底层整个数据治理的好坏,直接决定了AI工具的生产结果好与不好。起初由于底层数据多表关联非常复杂,问数准确率仅有60%-70%。对此,自然堂对表单进行了关联优化,并把相似相近的指标命名字段,做更多的使用注释,包括归属渠道、订单销售渠道等等。这样对GPT来讲才可以分清楚SQL要用哪个。
今年,我们与观远数据进行了进一步的数据治理,比如如何识别意图,如何生成SQL,以及如何多Agent互相检查,如何把数据库建设更好,如何把已经有的SQL和问题结合到一起等等。目前,取数准备率从裸跑60%成功提升到92%。
知识显性化
准确率的提升过程,实质上是企业知识库建设的过程。我们的知识库中积累了丰富的SQL示例和指标体系定义,这些显性化的知识不断积累,为提高准确率提供了坚实基础。
未来,我们的职能也会更多地转向底层,做指标体系的梳理、指标平台的治理等等,从应用层转型到维护知识库,让AI工具越来越好用,不断再往前走。
交互更友好
用户交互更友好也非常关键。最早为了提高准确率,我们要求使用者明确提出自己的使用范围,比如要问会员,还是要问会员销售或者问各个渠道销售等等。但用户很多时候根本不知道自己需求的表到底是哪一个。这样用户就很难用起来。
现在我们跟观远不断地磨合业务与产品,终于可以通过Agent互建识别用户的意图和问题,通过不断的自然问答,用户很容易得到自己所要的东西。不仅交互体验更好了,准确率也得到了提升。
同时,我们将所有的交互功能集成在钉钉平台中,员工可以直接在钉钉进行数据查询和获取答案,取数也更为便捷。
抓住三个关键点
ChatBI实现落地价值提升
基于以上三个关键点,现在整个ChatBI产品使用率、使用频次都得到了极大提升。
数据分析需求响应效率极大提升,产品上线3个月后活跃用户占比52%,覆盖业务部门10+,处理取数需求3k+,业务部门的数据需求满足周期从原来的0.5小时~3天不等,缩短到1~5分钟,有效提升数据分析需求的响应效率。
数据分析师的服务半径得以扩大,从原来的SQL工程师变成企业知识训练师。数据支持部门与业务部门进行更紧密合作。
降低跨部门沟通协作成本。沉淀的营销、销售、市场、库存和财务等业务数据,使得我们能快速响应综合性业务分析需求,加速知识调取与流通,大大促进了部门间的沟通和协作。
培养了业务团队的数字化思维。培养业务数字化思维,规范业务需求描述,大大降低其他需要开发的数据需求的沟通成本。由于工具的使用变得简单且无门槛,员工们开始习惯于使用数据来指导决策,这种习惯逐渐转化为企业文化的一部分。
未来进一步建设指标平台,
提供更精准全面的数据分析服务
当下,自然堂ChatBI产品可查询数据场景,包括C端销售数据、全渠道销售数据、会员数据和市场品类数据,也正在不断推进更多可查询数据,包括营销数据、供应链数据和财务数据,以期在提供数据的同时,也能提供更深入的洞察力。
未来,自然堂计划进一步建设指标平台,以增强AI的效果,提供更加精准和全面的数据分析服务,包括:
指标平台:利用AI技术,通过自然语言查询指标体系。一旦指标体系建立,查询结果可以迅速呈现。这种搜索方式的效率和准确性依赖于指标治理的完善程度。
2. 智能洞察:探索利用AI进行数据分析,直接生成洞察结果和简单的策略建议。
3. 问答生图:支持问答功能,自动生成图表和可视化展示,使数据分析更加直观和易于理解。
展望未来,自然堂集团将于观远数据继续保持紧密合作,深化AI技术在数据分析领域的应用,共同推进业务增长,开创数据洞察力的新篇章。
扫码下载分享PPT
• 维他奶:传统消费品牌数据驱动转型,如何Make it happen
👇 点击阅读原文,立即体验DEMO