免费领【数字化全流程建设资料包】
What:如何理解 AI和 BI的融合
从概念和理论上说,AI+BI 模式是有价值有前景的
AI与BI的区别在于BI负责梳理生产关系,AI是先进新质生产力。那么AI+BI模式通过将AI嵌入BI,构建基于AI的BI平台,利用AI的智能让BI系统能够解决更复杂的业务场景,产出更精准的分析结果,从而使决策更为科学和准确。
从具体场景上说,AI+BI 的模式能让部分 BI 场景更深入,产出更有价值的知识
对于结构化的数据,BI系统可以应用一些准确度更高的机器学习算法,得到更精确的分析结果。例如市场营销,采用 AI+BI模式就可以在用户分群的基础上,得到更精细的针对每个用户的分析结果,从而给出更精准的个性化营销方案。还有金融领域的风险监测,AI+BI的模式可以分析出金融风险和其他指标、行为之间的内在联系,预测更为准确。
对于非结构化的数据,BI可以应用图像处理、语音识别和文本分析等AI技术,智能化地处理BI系统的复杂业务场景。例如AI+BI模式能够通过语音识别技术录入数据,控制驾驶舱和数据大屏的制作等。还有智能客服系统,不需要手动 收集客户问题再分配人员解答,通过语义理解和自然语言处理等技术分析客户问题,实现实时、自动回复客户。
Why:为何融合更多是 Al for Bl
AI 与 BI 存在本质上的区别
BI的发展路线是以数据为基础的,主要是数据的管理和分析。虽然AI技术的范围非常广,但当前BI系统中真正能用上 的主要是一些处理文本、图像等非结构化数据的AI技术。但是除了一些特定行业,大部分的企业很少会有文本处理和 图像处理的需求,绝大多数BI系统需要处理的仍然是结构化的数据。
AI 与 BI 的交叉只在于机器学习和数据挖掘,而且这种交叉也极小
AI的机器学习强调算法,BI的数据挖掘还包括对数据的管理,算法选择上也较为简单,没有神经网络和深度学习等复杂AI算法。
AI+BI 的模式难成为 BI 市场的主流,更多的是 AI For BI
不是要用AI代替BI,而是尽可能借助AI的相关能力,提升BI工具在各环节的效率、降低BI工具的上手和使用门槛,让 更多领导和业务人员把BI用起来,帮助客户最大化地用好BI工具的价值。
When:何时迈入 AI for BI 时代
目前是采用“对话”的方式来提问
对话式分析:直接以对话为核心入口,能够实现即时性问数查数,AI辅助人工分析数据、数据资产检索等,系统性地降低用 户的使用门槛;
对话式搭建: 嵌入到原有产品流程中,去提升搭建制作的效率,实现快速生成组件/仪表板生成制作,做出分析报告等。
结果缺乏可解释性 : AI For BI,一个核心落地场景是「对话式 BI」 人们需要基于可信的数据做业务决策,由于整个意图解析和数据生成过程是一个黑盒,人们无法确定返回的数 据就是他想问的数据。
召回和精度方面的问题:也就是用户问了10个问题,其中有多少个系统能够给出正确的回答。之前的「问答BI」产品在技术上大都采用 规则解析或规则解析+预训练(小)模型的方法来实现文本到 SQL 的转化,技术上的限制导致问答的召回和 精度不够理想。进一步的,由于预训练(小)模型的跨场景泛化能力不足,就需要针对特定场景不断的增加语 料,并重新训练模型来提高精度和召回,从而导致实施成本变得难以接受。
近年来,随着市面上各种「数据分析」类的课程的推广和普及,越来越多的业务人员逐渐具备了数据思维,能够从数 据的角度去分析业务问题。而大模型作为当下最大技术红利,其跨任务、跨场景的泛化能力为我们实现一个成熟的「 AI For BI」产品带来了新的机会。
AI for BI 的技术与产品发展路径
AI For BI,一个核心落地场景是「对话式 BI」
其核心技术是 Text2SQL,就是要把自然语言转化成具体的数据查询语句。该技术从2000年左右在学术圈就有人开始 研究,当时主要是从事数据库的人员在做,很多论文都是发在类似 VLDB 这样的数据库领域的会议上。那时候该技术 并不是太强,主要是基于传统的机器学习,先把用户的查询抽象成几个分类,定义出一些模板,然后用有监督学习去 做一个分类模型,再去填模板。由于这种技术本身的局限性,产品呈现出来的精度一直很低,远远没有达到产品化落 地的要求。直到2016年左右,正值互联网发展成熟,随之带来了一些新的技术,包括:检索、推荐、深度学习等。此 时,美国有工程师尝试做了产品创新,把数据的查询变成一个在有限空间内的数据检索问题,然后用检索技术来解决 Text2SQL。同时他也做出了一些当时让人很惊艳的产品,在BI领域引起了不小的关注。但是当时的技术路径本质上还 是检索,这种技术路径的主要问题是没法真正去理解自然语言,而是把一个句子分成一个个的词去做匹配,并没有去 真正理解一句话中的主谓宾、定状补。
但是这种产品形态引起了一些有很强学术能力的公司的关注,比如 MicroSoft,他们开始用基于神经语言模型的 NLP 技术来实现「对话式 BI」。当时虽然已经开始用神经语言模型去理解语义,但模型的尺寸和后续出现的预训练模型以 及当下的大语言模型相比有巨大的差距。模型的能力也有局限性,所以当时的产品现状是精度低、配置成本高,意图 理解的能力也很弱,处于“人工智障”的一个状态。直到大语言模型的出现,算法的改进和模型尺寸的提升带来了大语 言模型的上下文学习、思维链等一系列新的能力,让我们有机会去解决一些原来老的技术很难解决的问题。
本文摘录于帆软最新《商业智能应用白皮书 5.0》
扫描下方二维码或点击阅读原文链接即可下载完整PDF资料
往期精彩推荐
▼
2024-09-11
2024-09-19
2024-08-21
2024-08-23
2024-07-24
2024-09-24
2024-09-25
2024-09-26