Able 说 AI 丨用知识增强帮助大模型完成专业的数据分析任务

学术   2024-10-17 13:18   上海  

点击爱数

设为星标

在数据分析领域,清晰理解问题中的时间范围、地区以及具体指标,对于生成准确的查询非常重要。然而,在处理SQL生成和指标分析等高难度任务上,即使是最先进的大模型也难以达到令人满意的准确度。

那么,如何用知识增强帮助大模型完成专业的数据分析任务?

本期Able说AI邀请了爱数首席架构师——陈骁,为大家进行详细解读。



SQL生成和代码生成的本质区别

  • 代码相关的知识、也就是训练集非常丰富,Github就是最好的来源;而SQL很少

  • 代码有较好的上下文连贯性,贴近自然语言,不需要太多的背景知识和上下文,一个文件或者一个项目的文件都可以被大模型进行推理;但是SQL需要海量的背景知识、以及海量的数据支撑

 

爱数AnyFabric 用知识增强帮助大模型完成专业的数据分析任务

由于大模型在没有背景知识的情况下可能无法准确理解数据分析的问题和要求,因此爱数AnyFabric提出了一种解决方案:通过知识增强结合大模型,预先识别业务表中的字段和业务信息,并构建词库和知识图谱。此外,利用agent技术将用户规则融入系统,以提高特定领域的准确率。经过这样的知识加持,SQL生成能力达到了90%以上的准确率,显著提升了用户体验。未来工作将集中在优化知识构建和从大量数据中自动化生成知识上。


未来,爱数AnyFabric将会持续攻克更多数据分析领域的问题和挑战,从海量的文件和海量的数据中自动化的生成知识,发现知识的力量。



以数据重塑生产力,共创智能世界

点击 阅读原文,了解 更多信息~

点“在看”给我一朵小黄花

爱数
爱数大数据基础设施,为了一个更智能的未来。
 最新文章