构建Data Agent:探讨企业应用中基于大模型的交互式数据分析及方案【上】


数据,在如今企业商业决策中的重要性毋庸置疑。正如BI(商业智能)系统已经成为众多中大型企业数据分析、预测与决策支持的关键IT设施。当然,广义上的BI是一个庞大的IT体系,并非一句简单的数据分析就能概括,ETL、数据仓库与集市、BI分析与可视化、数据挖掘工具等构成一个完整的端到端系统。本文聚焦在企业BI应用的最后“一公里”,即面向最终使用者的交互式数据分析、挖掘与呈现的环节(结构化数据为主),探讨大语言模型(LLM)的应用价值与相关方案。

大模型在企业数据分析的价值




在现有的企业数据分析应用中,无论是中小型企业自定义的简单报表查询,还是大型企业基于专业数据仓库与BI工具的经营分析系统,尽管在决策支持中发挥了重大作用,但是在使用中仍然存在一些可见的不足,这也常常使得BI类的应用很难达到预期的建设目标。一些常见的问题包括:

  • 业务部门的数据分析过度依赖于技术部门。而业务与技术之间由于对分析需求理解上的差异,往往需要繁琐的沟通与确认,效率较低。

  • 较多的“沉睡”功能。不断的业务需求迭代的结果可能是大量功能的堆积,特别是一些定制的分析型应用,可能80%以上的功能使用频率较低。

  • 过于专业的BI工具。虽然能够灵活的即席查询、多维分析、数据洞察等,在一定程度上增强了灵活性,但是对业务人员仍然不够友好。

而现在大语言模型的出现,向企业应用展示了一些独特的能力:

  • 提供了一种基于自然语言的交互界面可能,且在语义理解能力上有了革命性的飞跃

  • 在理解的基础上,基于海量语料训练或微调的模型,能够推理出你需要的结果,比如一段文字或代码


那么,是否可以利用大语言模型的自然语言的能力来连接不懂技术的业务人员与企业的数据,弥补他们之间的技术鸿沟,从而简化数据分析的过程呢?

我们试图在大语言模型的基础上构建一个数据分析的智能体(且称作Data-Agent):重新定义我们与数据的交流方式,不需要冗长的开发流程或者繁琐的专业工具,只需要“说话“就行,因为没有什么比自然语言更简单的交流方式。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

这样,企业内的数据分析场景(至少是一部分场景)在未来可以转变为:业务人员通过自然语言与Agent对话(比如:我需要了解一下上季度各大区的销售与增长情况),完成数据查询、统计、分析甚至洞察。优势显而易见,主要体现在:

  • 简单:能够用自然语言表达出你的分析需要即可。

  • 快速:无需冗长的定制开发、也无需BI工具上的拖拉拽。

  • 交互:基于对话的自然交互形式,无需找菜单。

  • 节约:不会淹没在大量的不常使用的报表之中。

在企业应用的数据分析领域尝试用LLM来升级,一个客观的优势是相对于企业中关键的OLTP应用(联机交易处理),分析型应用的容错空间更大一些。

Data Agent如何定位




尽管如此,我们仍然必须清醒的意识到:大语言模型虽然在不断的迭代过程中越来越强大,但类似商业智能这样的企业级应用要远比分析一个Excel文件、总结一个PDF文件的问题要复杂的多:

  • 数据结构复杂:企业信息系统的数据结构复杂性远远超过几个简单的Excel文件,一个大型企业应用可能存在几百上千个数据实体,所以在实际应用中,大型BI系统会在前端经过汇聚、简化与抽象成新的语义层,方便理解。

  • 数据量较大:分析类应用以海量历史数据为主,即使一些数据在分析之前会经过多级汇总处理。这决定了无法在企业应用中把数据简单的脱机成文件进行分析处理。

  • 分析需求复杂:企业应用的数据分析需求涵盖即席查询、到各个维度的报表与指标展现、数据的上下钻、潜在信息的挖掘等,很多需求有较复杂的后端处理逻辑。


这些特点决定了,当前大语言模型在企业数据分析中的应用无法完全的取代目前所有的或者部分的分析工具。其合适的定位或许是:作为现有数据分析手段的一种有效补充,在部分需求场景下,给经营决策人员提供一种更易于使用与交互的分析工具。

具体的应用场景包括:‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

  • 即席数据查询。提供对运营或统计数据的简单自定义查询,当然你只需要使用自然语言。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

  • 传统BI工具能力的升级。很多传统BI工具会定义一个抽象的语义层,其本身的意义之一就是为了让数据分析对业务人员更友好。而大模型天然具有强大的语义理解能力,因此将传统BI中的一些功能进化到基于自然语言的交互式分析,…

— 以上为试看内容(约 40%),开通会员后阅读全文 —