Is GPT-4 a Good Data Analyst?
这是我看到的第一篇关于 GPT-4 能否承担数据分析工作的正经的学术论文。
看完论文，给我的第一感觉是刚毕业没几年的数据分析师工作会面临着 GPT-4 极大的挑战，对于初出茅庐的数据分析师而言，他们与资深数据分析师的最大差别在于经验，资深数据分析师对于手上的数据有着深刻的了解，他们拥有着一些独特的知识和技巧（说白了就是他们了解一些互联网上没有的知识，行业内的知识），在这一点上，GPT-4 是无法取代的。核心点其实不在于 GPT-4 能不能做到，而是大部分人工智能都很难获取到行业内的私有数据。这篇论文中也提到过这一点：GPT-4仍然存在幻觉问题，无法保证高正确性。
数据的私有性和安全性是给数据分析师最大的护城河。
另外一点也是值得注意的，数据分析师有一部分工作是需要根据业务需求进行拆解，变成更具体的问题，而这一点论文也是给出了开放性的回答：
在更实际的情况下，原始需求更为普遍，要求数据分析师从一般的业务需求中制定出具体的问题，并确定哪种类型的图表能更好地表示数据。我们下一步的计划是收集更实际和通用的问题，以进一步测试GPT-4的问题表达能力。
可能避免争议，对于 GPT-4 能否取代数据分析师，论文给出了一些相当乐观的结论：
实验结果和分析表明，GPT-4 在数据分析上有与人类相当的性能，但是否可以取代数据分析师需要近一步研究才能得出结论。
做一下简单的脑洞，假设原本数据分析师的薪资组成是：
• 生成SQL和Python代码：由人类全部完成，值3000元。
• 执行代码获得数据和图表：由人类全部完成，值3000元。
• 从数据和外部知识源中分析数据，得出结论：由人类全部完成，值10000元。
没有 GPT-4 之前，需要付给数据分析师 16000 元。现在由于 GPT-4 的存在，其价值变成了：
• 生成SQL和Python代码：GPT-4 完成大部分，人类完成收尾工作，值500元
• 执行代码获得数据和图表：GPT-4 完成大部分，人类完成收尾工作，值500元。
• 从数据和外部知识源中分析数据，得出结论：假设还是由人类全部完成，值10000元。
• GPT-4 一个月的费用是 20 美元，价值人民币140元左右。
需要付给数据分析师 11000 元。通过简单的对比，可以发现整个行业的天花板小了很多，除非是 GPT-4 无法替代的部分获得更高的溢价，例如从数据和外部知识源中分析数据，得出结论，这个技能的价值升值为15000元。
只能说，GPT-4 目前来看无法取代数据分析师，然而一个职业的消亡并不是源于无法取代，而是这个职业的核心职责不断被其它工具所替代，从而导致这个职业的存在价值不断降低，变成一个可有可无的角色。
对于很多行业而言，且走且珍惜，正如这张图：
下面是论文的概述：
在 GPT-4 的使用过程中就已经预期到这个结果了，数据分析师迟早会受到 GPT-4 的影响，只是时间的早晚而已，只不过没想到这么快就来了。
这是 GPT-4 承担数据分析工作的流程图，给 GPT-4 输入数据库的表结构和问题，GPT-4 输出相应的代码去给数据库执行，然后代码会输出一个结果数据文件和相应的图表，GPT-4 会结合网上的信息给出相应的分析报告。
看流程图，GPT-4 做的工作其实和数据分析师做的工作也差不多了，只不过数据分析可能还会根据这个结果不仅仅输出图表，也有 PPT 和向不懂数据的领导汇报之类的，当然这些工作无伤大雅，数据分析师的核心价值还是和 GPT-4 做的工作一致。
从这个流程图也可以看出，数据分析师工作的三个核心职能：
• 生成SQL和Python代码
• 执行代码获得数据和图表
• 从数据和外部知识源中分析数据，得出结论
论文中也给出了样例：
对于绘制图表的能力，GPT-4 的结果如下：
• 200个样本的实验表明，对于绘制图表任务，GPT-4能够理解指令含义，且对图表类型有一定背景知识，从而绘制出正确的图表。
• 图表大部分清晰可见，没有任何格式错误，图标的美观性指标满分3分，GPT-4平均得分2.73。
• 但手工检查还是能发现一些小错误，图表准确性指标满分1分，GPT-4平均得分0.78。
• 论文中特别说明他们的评估标准非常严格，只要x轴或y轴的任何数据或任何标签有错误，都要扣分。
对于数据分析的能力，GPT-4 的结果如下：
• 对于数据分析任务，GPT-4在一致性和流畅性中平均得到满分，验证了生成流畅且语法正确的句子对GPT-4来说绝对不是问题。
• 有意思的是，到了数据分析这一步的准确性要比图表信息的准确性高得多，说明尽管GPT-4画了错误的图表但分析出了正确的结论。
最后根据这些样本和数据分析师的人工工作对比如下：
虽然有些结果是错的，但是胜在成本便宜。
参考链接：
https://mp.weixin.qq.com/s/7qq5EClY4po9XAGxIJbpnw
https://arxiv.org/abs/2305.15038
