GPT-4能否取代数据分析师？达摩院的初步实验为你解答~

深度学习自然语言处理 原创
作者 | 刘嘉玲

最近，数据分析师圈子大家在讨论GPT-4对他们的工作有什么影响：是替代还是辅助？个人认为GPT-4可以帮助我提高工作效率和质量。

要成为一名高级的数据分析师，需要经过长期的学习和实践，掌握数据分析的理论、技术和方法。这样的人才对雇主来说，也需要付出较高的合作成本。

达摩院的初步实验表明GPT-4的成本远低于雇用数据分析师的成本。假设每月工作21天，每天工作8小时，按照市场上的工资水平来算，GPT-4的使用成本只有初级数据分析师的0.71%和高级数据分析师的0.45%。这个结果是从三位达摩院的研究者们设计的一个让GPT-4从数据获取、清洗、分析、可视化到报告的整个过程都自动完成的框架下得出的。

接下来，我们一起来看看他们的论文中，GPT-4是如何做到的吧！

论文：Is GPT-4 a Good Data Analyst?
地址：https://arxiv.org/abs/2305.15038
代码：https://github.com/DAMO-NLP-SG/GPT4-as-DataAnalyst

研究方法

为了使用GPT-4自动化整个数据分析过程，研究者们将端到端的框架分成了代码生成、代码执行和分析生成三个步骤，通过这个框架，可以对比GPT-4和人类分析师的表现。

此图中业务问题和数据库的必填信息如右上蓝色框所示。参考外部知识源的可选输入在左上角的红色虚线框中圈出。包括提取数据、数据可视化和分析在内的输出在底部的绿色框中圈出。

为了实现作业任务，我们需要进行以下步骤：

• 输入问题，并将其转换为数据库可以识别的格式；
• 调用GPT-4，根据问题生成相应的数据库查询代码；
• 运行查询代码，从数据库中获取相关数据；
• 对获取的数据进行处理和分析，生成能够反映问题答案的图表或图像。

实验设计

任务目标：需要回答一个与业务相关的问题，并从一个或多个相关的数据库表中提取所需数据。然后，需要生成可视化图形以便更好地理解数据，并提供一些分析和见解，以帮助人们更好地理解数据。

具体来说就是：给定一个与业务相关的问题(q)和一个或多个相关的数据库表(d)及其模式(s)，提取所需的数据(D)，生成一个图(G)可视化并提供一些分析结果(A)。

数据来源：研究者们选择了NvBench数据集从不同领域随机选择100个6种不同图表类型和4种不同难度级别的问题进行实验。再分别让GPT-4和2位高级分析师和1位初级分析师去做这个任务，以得到任务结果数据。

评估指标：针对俩种输出内容，设置了七种不同的维度进行效果评价。可视化图是根据信息正确性，图表类型正确性和美观这三个维度评价。分析文本则是根据数据正确性，与问题相关性，分析复杂度和表达流畅度四个维度评价。

在这些维度上同时聘请了6名专业数据注释者对任务的输出进行人工评估打分。

实现结果

令人惊讶的是，实验结果显示，GPT-4可以达到与人类相当的表现。这意味着，GPT-4不仅能理解和生成语言，还能进行复杂的数据分析任务。

根据上表，GPT-4生成的图表在信息准确度方面表现不佳，平均得分只有0.78；但在图表类型选择方面表现优异，正确率达到99%；图表的美观程度一般。GPT-4的分析结果在正确性方面较高，平均有94%的内容是正确的，而且与问题相关性较好；但分析的复杂度和流畅度都不高。

上表中，根据3位分析师的分析结果的各指标得分来看，我们可以对GPT-4的数据可视化和分析能力进行如下总结：

• 在数据可视化方面，GPT-4的准确率比初级分析师高6%，与高级分析师相当，但在图表类型的选择上有一次失误，而且图表的美观度还有待提高。
  
• 在数据分析方面，GPT-4的数据正确性处于初级和资深高级分析师之间，但在分析的复杂度和问题相关性上与高级分析师持平，甚至在文本的表达流畅度上超过了人类分析师，展现了大语言模型的优势。

个案研究

GPT-4的案例研究1

• GPT-4能够根据问题生成相应的代码，从数据源中查询数据，并用饼图可视化不同飞机的胜率。
  
• GPT-4能够从饼图中读取数据，比较不同飞机的胜率，并计算它们赢得的比赛数量。
  
• GPT-4在分析数据时，不仅考虑比率，也考虑绝对数值，这是符合数据分析原则的。
  
• GPT-4还具有提出问题的能力，能够根据分析结果，提出一些可能影响飞机胜率的因素，并探索它们之间的关系。这些问题反映了GPT-4的思维深度和广度，超过了我的期待。

GPT-4的案例研究2

• 案例2是一个关于身高体重关系的问题，要求描述两个变量之间的相关性。
  
• GPT‑4在提取数据方面做得正确，但在进行一些细节的计算上，例如求平均身高和体重时，出现了数字错误。
  
• 其他复杂计算的案例也有此问题，还有幻觉问题。

高级数据分析师案例研究3

• 互联网分析师对于橄榄球数据的分析中能够发现数据中的一些异常现象，比如有些位置的得分高于或低于预期。
  
• 人类分析师还能够解释这些现象的可能原因，比如运动员的个人能力，对手的防守，或者比赛的策略。
  
• 人类分析师还能够提出一些改进的建议，比如怀疑数据的准确性，或者调整位置的安排。

总结

GPT-4还可以通过插件联网，搜索实时在线信息，结合背景知识进行数据分析和结论推断，越来越接近人类分析师的水平。但也有一些它无法完成的任务，例如理解数据的深层含义，考虑假设条件，提出有效的解决方案，与团队成员协作沟通等。

这篇论文为我们提供了一个新的视角，让我们重新思考人工智能的可能性和限制。虽然GPT-4在数据分析任务上的表现令人鼓舞，但我们还需要进行更多的研究，才能确定它是否真的可以取代数据分析师。

进NLP群—>加入NLP交流群