CIO缺乏成功指标,导致许多AI项目失败

科技   2024-12-06 15:15   北京  
点击上方“蓝色字体”,选择 “设为星标

关键讯息,D1时间送达!



根据IDC的研究,近三分之一的CIO不清楚其AI概念验证(POC)项目是否达到既定指标,却仍不断推出新项目,导致大量项目失败。调查显示,30%的CIO承认不了解POC项目的成功情况,而企业平均启动了37个AI POC项目,但仅五个进入生产阶段,其中三个被视为成功。70%的受访者表示,定制开发的AI应用中九成未能通过POC阶段。此外,近一半的CIO不清楚AI生产应用是否成功。专家指出,数据管理不善、缺乏战略规划及明确成功标准是项目失败的主要原因。建议企业在启动AI项目前,应明确战略需求,制定周密计划,并重视数据管理和访问控制。


近三分之一的CIO不知道哪些AI概念验证(POC)项目达到了既定指标,然而,他们还是不断推出新项目——这种策略注定无法取得预期成果。
根据研究公司IDC的数据,许多企业已经启动了数十个AI概念验证项目,但其中很大一部分都以失败告终,部分原因是CIO们不知道这些概念验证项目是否达到了关键指标。
在IDC于9月进行的一项调查中,30%的CIO承认,他们不知道自己的AI概念验证项目中有多少达到了预期的KPI,或者被视为成功。
结合IDC 4月的一项调查(该调查发现企业平均启动了37个AI概念验证项目),9月的调查表明,许多CIO一直在盲目尝试,看看哪些项目能成功,IDC咨询与研究服务全球副总裁Daniel Saroff表示。
平均而言,在数十个AI概念验证项目中,只有五个进入生产阶段,而其中只有三个被认为成功,结果就是GenAI的“循环往复”,企业进行了大量实验,却收效甚微,Saroff说。
“当他们说他们不知道自己的KPI是什么时,他们真正想说的是,‘当我们确定概念验证时,我们没有衡量成功的标准,’”他补充道。
Saroff表示,潜在的成本可能非常巨大,有些概念验证项目的成本高达数百万美元。
与此同时,在IDC 9月调查的对象中,约70%的人表示,在每10个定制开发的AI应用中,有9个未能通过概念验证阶段并进入生产阶段。35%的CIO表示,他们的定制开发AI应用没有一个成功走出概念验证阶段。
CIO们在供应商开发的AI应用方面的表现略好一些,但仍有近三分之二的人指出,供应商主导的AI概念验证项目有90%的失败率。


成功难以定义


即使AI应用进入生产阶段,许多CIO也不清楚成功的标准是什么。近一半的CIO表示,他们要么不知道自己的AI生产应用是否成功,要么认为现在判断还为时过早。
Saroff表示,在许多情况下,企业似乎在没有充分准备的情况下就启动了概念验证项目。他补充说,许多企业在启动通用AI项目之前,没有清理和企业好内部数据。
“我们看到GenAI在很多方面都不成功,事后回想起来,原因很简单,那就是数据不好,”他说。“这是一项新技术,周围有很多炒作,人们觉得需要急于投身其中,但他们没有做好准备工作。”
EchoStor(一家增值分销商)的CIO Daniel Clydesdale-Cotter补充说,数据管理不善和访问管理不足似乎是阻碍AI概念验证项目成功的两大障碍。
“特别令人担忧的是,许多企业可能急于实施AI,而没有妥善考虑谁拥有数据、数据存放在哪里以及谁可以通过AI模型访问数据,”他说。“AI项目成功率的高不确定性可能表明,企业没有在专有信息、客户数据和AI模型训练之间建立明确的界限。”
Clydesdale-Cotter补充说,访问控制很重要。企业的财务团队不应该访问用于人力资源AI工具的数据,反之亦然。同时,AI工具运行所需的数据往往分散在企业内部。


缺乏规划


此外,咨询公司Segal(专注于人力资源和员工福利)的副总裁兼高级顾问Michael Stoyanovich表示,无法判断AI概念验证项目是否成功的CIO占比表明,项目启动前缺乏战略规划。
他表示:“这凸显了在评估AI项目成功时缺乏清晰度和衡量标准,这种不确定性可能导致资源浪费,更重要的是,可能错过改进的机会。”
在太多情况下,企业似乎在不考虑业务影响的情况下就启动了AI概念验证项目。他表示,虽然一些AI概念验证项目可以在内部生产力方面带来渐进式改进,但这些项目很少能改变游戏规则。
“企业只是盲目地投身其中,而没有制定一个将AI融入企业的周密战略计划,”Stoyanovich补充说。“实际上,暂停一下,深吸一口气,挺直腰板,然后快速制定一个战略计划,这不仅是合适的,而且可能是一个福音。”
RobobAI(一家利用AI帮助企业管理供应链的金融科技公司)的首席技术官David Curtis补充说,IDC的调查结果“令人警醒”,近三分之一的CIO不了解成功指标,而且90%或更多的概念验证项目都在失败。
他表示,许多概念验证项目似乎缺乏明确的目标和指标。他也同意IDC的Saroff的观点,即许多公司在数据不足或数据质量不佳的情况下启动AI项目。
Curtis表示,太多推动企业采用通用AI的人并不了解这项技术。许多高管对部署AI所需的工作量存在误解,一些人甚至错误地认为AI将取代许多员工。
“人们认为AI在某种程度上是神奇的,它将一次性解决所有问题,”他补充说。“根据用例的不同,处理AI的工作量相当大。这并不是从货架上拿起一件东西然后运行那么简单。”
Curtis表示,在某些情况下,失败的AI实验可能具有教育意义,并指引企业走向更好的项目,但是,许多企业在看到大部分AI概念验证项目失败后,可能会停止实验。
“我合作过的许多金融服务公司都没有风险文化,”他说。“如果某件事失败了,而且他们在上面花了数百万美元,他们可能就不会再做了。”
对于风险厌恶型公司而言,与启动数十个概念验证项目并迅速失败相比,事先做好规划可能是更好的选择。
“在实际开始之前,试着先消除一些风险,”Curtis说。“在我工作过的地方,内部资源都是非常宝贵的。与其有37个概念验证项目,不如先专注于两三个有意义的项目。”


从战略需求出发


EchoStor的Clydesdale-Cotter建议CIO在启动多个AI概念验证项目之前,仔细考虑战略业务需求。与Stoyanovich一样,他建议公司更专注于那些能带来竞争优势的AI项目,而不是那些只能带来小幅效率提升的项目。
他曾与一家公司合作,启动了一个项目,利用大型语言模型(LLM)来协助处理内部IT服务请求。通过AI回答许多IT服务查询,该概念验证项目成功降低了运营成本。
“客户非常喜欢这个结果,”他说。“但结果却是,‘要在你的数据中心运行这个项目,仅就新的硬件和软件要求而言,你可能就要花费上百万美元。’
“然后业务部门回来问,‘我们为什么要花一百万美元?我们可以雇五个人。’”


版权声明:本文为企业网D1net编译,转载需在文章开头注明出处为:企业网D1net,如果不注明出处,企业网D1net将保留追究其法律责任的权利。


(来源:企业网D1net)




关于企业网D1net(www.d1net.com)




国内主流的to B IT门户,同时在运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)



如果您在企业IT、网络、通信行业的某一领域工作,并希望分享观点,欢迎给企业网D1net投稿。封面图片来源于摄图网

投稿邮箱:

editor@d1net.com

合作电话:

010-58221588(北京公司)

021-51701588(上海公司) 

合作邮箱:

Sales@d1net.com


企业网D1net旗下信众智是CIO(首席信息官)的专家库和智力输出及资源分享平台,有五万多CIO专家,也是目前最大的CIO社交平台。


信众智对接CIO为CIO服务,提供数字化升级转型方面的咨询、培训、需求对接等落地实战的服务。也是国内最早的toB共享经济平台。同时提供猎头,选型点评,IT部门业绩宣传等服务。

扫描 二维码 可以查看更多详情

CIO信息主管D1net
专注于企业IT网络通信领域的媒体。涵盖:云计算;数据中心;数据通信;存储;虚拟化;安全;企业应用软件;UC协作;视频会议;视频监控;呼叫中心;IP语音;服务器;测试;移动办公; 运营商企业业务;渠道等
 最新文章