研究了近6年的Gartner数据和分析趋势报告后,我得到了10个洞察!

科技   2024-10-05 19:00   安徽  
Gartner每年都会发布TOP 10的数据和分析领域趋势,下图沿时间线完整展示了2019-2024年Gartner发布的内容:
下表给出了一些关键术语在Gartner每年的趋势预测中重复出现的次数,可以看到AI、数据管理、决策智能、图技术、增强分析、风险管理成为了高频词汇:
基于这些趋势分析,我给出新的十大趋势判断,相信会带给你全新的启示。
1、AI的持续演进与深度融合
从2019年的"增强分析"到2024年的"企业押注AI战略",AI已经从一个辅助工具发展成为企业战略的核心。特别是生成式AI的出现(2023年提出"新兴AI",2024年强调"生成式AI与数据整合"),标志着AI正在进入一个新的阶段,将深刻改变企业的运营模式和决策过程。
2、数据管理范式的转变
数据管理方法经历了从"增强数据管理"(2019)到"数据编织"(2021、2022、2023),再到"数据网格"(2022)和"现代数据治理"(2024)的演变。这反映了组织正在寻求更灵活、分布式和业务导向的数据管理方法,以应对日益复杂的数据环境。
3、决策智能的崛起
"决策智能"这一概念从2020年开始出现,并在随后的年份中持续发展。这表明数据分析正从提供洞察转向直接支持和优化决策过程,使数据驱动决策成为企业的核心能力。
4、信任和风险管理的重要性增加
从2022年的"AI风险管理"到2024年的"构建信任",反映了随着AI和数据分析的广泛应用,企业越来越关注如何管理相关风险,建立对AI系统和数据的信任。这包括解释性AI(2019)、AI风险管理(202,2023)、AI治理和负责任的AI实践。
5、图技术的持续重要性
从2019年的图分析到后续年份中的持续提及,表明其在处理复杂关系和上下文分析方面的重要性得到持续认可,结合AI和机器学习的趋势,图技术可能与AI结合,创造出更强大的分析能力。
6、边缘计算和分布式系统的兴起
2021年提出的"边缘数据与分析"和2022年的"扩展到边缘"表明,数据处理和分析正在向更接近数据源的地方转移,以支持实时分析和决策。
7、数据民主化和数据文化的形成
从2021年的"增强型消费者"到2024年的"赋能员工"和"现代化数据文化",我们可以看到数据分析正在从专业人士的领域扩展到整个组织。企业正在努力培养全员的数据素养,建立数据驱动的文化。
8、价值导向和业务对齐
2023年提出的"价值优化"和2024年的"数据领导力"强调了数据和分析必须与业务目标紧密结合,并能够展示明确的价值。数据分析不再是技术驱动,而是价值驱动。
9、技术融合和生态系统思维
从早期的单点技术关注,到2023年的"融合和可组合生态系统",反映了技术正在不断融合,形成更复杂的生态系统。企业需要构建灵活、可组合的数据和分析平台。
10. 元数据管理的重要性提升
从2020年的"增强数据管理"到2024年的"主动元数据管理",元数据正从一个辅助工具转变为数据和AI战略的核心驱动力。
结语:
总的来说,这些趋势反映了数据和分析领域正在经历深刻的变革。从我个人的实践看,与这些趋势也大致吻合。
我们的数据团队正在全面转型大模型,在数据管理领域,数据团队这几年做的最多的就是尝试基于元数据的自动化数据资源管理,这个本质上是数据编织的一种实现。
同时我们也在大力推动基于数据湖的租户生态的运营,这是数据网格中领域自主权思想的一种体现,公司越来越多的业务人员开始自己开发模型,越来越多的IT人员融入到了业务团队,这是真正的数据民主化。
随着市场竞争的激烈,业务人员的决策智能意识觉醒,数据团队不再完全以数据为核心开展工作,而是不断对齐业务,逐步转向价值导向,决策智能也已经不局限于传统得精确营销,而是渗透到公司经营的方方面面,嵌入到公司生产流程中变得非常频繁,IT再也不需要搞什么亮点了,因为决策智能是业务自身发展的需要。
希望对你有所启示。
附录:2019-2024年Gartner TOP 10的数据和分析趋势
2019年:
  1. 增强分析(Augmented Analytics):利用机器学习和人工智能(AI)来增强数据分析流程,推动数据科学和商业智能的发展。

  2. 增强数据管理(Augmented Data Management):自动化数据管理任务,通过机器学习优化数据质量、主数据管理和数据集成。

  3. 持续智能(Continuous Intelligence):结合实时和历史数据,通过实时分析支持商业决策。

  4. 解释性AI(Explainable AI):为AI和机器学习模型提供可解释的决策依据,帮助用户理解模型输出的原因。

  5. 图分析(Graph Analytics):帮助企业分析复杂的实体关系,应用于社交网络、欺诈检测等场景。

  6. 数据编织(Data Fabric):提供一个统一的框架,促进分布式环境中的数据访问和共享。

  7. 自然语言处理/会话分析(NLP/Conversational Analytics):通过语音或文本交互,简化数据查询和分析流程。

  8. 商业AI和机器学习(Commercial AI and ML):预计到2022年,75%的新AI和ML解决方案将由商业平台构建,而非开源平台。

  9. 区块链分析(Blockchain Analytics):通过区块链技术实现数据的去中心化信任管理,特别在涉及多个参与者的关系和交互分析中应用。

  10. 持久化内存服务器(Persistent Memory Servers):通过内存计算加速分析,预计到2021年将在内存计算市场占据重要地位。

2020年:
  1. 更智能、更快、更负责的AI:到2024年,75%的组织将从试点阶段转向全面部署AI,推动数据流和分析基础设施的加速发展。

  2. 仪表板的衰退:预定义的仪表板将逐步被动态数据故事取代,增强分析和自然语言处理(NLP)将根据用户角色和需求自动提供相关洞察。

  3. 决策智能:到2023年,超过33%的大型企业将采用决策智能,这是一种将决策管理和支持框架与数据分析结合的技术。

  4. X分析:这一术语涵盖了对结构化和非结构化数据(如文本、视频、音频)的分析。X分析在疫情期间帮助公共卫生专家预测疾病传播。

  5. 增强数据管理:利用机器学习和AI优化操作,将元数据从审计工具转变为驱动动态系统的核心。

  6. 云成为标配:到2022年,公共云服务将成为90%数据和分析创新的核心,推动企业向云迁移。

  7. 数据和分析的融合:数据和分析传统上被认为是独立的领域,而现在两者的融合将带来更强的互动性和协作性。

  8. 数据市场和数据交换:到2022年,35%的大型企业将通过正式的数据市场购买或出售数据。

  9. 区块链在数据分析中的应用:区块链技术可提供透明的资产和交易追踪,特别是在复杂的参与者网络中。

  10. 关系驱动数据价值:图分析技术将在2023年成为30%企业决策的关键,帮助分析实体之间的关系和互动。

2021年:
  1. 更智能、负责任且可扩展的AI:企业将采用更高效、可解释的AI技术,减少对大量数据的依赖,同时增强隐私保护和合规性。

  2. 可组合的数据和分析:通过开放、模块化的数据架构,企业能够灵活地构建智能应用,实现敏捷决策和业务行动。

  3. 数据编织作为基础:数据编织技术能够帮助企业处理日益复杂的数字化数据资产,降低集成设计、部署和维护的时间和成本。

  4. 从大数据到小数据和宽数据:企业将更多依赖多种小规模、异构数据集,以解决AI中的复杂问题和数据稀缺的挑战。

  5. XOps:包括DataOps、MLOps、ModelOps等,目的是通过DevOps的最佳实践提高数据、AI和分析的可重复性和可扩展性。

  6. 工程化决策智能:将决策过程纳入业务流程,增强其自动化和透明性,以优化业务决策。

  7. 数据与分析作为核心业务功能:数据分析将从辅助工具转变为业务核心功能,直接推动企业的数字化转型。

  8. 图技术:图分析在处理复杂关系和上下文的应用中愈发重要,预计到2025年,80%的数据创新将使用图技术。

  9. 增强型消费者:未来的业务用户将通过自动化、对话式和移动化的方式获取定制化的分析洞察,打破数据专家的垄断。

  10. 边缘数据与分析:随着更多技术部署到边缘环境,数据分析将更靠近物理资产,支持实时数据处理和价值生成】。

2022年:
  1. 数据网格(Data Mesh):一种分布式数据架构,旨在将数据作为产品进行管理,支持跨团队和系统的数据使用。

  2. 扩展到边缘(Expansion to the Edge):随着边缘计算的普及,更多数据将在接近数据源的地方处理,支持实时数据分析和决策。

  3. 决策智能(Decision Intelligence):这一趋势强调利用数据和分析推动决策过程的优化,预计到2023年,超过33%的大型企业将应用这一技术。

  4. 业务组合的数据分析(Business-Composed Data Analytics):通过模块化的数据分析能力,企业能够更快、更敏捷地获得商业洞察。

  5. AI风险管理(AI Risk Management):随着AI的广泛应用,管理和缓解AI带来的风险(如偏见和透明度)变得至关重要。

  6. 数据中心的信任建立(Institutionalizing Trust in Data and Analytics):通过透明的治理和数据管理,增强组织内外对数据的信任。

  7. 元数据驱动的数据编织(Metadata-Driven Data Fabric):利用元数据管理和集成多个数据源,增强数据的访问和使用效率。

  8. 数据素养与技能差距(Skills and Literacy Shortage):到2024年,预计50%的企业将实施数据素养项目,以填补当前的技术和数据技能缺口。

  9. 上下文增强分析(Context-Enriched Analysis):结合数据上下文信息,使分析结果更具准确性和相关性。

  10. 图技术(Graph Technologies):图技术能够处理复杂的实体和关系数据,预计到2025年,80%的数据和分析创新将采用这一技术。

2023年:
  1. 价值优化(Value Optimization):D&A领导者需要能够清晰阐述其工作对企业带来的商业价值,通过数据驱动的故事、投资排序、价值流分析等手段来实现更大的商业成果。

  2. AI风险管理(Managing AI Risk):随着AI应用的增加,企业面临着新的风险(如伦理问题、数据中毒等)。AI风险管理不仅是遵守法规,更需要通过负责任的AI实践建立信任。

  3. 可观测性(Observability):数据系统的可观测性能够帮助企业快速识别性能问题的根本原因,从而进行及时的业务决策。

  4. 数据共享是关键(Data Sharing Is Essential):数据共享能够促进企业内部以及外部的数据流动,利用“数据即产品”的理念提高数据的利用率和价值。

  5. 数据与分析的可持续性(D&A Sustainability):随着数据中心能源消耗的增加,企业需要优化自身的数据和AI实践,例如使用更高效的硬件或小数据的机器学习技术。

  6. 实用的数据编织(Practical Data Fabric):数据编织通过元数据的持续分析,帮助业务用户更自信地使用数据,增强数据系统的灵活性和自动化能力。

  7. 新兴AI(Emergent AI):随着生成式AI(如ChatGPT)的发展,AI的可扩展性和适应性将彻底改变企业运营模式,使其在更多场景下应用AI。

  8. 融合和可组合生态系统(Converged and Composable Ecosystems):通过构建模块化和可组合的D&A平台,企业可以灵活适应业务环境的变化,实现动态扩展。

  9. 消费者变成创作者(Consumers Become Creators):用户将从被动数据消费者转变为主动内容创作者,企业需要为其提供更个性化和嵌入式的分析体验。

  10. 人类仍是关键决策者(Humans Remain the Key Decision Makers):虽然自动化和AI技术正在改变业务流程,但许多决策仍然需要人类来做出,企业需要在数据驱动的决策中平衡自动化和人类判断。

2024年(基于2024年Gartner数据和分析峰会发布的内容推测):
  1. 企业押注AI战略(Betting the Business on AI):数据与分析领导者必须展示其在企业AI战略中的价值,以确保资源和投资的有效利用。

  2. 管理复杂性(Managing Complexity):通过AI工具和增强数据管理,解决复杂数据系统带来的混乱和冗余问题。

  3. 构建信任(Building Trust):随着生成式AI的普及,确保数据的可信性成为关键,企业必须通过AI治理和负责任的AI实践来增强数据信任。

  4. 赋能员工(Empowering the Workforce):为员工提供AI和数据分析的培训,使他们能够在使用AI时感到赋权而不是受到威胁。

  5. 现代数据治理(Modern Data Governance):数据治理应从业务成果出发,而非单纯解决数据问题,以推动AI在企业中的应用。

  6. 主动元数据管理(Active Metadata Management):元数据将成为推动AI和数据分析的核心,帮助企业在AI应用中更好地利用数据。

  7. 数据领导力(Data Leadership):CDAOs需要通过数据和分析推动企业战略,增强数据驱动的业务成果。

  8. 生成式AI与数据整合(Generative AI Integration):生成式AI与企业数据的有效整合将带来更大的业务价值。

  9. 现代化数据文化(Modern Data Culture):数据文化的构建应围绕业务成果,推动数据治理和分析实践的发展。

  10. AI和数据决策优化(Optimizing AI and Data Decisions):企业将越来越多地依赖AI和数据分析进行业务决策,从而提升业务绩效。


一个数据人的自留地
数据人交流和学习的社区,关注我们,掌握专业数据知识、结识更多的数据小伙伴。
 最新文章