GB/T 44216—2024《信息技术 大数据 批流融合计算技术要求》发布并出版

文化   2024-10-12 19:13   北京  
信息技术  大数据

批流融合计算技术要求
随着数据量的增长,分布式计算模式逐渐成为大数据处理和计算的主流架构,为了满足程序的健壮性和实时性要求,设计出了许多分布式计算框架,以屏蔽底层复杂的任务划分和集群调度细节,其中最常用的两种是批计算技术和流计算技术,二者有着迥异的编程模型和编程接口,适用于不同的计算场景。批计算技术适合需要访问全套记录才能完成的计算工作,流计算技术适合用来处理必须对变动或峰值做出响应,并且关注一段时间内变化趋势的数据。

在实际应用中,经常会遇到两种计算技术共同工作的情况。将两种计算框架进行简单的叠加,不仅需要在两个不同的引擎上实现相同的执行逻辑,还需要手工合并不同引擎的输出结果。如果需要更改查询逻辑,两个系统也需要同时进行改动。这会极大地增加工程的开发和维护成本。因此,统一的批流融合计算技术成为了大数据领域的重要发展趋势。

GB/T 44216—2024《信息技术  大数据  批流融合计算技术要求》于2024年7月24日由国家市场监督管理总局(国家标准化管理委员会)发布,将于2025年2月1日实施。本标准已由中国标准出版社出版。

本标准规定了大数据批流融合计算技术要求,包括:技术要求、扩展性要求、兼容性要求、性能指标等,适用于批流融合计算系统的设计、开发和部署。用户理解、采用和建设批流融合计算技术和批流融合产品与服务评估参照执行。本标准的主要技术内容包括:系统架构;统一资源管理;统一计算框架;统一SQL接口;统一API;统一作业管理;统一权限管理;扩展性要求;兼容性要求;性能指标。

本标准弥补了大数据标准在批流融合计算领域的空白,是大数据技术领域和标准领域的重要组成部分;进一步为批流融合计算系统的设计、开发、测评和部署提供统一指导和参考。随着大数据技术发展,批流融合的大数据计算技术逐步开始替代传统的烟囱式的大数据系统。国内外主流云计算和大数据厂商纷纷研发了批流融合计算系统用于实际生产环境,其中不乏多家大型网络公司已提供批流融合计算服务或者使用批流融合计算技术进行实际生产。未来会有越来越多的大数据系统使用批流融合计算技术。本标准的制定和实施,会更进一步发掘数据价值,产生更多的大数据应用和服务,促进数字化转型建设。


供稿编辑:宋安利(编辑四分社)

图文编辑:高艳(标准审编中心)

审核:白晗、薛斌

中国质量标准出版传媒有限公司

中国标准出版社

地址:北京市朝阳区和平里西街甲2 号(100029)

网址:www.spc.net.cn

总编室:(010)68533533

发行中心:(010)51780227  51780236

读者服务部:(010)52812926  68523946


扫码购买
GB/T 44216—2024



中国质量标准出版传媒
本公众号主要介绍最新市场监管领域业务动态,包括最新国家标准、行业标准、团体标准、计量规程规范和质量、标准、计量、认证认可、管理体系、检验检测、食品安全、特种设备安全等市场监管类和相关图书信息及有关原创文章发布。
 最新文章