一次性揭秘 IoTDB 端边云同步的 7 大特性!

文摘   2024-08-16 17:20   北京  

简单操作+高性能成果,助你实现一站式、多终端数据流动!


IoTDB,国内领先的时序数据库,其端边云同步技术与端边云架构完美融合,为端到云的数据流动提供了一站式的同步解决方案。你一定想知道:


端边云同步技术如何助力企业实现端边云架构的高效构建

端边云同步技术具备哪些关键特性

如何使用简单的一条 SQL 快速启动 IoTDB 的数据同步过程?


请跟随我们的文章,我们为你揭秘 IoTDB 端边云同步的相关细节!了解我们如何帮助企业实现更高效、可靠的端边云数据一站式管理!


01

功能介绍:

IoTDB 与端边云,天生一对的黄金搭档


端边云架构是一种分层的计算模型,优化了数据处理流程并提升了效率:


  • "端"代表广泛的终端设备,包括智能手机、智能家居设备、传感器和摄像头,它们负责收集原始数据。


  • "边"指的是靠近数据源的边缘计算层,它在本地处理和分析数据,降低对中心云的依赖。


  • "云"则是指集中式云计算环境,负责大规模数据处理和高级分析。



IoTDB 的端边云同步技术与这一架构完美契合:IoTDB 提供了丰富的数据同步配置策略,结合其灵活的集群部署形态,可以为不同场景下的数据同步提供开箱即用的定制化解决方案。


场景一:

集团型企业多级数据级联汇聚


客户业务场景:


  • 工厂侧(边):涉及该集团中每个工厂各类设备产生的原始时序数据。工厂侧部署 IoTDB 便于在工厂层面进行数据整合,同时可以进行初步的聚合、清洗和异常检测等处理。


  • 集团侧(云):涉及整个集团所有的时序数据,数据由各工厂汇聚而来,同时需要在汇聚时进行降频避免云侧数据量过大。云端的全面云计算资源支持智能化服务,包括智能调度、运维和宏观决策支持,提供了跨工厂的数据分析和全局视角。


通过 IoTDB “端边云同步”功能,用户完成了数据从设备到工厂到集团的汇聚过程,确保了数据的一致性和实时性,还对存储效率进行了优化,为该集团提供了高效、可靠的工业大数据基础设施,推动了客户工业互联和智能制造的发展。




场景二:

电力系统跨区多级同步


在电力行业,为了网络安全,电力系统的网络被划分为四个具有不同安全等级的区域:安全区 Ⅰ 的生产控制区,负责关键的实时控制;安全区 Ⅱ 的生产非控制区,提供辅助性生产支持;安全区 Ⅲ 的生产管理区,处理生产管理任务;以及安全区 Ⅳ 的管理信息区,专注于行政管理和决策支持。


在安全区 Ⅱ 与安全区 Ⅲ 之间的系统,一般还需要通过单向网闸进行交互。正向隔离机制允许高安全等级的系统向低安全等级的系统发送操作指令。而反向隔离则允许低安全等级的系统向高安全等级系统传输数据。隔离网闸的存在物理上确保了生产控制区的安全,但是给安全区 Ⅱ 与安全区 Ⅲ 之间的数据同步带来了极大的挑战。



面对 II 区与 III 区之间的单向网闸,IoTDB 内置提供了跨网闸同步插件(可适配如 Syskeeper2000 在内的一系列网闸型号)。这些插件能够使用 SQL 一键配置,支持 IoTDB 在正反向网闸存在的前提下,在不同安全区域间实现数据同步。下面是 IoTDB 在某风电场景下跨网闸同步的实际应用。


  • 场站侧:场站 II 区部署了一台 IoTDB,用于实时监控和处理来自 SCADA 系统及辅助监测设备的数据。场站 III 区也部署了一台 IoTDB,可能用于生产管理数据的处理或作为 II 区的冗余。场站 II 区和 III 区间存在单向隔离网闸。


  • 集控侧:集控 III 区的 IoTDB 则集中管理来自各场站 III 区的数据,支持综合分析和调度决策。


  • 中心侧:中心私有云上部署的 IoTDB 负责全局数据的整合与分析,为电力系统提供决策支持。



在整个跨区多级的数据同步链路中,IoTDB 除了需要面对跨网闸同步的技术挑战外,还需要面对单向网闸带宽小、场站到集控中心的流量费用高昂等问题。而 IoTDB 特有的 TsFile 文件批量同步技术、同步请求多级压缩技术,可显著减少数据传输量,实现了数十倍于原始数据的传输压缩比,有效降低带宽限制和流量费用的影响。


整体而言,这一数据同步解决方案还具备中断自动重试、断点自动续传和数据的最终一致性等关键特性,可完全满足电力行业复杂网络条件下的数据集成需求。


02

功能特性:

7 大特性为用户保驾护航


IoTDB 作为一款国内领先的时序数据库,以其卓越的同步特性,成为确保工业数据管理可靠性的中坚力量。下面将深入探讨 IoTDB 的同步特性,揭示它们如何共同作用于提升系统的整体性能和稳定性。


(1)开箱即用


  • 无需额外部署任何组件,运维简单,维护成本低

  • SQL 一键配置一键启动

(2)极致性能


  • 实时数据同步:单机可达数千万点/s

  • 历史数据同步:单机可达数亿点/s,吞吐达数百 MB/s


(3)配置灵活


  • 时间范围选择:全量、历史、实时

  • 序列模式匹配:全量、按库、按设备、按序列


(4)多同步模式


  • 实时同步:操作级数据转发

  • 批量同步:独创 TsFile 文件级别同步,高压缩、低流量

  • 智能同步:自适应实时、批量模式自动切换


(5)多种传输协议


  • 支持多种主流网络协议

  • 支持跨正、反单向网闸传输

  • 支持 SSL 加密传输


(6)流量控制


  • 提供 RPC 压缩

    • 支持 Snappy,LZ4,Zstd,LZMA2,GZip 算法,支持多级算法组合压缩

    • 实时同步 10 倍压缩,批量同步数十倍压缩

  • 流量限制

    • 单同步任务粒度限制

    • 全局限制

(7)安全可靠


  • at-least-once 传输语义:确保端到端一致性支持自动重试,出现异常无需人工介入

  • 支持断点续传:发送端接受端异常排除、重启,皆可基于断点恢复

  • 全链路高可用:发送端或接收端为集群时,皆可容忍节点失效,避免任务中断

  • 看得见的可靠:提供 50+ 项监控指标,可在监控面板实时监测同步状态

  • 提供灵活的冲突处理机制:无监督效果下实现端侧定义数据、云侧汇聚数据


03

使用方式:

仅需一条 SQL 即可开启数据同步



下面,将展示使用最简单的一条 SQL 来实现的 IoTDB 端到端的全量数据同步功能:它为企业提供了一键式数据迁移解决方案,适用于数据备份、跨数据中心迁移等场景。


在 IoTDB A 中使用 SQL 创建一个 A 到 B 的全量数据同步管道,即可开启全量数据同步任务:


CREATE PIPE A2B WITH SINK ('sink.node-urls' = '127.0.0.1:6668')


在接下来的系列文章中,我们将细致探讨 IoTDB 在端边云同步方面的多样化应用,覆盖历史数据同步、双向数据同步、级联数据同步和跨网闸数据传输等不同场景。通过一系列简单的 SQL 用例,我们将生动展示 IoTDB 在数据同步领域的强大功能和灵活性!




规上企业应用实例






能源电力:中核武汉国网信通产业集团华润电力大唐先一上海电气国轩清安储能太极股份绍兴安瑞思


航天航空:中航机载共性北邮一号卫星


钢铁冶炼:宝武钢铁中冶赛迪


交通运输:中车四方长安汽车城建智控德国铁路


智慧工厂与物联:PCB 龙头企业博世力士乐德国宝马京东昆仑数据怡养科技



Apache IoTDB
一款高吞吐、高压缩、高可用、支持存储、管理与分析的物联网原生开源时序数据库系统软件。
 最新文章