大数据在电力行业的影响不断加深，几乎在发电、输电、变电、配电、用电和调度等生产和管理全过程中都有落地实践，比如通过大数据提升电费抄核效率，数据预警锁定风险客户，提高用电故障区域定位效率等等。
这篇文章我们将介绍偶数如何帮助广东电网建设数据平台，助力客户在大数据领域进行数字化转型。
广东电网有限责任公司（以下简称“广东电网”）是中国南方电网有限责任公司的全资子公司，拥有近3000座变电站，变电容量超6亿千伏安，输电线路总长度超10万千米，资产总额超5千亿，是全国规模最大的省级电网公司之一。
“广东省最美变电站”广东云浮500千伏卧龙变电站
项目背景
广东电网信息中心负责的数据平台在数据量、用户规模、应用规模都大幅增加。平台数据量从TB级别向PB级别爆发式增长，大型应用规模达数百个。
在这样的背景之下，业务部门用户对大数据平台的功能和性能要求在不断提高，业务系统产生的PB级别海量数据的集成存储不断上升。原有的HDP和HAWQ数据平台已经无法全时段高效、稳定运行，严重影响了数据分析应用开发和线上生产业务开展。
为更好提升数据运营水平，更好的满足业务部门的数据使用需求，从而释放数据资产内在价值，广东电网信息中心决定对数据平台进行升级改造。
现状调研
客户现数据平台单集群规模超过120节点，存量数据达到PB级，增量TB级。应用数量100+，作业数量10w+，查询需求规模10w+。
现有平台采用HDP+HAWQ的模式。数据通过ETL进入HDFS，HDFS用于存储数据，Yarn用于资源管理和任务调度，Hive用于数仓管理和SQL查询，Spark用于数据处理，HAWQ用于高性能SQL查询。Hive和HAWQ分别通过HDFS建立外部表，通过账号授权方式对用户开放数据访问权限，并进行SQL应用开发。
问题定位
对现有数据平台进行分析，问题主要集中在如下三点：
①现有数据库并发度不能完全支持众多应用开发，高负载过高可能会导致HAWQ主节点集群崩溃；
②HDP性能逐渐下降，查询响应时间变长，导致脚本队列拥堵无法执行、数据库长时间重置等待，此外Hive集群规模较大，占用较多资源；
③数据库监控困难，运维管理工作复杂。
以上几点都严重影响了平台用户体验和数字化项目建设开展。
解决方案
将HAWQ升级为OushuDB数据库，并通过Lava工具实现可视化运维。通过OushuDB+Lava的产品组合广东电网数据平台在数据的采、存、管、用、运维全方位进行了升级。以OushuDB为核心的数据平台在扩展性、可靠性、兼容性等方面表现都更为出色。
兼容性方面，OushuDB通过建立外部表直接使用HDFS文件系统，进行应用SQL开发，促使整个项目实施工作非常丝滑。
扩展能力方面，由于本身存算分离的架构特点和主节点无状态设计，用户可以自由的扩展集群，实现资源的动态调度，处理更多的连接请求（JDBC/ODBC）。
可靠性方面，OushuDB是作为为数不多的支持分析型负载超高并发的数据库产品，满足多主节点水平扩展的同时，保证完备的查询服务。
此外在性能方面，不仅数据入库、读写以及关联查询的效率显著提升，在PB级大数据复杂查询方面，OushuDB将平台查询性能提升5~10倍，显著降低批处理和即席查询所需的时间。
项目成果
从初期与广东电网信息中心进行交流，到POC和项目实施，偶数团队在每一个关键节点上都全力以赴，在数据量高企、元数据压力增大、用户需求高涨的背景下，偶数仍然提前完成部署运行，并在如下几个重点能力上尽量满足用户需求：
①完成集群治理工具开发，方便运维人员可视化管理底层集群数据库，完善对底层集群数据库监控和用户 SQL 操作记录等行为的细粒度管理；
②完成对数据库的功能和性能问题进行改造升级，解决由于数据库重置导致的长时间中断无法使用问题，杜绝部分脚本频繁触发功能和性能问题而影响平台稳定性；
③解决SQL任务出现卡顿、无法停止等问题，提升了数据库的数据服务能力，同时实现在集群治理工具上进行监控。
目前，OushuDB集群支持了广东电网大型应用500余个，包括数据资产运营管控、营销快报、生产监控指挥中心、审计集市、班组绩效、线损稽查等核心应用。
规划和展望
数据平台的升级改造是广东电网数字化转型的良好开端，未来广东电网将进一步实现数据湖和数据仓库的湖仓融合，深化数字化转型进程。
湖仓作为一种新型的数据管理架构，将在未来成为数据驱动企业的核心基础设施。其灵活性、扩展性和高效性将帮助电网企业更好地挖掘数据价值，实现业务创新和增长。
往期推荐
