【作者】陆海宏,某证券IT基础架构主管。主要负责证券公司各类主流操作系统管理,包括信创和非信创;各类主流数据库管理:包括信创和非信创;各种类存储架构设计和管理:传统存储、分布式存储、存储交换机;桌面云、虚拟化设计和管理;备份系统设计和管理等IT架构管理管理工作。
一、引言
二、创新型备份平台的建设思路
1、现状
当前证券行业面临两大趋势,数字化转型和自主可控建设。数字化转型需要充分发挥数据价值,加强数据流通,兼容在线、离线、同城、异地等多种备份场景,保证在任何情况下恢复业务,保护数据安全。常见的部署方式:采用国外备份软件+磁带库进行数据的备份的归档。面临着不少问题:
1)国产化趋势加快,国外备份系统,处于封闭状态,对国产化应用平台兼容性不足,导致备份覆盖率不足,无法满足建设要求。
2)国外备份系统在供应连续性、信息安全、成本等方面存在隐患。
3)备份平台在两地架构也不统一,数据是孤岛,无法流动,不满足异地的备份系统建设需求,运维团队还需要维护两套系统,增加运维的复杂度。
4)原有的备份系统使用年限过长,故障的频率越来越高。在此情况下,我司计划对原有的备份平台进行升级改造,建设一套新的备份平台以满足国家信息安全标准和监管要求,在证券行业关键技术领域自主创新进行探索实践。
5)磁带备份介质易损坏失效,为保障数据完整性,检查翻新等管理成本高昂。
有必要建设一套安全可靠的数据储存平台,替代磁带介质,做为数据资产安全的最终保障手段。
2、建设方案
基于原有数据库备份体系存在的痛点,在新方案设计上,希望建设一整全新的国产备份平台能满足以下需求:
在本地,同城和异地都建设相关的数据库备份设施,满足业务系统定期备份,定期恢复,定期校验的基础功能,整个数据库备份系统优先选择一套管理体系,备份数据可以在设备之间相互流动,从而保证业务的连续性,同时也可以发挥数据的价值。
新的数据库备份平台应该在满足当前备份业务需求的前提下,选择自主可控的品牌,对国产的数据库,虚拟化平台具有良好的兼容性。
新的数据库备份平台需要满足备份和归档的需求,在整体的品牌上选择具有行业成熟度较高的品牌;而且随着信息安全建设的发展,平台优先选择备份和恢复速度快,产品稳定性高,可扩展性强的品牌,从而满足日益增长备份需求。
整体的初步方案规划如下:
我们企业的数据库类型很多,不同的数据库、不同的数据库部署方式(单机部署、分布式部署都有),备份逻辑都不同。因此采用先把数据库数据先同步到NAS存储,然后在通过备份软件将数据从NAS里备份到专业备份存储、归档入对象存储。如上备份方案是一个过渡方案,未来等信创类数据库备份软件生态、安全性、可靠性直一步成熟,最终目标依然是走向agent的方式,即去掉本地落盘和NAS备份存储中间过渡、通过备份软件直接备份数据库。
3、设备调研选型
信创备份系统设计核心考虑如下几个维度:
1)兼容性:对业界主流数据库(Oracle,MySQL,GaussDB,达梦,PG等)的备份和恢复测试;对虚拟化平台VMware的备份和恢复测试;对文件系统的备份和恢复,文件备份和恢复和粒度的测试等。
2)功能:增量备份,全量备份,源端重删备份,QoS,日志管理,审计功能,客户端管理功能,报表功能等。
3)可靠性:设备单器件故障测试,整机的稳定性测试。
4)性能:比较在高并发场景下的备份带宽能力和备份时间。
在近线备份存储硬件方面,采用的是华为专业备份存储设备OceanProtect X8000,传统双控制器架构,冗余度、可靠性和IO能力较高。在离线备份存储介质方面,采用的是华为OceanStor Pacific分布式存储。数据量达到存储总存放量60%的场景下,相比分布式存储软件,OceanStor Pacific不仅在整体的OPS上较高,在产品的运行稳定和性能表现上较好。特别是在故障恢复方面,故障点影响时间最短;业务优先恢复模式下,整体环境恢复时间最少;维修恢复时整机的性能测试表现方面几乎无明显影响。在4+2:1配置,,集群扩容节点,性能等比例提升,增加一个节点后存储整体TPS增加约三成。当资源利用率达90%以上时,存储读写性能表现也非常稳定,无明显性能下降拐点出现。
4、方案选择
平台建设规划,通过采购多套OceanProtect备份存储和3套OceanStor Pacific。在同城两个数据中心之间通过备份软件复制进行数据的流动,两地之间的备份系统可以进行链路重删,可以节省城际带宽,减轻两地链路负担。备份数据会持续增加,通过OceanStor Pacific 进行分级存储。在同城部署两套OceanStor Pacific进行异步复制,满足同城数据备份需求,通过Worm设置只读,进行数据保护,达到离线的目的。另外为避免OceanProtect设备故障,对备份的原始数据,进行离线的体外备份。异地的备份体系架构和主数据中心保持一致,实现数据双向流动,达成多地备份的诉求。
规划实现,生产中心的备份,保障生产数据的高可靠。异地灾备中心的备份及生产中心备份副本的容灾,完善灾备体系建设。建设目标,主生产数据中心备份:建设一套统一运维的管理平台,完成统一备份、统一监控、统一管理。优化现有备份策略,整合备份资源,数据分级分类备份,升级替换现有备份设备,推动国产化生态及应用创新,提升备份体验。建立完善的备份管理体系以及基于业务的备份分级分类;实现对数据的分级流动,新增对象存储实现数据整体归档。备份容灾数据中心异地备份建设目标:生产数据中心备份副本到容灾数据中心的复制,实现远程容灾。同时也可在主数据中心增加备份一体机,实现主数据中心业务的负载均衡,增加容错。
5、备份策略制定
备份策略制定原则,按照系统的重要级别,采取不同的备份策略,主要将系统分为重要业务系统和一般业务系统,全备和增备,通过对系统的梳理,备份策略示例如下:
三、项目建设效果
1)基本要求:整个备份平台系统满足信息安全要求,全栈国产化,设备更新换代之后,满足数据的备份需求,兼容国内外的数据库和虚拟化平台,整个备份平台的功能更强大,更全面。也提升了整个系统的备份和恢复速度。
2)运维要求:整个备份平台全栈采用统一品牌产品,设备统一管理,运维简单,对备份一体机和对象存储责任归一,定界清晰。
3)稳定可靠:备份一体机和分布式对象存储运行过程中稳定性强,对硬件故障的容忍度较高;后续可按需扩展,产品软硬件供应连续性得到持续保障。
4)功能齐全:备份平台除基础功能,亦支持副本挂载演练,副本即挂即用,同时生成相应的演练报告;两地之间支持链路重删,减少传输;于此同时,新一代备份平台与华为系列存储产品进行对接,还可免扫描差异对比,大大减少小文件备份的扫描时间;对海量小文件的快速检索,定点恢复提供了可能。
四、总结
参与协作反馈同行:
邹阳 某证券 DBA
黄庆 某证券 系统工程师
高照 某证券 数据库工程师
吉万利 某证券 备份工程师
曹斌 某证券 数据库工程师
审核专家:
谢茜茜 某城市商业银行 系统管理岗/架构分析岗
欢迎点击文末阅读原文到社区阅读和讨论交流 觉得本文有用,请转发或点击在看,让更多同行看到
资料/文章推荐:
欢迎关注社区 "备份"技术主题 ,将会不断更新优质资料、文章。地址:
http://www.talkwithtrend.com/Topic/1195
*本公众号所发布内容仅代表作者观点,不代表社区立场