传统数仓上云迁移,广发银行这一步走得快稳准

科技   2024-11-27 17:35   广东  


近年来,随着银行信用卡业务的快速增长,数据湖仓技术更新换代更加迅猛,而传统数仓由于技术老旧、能力不足,已逐渐满足不了新型业务需求,银行数据平台底座面临更大挑战。



扩展能力方面:大容量横向扩展能力弱,重要业务模块数据每年保持15%的数据量增长,传统数仓的容量和性能成为新业务发展瓶颈。


系统算力方面:整体集群资源利用率常年保持80%以上,系统并发高、资源使用率居高不下,影响业务办理效率。



用户体验方面:批次作业完成时效性降低,如经营分析类的业务指标加工场景中,系统数据更新不够及时,增加业务人员手工操作成本。



一场业务特点与技术路线的抉择


在海量数据存储处理技术中,MPP架构数仓与Hadoop生态体系技术各有优势,其中MPP架构数仓更适合结构化数据,事务能力强。


信用卡作为广发银行的核心业务,对事务一致性要求高,其业务数据大多是结构化数据,MPP架构的华为云GaussDB(DWS)在分析效率上有很大优势,满足广发银行传统数仓集市替换的需求。


▲广发银行信用卡集市基于传统数仓和GaussDB(DWS)运行的作业时长对比,GaussDB(DWS)在所有批次中的运行效率都表现优异


一次用户无感的业务数据大迁移


如何将传统数仓集市的数据高效完整地迁移到华为GaussDB(DWS),保证业务的准确性和连续性,这是数据迁移过程要攻克的重点问题。


降低产品架构差异:打造一站式迁移开发工具,包括DDL转换工具、数据同步工具GDS、加载卸载工具、作业调度迁移工具、映射转换工具、脚本转换工具,并行验证工具和迁移总控工具,覆盖各类技术场景,集中资源攻克迁移中的高难度应用脚本问题,大幅减少开发人员的重复开发工作。

提升迁移实施效率:基于合理的迁移策略,建立便捷的“统一流程+自动工具”,保障迁移项目顺利平稳推进、完成部署上线。同时沉淀迁移工具及迁移体系,在其他数据迁移类项目中进行复用推广,提升项目实施效率。



一项圆满的数据平台升级任务

经过3个月生产并行,广发银行完成了新老数据平台的数据迁移和功能改造,顺利完成上游系统、仓库、下游系统、周边配套、用户自主分析等切换,批处理作业整体性能提升80%,信用卡数据处理模块批量作业运行稳定率99.9%,平台性能方面得到明显提升,其中关键作业运行达标率99%,日跑批时效提升40%以上



同时,广发银行结合全行数据战略规划,以新数据平台为基地,基于华为主机上云解决方案,以华为云Stack构建金融云平台,构筑数据开发、数据分析、知识图谱等能力平台,为全行提供数据个性加工、灵活分析、智能建模等数据服务。


其中华为云GaussDB库内集市为多个业务应用系统提供信用卡类数据服务,有效支撑信用卡产品申请审批、客户管理、查询等业务办理,为信用卡客户提供了更高效优质的服务。


未来,广发银行将继续落实数字化战略转型,持续打造数字基建能力,释放数据要素价值,加快发展新质生产力,不断激发高效率、高质量服务实体经济的内生动力,为走好中国特色金融发展之路积极贡献科技力量。





戳“阅读原文”,了解华为云Stack






华为云
一切皆服务,共建智能世界云底座
 最新文章