2024
18/10
RUIHE DATA
Case Study
[ 案例分享]
—— 瑞和数智助力某国有大行数据仓库迁移 ——
近年来，随着内外部环境的变化，金融行业IT系统建设面临新的挑战和发展要求。由于金融行业对信息技术的依赖程度越来越高，金融行业信息数据安全保障变得日益重要，因此迫切需要推进金融信创应用，实现国产替代，提升自主可控能力。这是国家安全的需要和监管机构的要求，也已经成为金融行业的共识和重点投资方向。
近期，瑞和数智与某国有大行展开合作，完成了对该行银行卡数据仓库的迁移和替换，助力该行将原有的某国外数据仓库替换为国产数据库，完成数据迁移和验证，大幅提升了该行的自主可控能力，满足了业务发展的需要。
系统建设
数据仓库
数据治理
●●●
PART.01
项目背景
该国有大行的信用卡中心之前采用的是国外数据仓库系统，并在数据仓库的基础上构建了分析型客户关系管理系统。上述系统已经运行近20年，积累了大量的数据。
因金融信创大势所趋，该行需要将原有的国外数据仓库替换为国产数据库，并采用重构的方式实现对现有CRM功能的平移。这是该国有大行的年度重大工程项目，行方要求在9个月内完成整体迁移过程，并要求迁移期间仍需保持业务不中断、迁移后功能与现有系统保持一致。
面对数据量级大、数据应用复杂、应用之间紧耦合、拆分难度大、迁移期间仍需保持业务不中断等业务及技术上的难题，瑞和数智凭借丰富的项目经验和硬核的技术能力提供了一整套行之有效、经过实践检验的技术方案和实施方法，助力行方在完成数据迁移的同时，实现了系统的进一步升级优化，更好地满足业务发展的需要。
PART.02
难点与挑战
时间难点
旧的数据仓库年积日累，新项目迁移周期短。该行之前采用的某国外数据仓库已近20年，而整个迁移周期仅有9个月（其中3个月完成新系统投产上线工作，6个月完成并行期间的业务验证和旧系统下线工作），时间紧、任务重。
业务难点
数据量级大，应用复杂。在数据量加速增长情况下，该行银行卡数仓积累了大量的数据，包括1500多张关键数据表、1万多个数据作业、1千多张应用报表，存量裸数据达300多TB等。银行卡数仓是包含多个数据应用集，数据应用直接面向业务，涉及总行、卡中心、分行等各条线，血缘关系和应用背景复杂，需要对业务有深刻理解。
技术难点
应用紧耦合，服务不中断。该行数据仓库还涉及集市和多个业务系统，数据流向复杂，应用之间紧耦合，拆分难度大。在数据迁移期间，仍要保持业务对外正常服务，保证业务不中断，兼顾业务变更与需求，好比飞机在飞行过程中更换发动机，挑战非常大。
PART.03
解决方案
01
迁移策略
遵循整体平移、部分升级改造、部分重构的原则；
采用MPP数据库。迁移后业务功能与现有系统保持一致，非功能性及公共专题不低于现有系统要求，并在此基础上进行扩展、优化和提升，满足业务发展需求。
优先采用迁移工具和自动校验工具方式，尽量不使用手工方式；新旧系统并行验证，下游应用分批切换
02
实施流程
01
上游系统增量数据的处理
02
程序迁移：包括作业脚本、DDL、SHELL、PERL等，采用转换工具迁移，少部分无法使用工具的手工迁移
03
数据库对象迁移：包括表、视图、宏、自定义功能函数UDF等
04
组件ETL Automation的迁移：包括ETL Automation调度工具，知识库、工作流、脚本程序
05
组件 Mis Portal的迁移，实现功能包括：报表查询、灵活查询及参数管理、权限管理、数据补录等
06
数据迁移：包括历史数据（静态）和增量数据（动态变化的）
07
下游系统报表的加工处理
08
平移过程中编写自动化测试工具，数据自动比对核验工具，对新旧系统数据进行对比验证并出具验证结果
09
营销活动管理功能：为业务人员提供营销活动定制服务，业务可以进行营销活动配置、营销渠道选取、数据导入导出等功能
10
平移过程中编写自动化测试工具，数据自动比对核验工具，对新旧系统数据进行对比验证并出具验证结果
11
平移后采用MPP数据库系统，数据库产品为南大通用的GBASE，数据库采用集群部署，应用节点采用双机热备部署模式。平移后保持现有用户的角色和权限，同时满足客户信息保护和生产数据安全要求。
PART.04
项目成果
经过数据仓库迁移，并通过严格的技术加强验证和关键应用验证等多重验证之后，该国有大行银行卡业务高效且安全地从国外的商业化数据库产品迁移到国产化大数据环境，完成国产数据库迁移与平稳过渡，进入稳定运行阶段，实现了4个目标成果：
自主可控能力增强
顺利完成数据仓库迁移，全面替换国外数据仓库，
提升了该行的自主可控能力。
服务平滑过渡
平移现有应用脚本和应用服务，承接现有应用，平滑过渡信用卡业务应用支持。迁移过程中保持了业务不中断，整体切换后新系统运行平稳。
系统性能提升
新系统的运行效率更高，提升了批量运行效率和应用响应时效性，增强了系统的健壮性和可维护性。
监管及时响应
满足纪检、审计、监管部门对交易的历史数据查询服务，保障监管及时响应、监管报送业务不受影响
截止目前，瑞和数智已参与多家大型银行的数据迁移项目。
当前，数字化经营浪潮已席卷所有行业，成为时代趋势，信创发展也已进入2.0时代的全面落地期，行业信创逐步加速，与党政信创形成双轮引擎。瑞和数智依托于10多年来在金融大数据和人工智能领域上积累的深厚技术功底、丰富的金融行业和项目实施交付经验，以及一支源自全球大数据领域领导厂商的技术队伍，正逐步将在银行业的成功实践经验复制运用到全行业，促进AI大数据向更多行业落地，推动中国信创产业向深化落地阶段发展。
