赣州银行新一代“数智化”基础数据底座项目采用湖仓一体+基础资源存算分离的架构设计,以及全面信创+开源基础软硬件方案,以“科技降本增效、业务服务提效、社会服务长效”为核心原则,集中发力于数据整合与治理、数据存储与管理、数据安全与合规、数据分析与挖掘和数据服务与应用等五大数据领域。大数据基础技术平台利用大数据分析、人工智能等技术,深入挖掘数据潜能,将数据转化有价值的信息和知识,进一步夯实全行数据资产核心能力,构建了企业级OneData体系,并高度统一了用数体验、数据视角、萃取引擎以及产品服务,形成了全行一站式报表平台、一站式自助分析平台、一站式数据大屏和一站式经营分析服务,助推全行实现智能化的数据集中管理、智慧化的数据服务与分析,致力于为全行的数字化转型和业务创新提供强大支撑,为经营决策提供有力支持。
方案背景
赣州银行的基础数据能力体系自2013年建立以来,在支撑监管报送、客户关系管理以及内部管理等多个领域发挥了关键作用。随着银行业务规模的持续扩大和复杂度的提升,传统基于Oracle数据库的关系型数据仓库架构逐渐暴露出性能瓶颈。具体而言,面对大数据量处理任务时,系统响应慢,维护成本高,难以满足日益增长的业务分析需求,同时在应对数据智能化的场景需求时,无法响应前端业务的现实诉求。
在数字化转型浪潮中,赣州银行积极响应金融科技创新的号召,将数据视为技术与金融业务融合的桥梁。为提升业务竞争力,全面拥抱将金融数据场景做为关键基础能力、数据要素流通的时代大环境,赣州银行决定构建新一代“数智化”数据底座,以高效、智能地管理数据资源,为决策提供有力支持。随着金融行业数字化转型的加速推进,信创(信息技术应用创新)成为重要趋势。赣州银行作为地方性金融机构,紧跟国家政策导向,积极推动信创建设,旨在提升自主可控能力和信息安全水平,符合行业发展趋势和战略要求。另一方面,金融监管机构对银行数据报送和治理的监管要求日益严格,国家金融监管总局、中国人民银行等金融监管机构发布的监管政策不断细化,对银行的数据质量、处理能力和报送效率提出了更高要求。面对新趋势和高要求,赣州银行需升级数据处理系统,以确保满足监管要求,提升数据治理水平。
为保持业务竞争力和持续发展,赣州银行需不断提升数据治理能力和业务创新能力。传统Oracle数据库在扩展性、性能优化等方面已难以满足需求,而新一代“数智化”数据底座的建设将助力银行实现数据的模块化、自动化、智能化,形成主动与被动的数据能力双循环,达成稳态、敏态的服务闭环,推动业务数字化转型,提升运营效率和服务质量。随着大数据技术的成熟,分布式数据库和数据处理框架在金融、互联网等领域得到广泛应用,这些具有高性能、高可扩展性和低成本优势的新兴技术,为赣州银行提供了替代传统数据库、优化数据处理流程的理想选择。
综上所述,赣州银行新一代“数智化”数据底座项目的建设是在多重背景下启动的重要战略举措。通过构建高效、智能的数据能力平台,实现数据的集中管理、高效处理和智能分析,并通过结合金融数据大模型,为数字化转型和业务创新提供有力支撑。
方案目标
赣州银行新一代“数智化”基础数据底座工程项目是一个综合性项目,旨在通过构建高效、智能的数据底座工程平台,实现智能化的数据集中管理、智慧化的数据服务与分析,为银行数字化转型和业务创新提供强大支撑,为经营决策提供有力支持。主要包括以下五个方面:
(一)数据整合与治理。一是实现数据源接入,将银行内部各个业务部门和系统的数据源接入到新一代“数智化”数据底座,确保数据的全面性和完整性。二是实现数据清洗与规范化,对接入的数据进行清洗和规范化处理,去除重复数据、纠正错误数据、统一数据格式等,提高数据质量。
(二)数据存储与管理。一是实现分布式数据库部署,采用分布式数据库技术,以应对大数据量的存储需求,提高系统的可扩展性和性能。二是实现数据仓库建设,构建统一的数据仓库,将清洗后的数据按照业务主题进行组织和存储,为数据分析提供基础。
(三)数据分析与挖掘。一是组建数据分析工具,引入先进的BI数据分析工具,支持业务人员进行数据分析和挖掘工作。二是实现业务主题分析,围绕银行的核心业务主题(如客户行为分析、风险管理、产品优化等),开展深入的数据分析工作,为决策提供有力支持。三是实现数据可视化,通过数据可视化技术,将分析结果以直观、易懂的方式呈现出来,提高决策效率。
(四)数据服务与应用。一是实现数据服务API,封装数据计算逻辑,生成API服务,供上层数据应用调用,实现数据的快速应用。二是实现实时数据仓库,引入实时数据仓库技术,支持对客户行为的实时监控和分析,为银行提供个性化服务和精准营销的基础。三是提供数据支持工作,为监管报送、客户关系等下游应用提供数据支撑,减少数据加工的重复建设。
(五)安全与合规。一是保障数据安全,加强数据加密、访问控制等安全措施,确保数据在传输、存储和使用过程中的安全性。二是支持数据合规性管理,遵循相关法律法规和监管要求,确保数据处理的合规性。
方案特点
赣州银行新一代“数智化”基础数据底座采用的是湖仓一体的架构设计,以“科技降本增效、业务服务提效、社会服务长效”为核心原则实施开展,该项目重要特色有:
(一)湖仓一体+基础资源存算分离架构设计。新一代“数智化”平台采用湖仓一体的架构设计,将数据湖的灵活性和数据仓库的性能优势相结合,充分利用湖仓一体架构简化数据管道,降低数据处理的复杂性和成本,提高数据处理的效率和灵活性。通过存算分离的架构,将数据存储与计算资源分开部署和管理,使得计算资源可以根据业务需求灵活扩展或缩减,在提高资源利用率的同时有效降低运维成本。
(二)全面信创+开源基础软硬件。新一代“数智化”平台在软硬件架构上采用国产化芯片鲲鹏CPU,操作系统采用麒麟操作系统,业务数据采用HIVE、GREENPLUM数据库,实时计算引擎采用FLINK引擎,配置资料库采用GOLDENDB数据库,客户端采用统信操作系统,私有云采用华为虚拟化解决方案,多个方面共同保障数据安全以及平台自主可控。
(三)数据服务与共享。新一代“数智化”平台提供丰富的数据服务接口和共享平台,支持数据资产的快速共享和高效利用。通过数据服务API、数据可视化工具等方式,新一代“数智化”数据底座利用大数据分析、人工智能等技术,深入挖掘数据潜能将数据转化有价值的信息和知识,通过批量及实时两种服务模式为业务部门、下游应用等提供便捷高效的数据访问和分析服务。
赣州银行新一代“数智化”基础数据底座的主要创新体现在如下几个方面:
(一)统一用数体验:让业务用户在数字化转型过程中对数据有足够的“获得感”是本次项目建设的难题与重点,本次项目以数据门户为载体,建立消费级数据资产服务体验,涵盖了全行数据商品的注册、审核、发布、查询、订阅、授权、评价等的整套流程,实现全行数据价值的统一运营和管理,基于数据门户推动全行数据文化建设,服务全行数字化转型战略。
(二)统一数据视角:建立面向业务视角的基础数据的整合能力是数据底座工程的基础,本次项目通过粒度模型建设,实现对数据进行更加高效的处理同时更直接、快速的让业务可直接对数据进行应用。针对高频次、低延时的监管需求,采用细粒度模型进行实时数据处理;而对于低频次、长周期的监管需求,则采用粗粒度模型进行批量处理。这种按需处理的方式有助于提高数据处理的效率和准确性。此外,新一代“数智化”数据底座项目通过粒度模型整合了行内上游数据及行外外部数据,为下游应用系统提供了有力的数据服务。
(三)统一萃取引擎:新一代“数智化”数据底座通过指标引擎的建设对各项业务的运营情况进行实时监控,包括交易量、交易金额、客户活跃度等关键指标。通过构建统一的指标平台,提高数据处理效率,结合实时数据处理,实现对各类业务数据的集中化管理和智能化分析,并通过企业微信、小程序、实时大屏看板等渠道及时快速地响部门之间的沟通需求、市场的变化需求以及经营所需的决策需求,为全行的业务创新、决策支持提供数据支撑。
(四)统一产品服务:通过新一代“数智化”数据底座对业务常用的报表、指标、标签数据进行分析挖掘,将常用的资产、负债、存贷款等数据指标化,提供拖拉拽式的灵活数据查询应用,实现多层面、多维度的数据统计与分析;梳理系统间的数据流转,封装数据产品,将业务报表、指标、标签封装成数据产品应用,形成数据应用资产目录,发布在数据门户供业务人员检索使用,形成一站式报表平台、一站式自助分析平台、一站式数据大屏和一站式经营分析服务。
方案业务流程图
图1 赣州银行新一代“数智化”数据底座能力体系
图2 赣州银行新一代“数智化”数据底座架构
图3 赣州银行新一代“数智化”数据底座数据服务架构
图4 赣州银行新一代“数智化”数据底座移动数据门户架构
实现功能展示
新一代“数智化”数据底座的应用效益深远且多维,在提升业务决策、优化客户体验、深化风险管理、推动产品创新等方面发挥关键作用,还强有力地支撑了我行新一代核心项目的建设工作,并显著减少了数据重复建设的问题。
图5 赣州银行新一代“数智化”数据底座首页展示图
(一)引领业务决策与战略规划的智能化。
一是支持全面洞察与精准决策:新一代“数智化”数据底座汇聚了银行内外部的海量数据,通过智能分析技术,为管理层提供全面、深入的数据洞察,助力精准决策和战略规划。
二是支持前瞻性预测:基于历史数据和实时趋势,新一代“数智化”数据底座能够进行前瞻性预测,帮助银行提前布局市场,抓住机遇。
(二)优化客户体验,促进个性化服务。
一是能够深度理解客户需求:通过实时分析客户行为数据,新一代“数智化”数据底座帮助银行深度理解客户需求,为客户提供更加贴心、个性化的金融服务。
二是有效提升服务效率与质量:自动化和智能化的数据处理流程,使得银行能够快速响应客户需求,提升服务效率与质量,增强客户满意度。
(三)推动金融产品与服务的持续创新。
一是实现数据驱动的产品研发:基于新一代“数智化”数据底座提供的数据洞察,银行能够精准定位市场需求,快速研发出符合客户需求的金融产品和服务。
二是实现跨界融合与创新:新一代“数智化”数据底座促进银行与其他行业的数据共享与合作,为跨界金融产品和服务的创新提供可能。
(四)高效支撑我行新一代核心项目建设。
一是满足数据基础设施的升级:新一代“数智化”数据底座作为新一代核心项目的数据支撑平台,提供了高效、稳定、可扩展的数据处理能力,为项目成功实施奠定了坚实基础。
二是满足数据资源的整合与利用:通过新一代“数智化”数据底座,银行能够有效整合和利用内部外数据资源,为新一代核心项目提供丰富的数据支持,推动项目创新与发展。
三是减少数据重复建设:新一代“数智化”数据底座通过统一的数据标准和规范,避免了不同系统间数据的重复建设和不一致性问题,降低了IT建设成本,提高了数据利用效率。
综上所述,新一代“数智化”数据底座的应用效益不仅体现在提升业务决策、优化客户体验、深化风险管理、推动产品创新等方面,还为我行新一代核心项目的建设工作提供了强有力的支撑,确保了该项目的顺利实施和持续发展。
方案案例及效果
赣州银行新一代“数智化”数据底座的顺利上线,在各关键节点上取得了非常显著的效果:
(一)经济效益方面:
一是通过开源的大数据平台及MPP平台直接节约近百万的商业软件采购费用以后续每年近10万的维保费用(以10个节点计算)。
二是新一代“数智化”数据底座通过自动化和智能化处理数据,显著降低了人工操作成本,同时提高了数据处理和分析的效率。这包括减少系统改造费用、降低历史数据整合成本。通过新一代“数智化”数据底座的数据服务能力,在我行新一代核心项目群建设中避免我行50+下游应用系统在数据整合方面的重复建设,累计减少系统建设100人月以上。
三是通过新一代“数智化”数据底座提供的数据洞察,赣州银行能够更精准地定位客户需求,推出更符合市场需求的金融产品和服务,从而带动业务增长和收入增加。
四是新一代“数智化”数据底座的风险预警和监测功能有助于银行及时发现并应对潜在风险,减少不良贷款和其他金融损失,保护银行资产安全。
(二)社会效益方面:
一是提升金融服务质量:“数智化”数据底座的建设使得赣州银行能够更快速、更准确地响应客户需求,提供更加个性化、便捷的金融服务,提升客户满意度和忠诚度。
二是促进金融普惠:通过数据分析,银行可以更好地了解小微企业和农村地区的金融需求,推出更加适合的金融产品和服务,促进金融资源的均衡分配,助力普惠金融发展。
三是支持经济发展:作为地方金融机构,赣州银行通过新一代“数智化”数据底座优化资源配置,支持地方经济发展,特别是在支持小微企业、促进产业升级和推动区域协调发展方面发挥积极作用。
(三)其他方面:
新一代“数智化”数据底座的建设推动了银行在大数据、人工智能等前沿技术领域的探索和应用,促进了技术创新和人才培养。这不仅提升了银行的技术实力,也为员工提供了更多的职业发展机会。
方案未来展望
对于全国中小银行机构而言,如何充分利用并发掘数据资源,实现智能化的经营管理,是当前亟待解决的重要课题。基于本项目实施过程中发现的问题和积累的经验,后续我行考虑围绕以下方面进行深入探索和优化:
(一)进一步丰富数据资产库:持续补充丰富各类数据资产,加强数据资产全局化管理,针对主要金融场景,搭建形如监管集市、普惠集市一般的数据集市群,进一步优化用户数据探查的深度和自由度。
(二)提供更加高效的决策数据支持:通过对我行的运营数据进行进一步的深入分析,并结合现有的指标引擎与实时技术,实现指标数据的快速计算,可采用配置化的方式,以丰富的图表形式展现于小程序、企业微信、大屏以及看板等多种渠道,高效响应部门之间的高效沟通需求及行领导的决策需求。
(三)提供更加安全、稳定、标准化的数据运营:当前新一代“数智化”数据底座通过数据标准化来确保数据的统一性和一致性,提升数据的可用性和准确性,未来我行将结合最新国际标准、国家标准、监管要求及我行实际,持续完善、优化我行数据标准,确保每个数据元素都有明确的定义和用途,不同系统和部门间的各类数据都可以无缝对接。此外,还将考虑对我行数据进行分级分类,做安全等级划分,结合新型数据安全技术,为用户提供更加安全稳定的数据应用环境。