前沿 | 构建“全链路”数据质量管控体系,夯实数据应用底座

科技   2024-11-27 19:28   北京  

 扫码订阅《中国信息安全》

邮发代号 2-786

征订热线:010-82341063


文 | 中国农业银行信息管理部副总经理 张辉

随着数字经济的快速发展,数据已成为国家基础性战略资源和关键生产要素。近年来,农业银行积极融入数字中国建设,把数字经营作为三大战略之一,并将数据管理作为重要内容融入全行“十四五”规划,全面推进数字化转型,以《银行业金融机构数据治理指引》为根本遵循,逐步构建起涵盖数据采集、整合、应用的“全链路”数据质量管控体系,持续完善“监测—分析—整改—评价”数据质量闭环管控流程,坚持“以用促治,标本兼治”的治理理念,依托数据治理平台充分应用血缘分析技术,创新数据治理方法,促进重点领域数据质量提升。


构建“全链路”数据质量管控体系

农业银行以强化数据全生命周期管理为主线,建立覆盖数据采集、整合、应用环节的“全链路”数据质量管控体系,将数据治理贯穿数据流经的全链路各环节。

1.在采集层面,强化源系统贯标和录入管控,提升源头数据质量。源头数据质量管控是“全链路”数据质量管控体系的根本,确保了数据在整个生命周期中的可靠性和有效性。首先是以主数据为切入点,依托企业级业务架构建设,优先实现主流系统中机构、客户、产品三大标准的贯标落标,进而提高源头系统的标准覆盖度。其次要加强系统研发过程中的数据架构管控,明确数据质量的刚性约束需求,在需求研制、系统开发和项目验收等重要节点做好核查验证,把好源头数据出口。

2.在整合层面,强化数据整合与监测,充分发挥中台数据枢纽作用。整合数据质量管控是“全链路”数据质量管控的核心,能有效提升下游数据应用的准确性和一致性。一方面持续拓展数据中台的数据类型和维度,以“多、快、好、省、易”为目标建好建优主题业务宽表,推动数据统一来源、统一规则、统一质量和统一服务,有效提升数据供给能力。另一方面依托数据中台定期监测重点领域、重要集市的数据质量情况,既针对共性基础数据开展各类质量监测,也要解决基于单一系统难以开展的跨系统、跨业务数据质量问题。

3.在应用层面,强化监管报送统筹和大数据应用支持。应用数据质量管控是“全链路”数据质量管控的关键,应用层数据质量将直接影响数据价值发挥。监管报送方面,梳理监管报送要求和行内业务规则,形成规范化的监管数据资产,实现EAST、一表通及1104等各类监管报送的“同源同规同质”,并做好报送异常监测预警,确保提前发现问题、靠前处置问题。大数据应用方面,通过业技数深度融合,以行内业务经营、案防风控、管理决策等应用场景中发现的数据质量问题为抓手,推进专题数据治理。


落实数据质量闭环管控流程

在“全链路”数据质量管控体系下,农业银行以打造更加便捷高效的数据质量管控流程为目标,不断完善“监测—分析—整改—评价”闭环管控机制,在重点领域推动数据质量问题闭环解决。
1.持续拓展数据质量监测体系。以“客户—机构—产品—账户”为切入点,通过9000余项校验规则对入库数据实施批量检查,并按季发布《数据质量定期监测报告》,联动业务部门推进各项专题数据治理。
2.细化数据质量问题成因类型。根据监管制度理解偏差、业务规则不完善、源系统管控不到位、源系统字段设计缺失、手工数据不规范、存在业务合理性等不同问题类型,分类制定差异化的整改措施。
3.强化增量管控以及存量治理。按照“新旧划断”的原则,一方面严格落实新增问题管控,通过源头系统开发的需求管控和业务办理的操作管控,避免出现“边治理边污染”问题;另一方面积极推进历史数据治理,多部门协作分阶段、有计划地推进存量问题整改。
4.丰富创新集团考核检查手段。既要建立覆盖集团各层面的数据质量考核体系,按月监测、按季通报考核情况,按年将考核结果纳入全行综合绩效考评。同时将数据质量纳入条线尽职监督检查范围,从检查范围、方法创新等方面提质增效,实现检查机构全覆盖、内容全覆盖,确保问题整改有督导有落实。


细化组织保障,强化系统支撑

1.充分发挥“两个OWNER”的协同作用。数据质量管控是一个投入多、推动难、见效慢的复杂过程,农业银行紧扣“齐抓共管”的工作模式,充分发挥“数据部门是全行数据统筹者,业务部门是本领域数据所有者”的“两个OWNER”协同作用,有效推进全行数据质量提升。
数据部门作为数据统筹管理部门,是数据质量管控的“推动者”,需要根据数据管理制度明确各方治理职责,建立部门间协作机制;统筹综合性监管数据报送,开展常态化监测,推动业务部门开展源头贯标和数据治理,起到组织协调的作用。业务部门作为业务或系统牵头管理部门,是数据质量管控的“践行者”,应当落实本业务领域或本系统的数据质量管理责任,落地系统建设中质量管控刚性约束;制定对应领域的监管报送业务规则,并对报送数据进行审核,起到分域落实的作用。科技部门作为技术实施和保障部门,是数据质量管控的“守护者”,主要肩负全行信息系统数据架构的规划,加强系统研发过程中的数据架构管控,落实数据库设计规范,组织落地实施数据治理相关业务需求,起到支撑保障作用。
2.强化系统平台和技术手段支撑。随着数据治理创新技术的不断演进,农业银行立足“数据规则库—基础数据库—质量监测库”三位一体的系统定位,建立覆盖资产、数据、监测、推送的数据治理平台,落实数据质量管控闭环,推动数据治理工作系统化、自动化、可视化。
一是实现集中式、一体化资产平台,提升资源整合能力。依托治理平台强化数据资产集中管理,构建资产管理目录,持续扩充资产来源与种类,支持采集、整合、应用三层的资产管理与查询。二是打造动态式、自动化数据平台,提升数据服务能力。治理平台支持各类数据应用场景的自助抓取和自动同步,针对常态化数据质量监测,支持定期自动同步数据;针对临时问题核查等灵活用数场景,支持实时按需自助同步数据。三是打造自助式、实时化质量平台,提升数据监测能力。治理平台实现了全链路数据质量监测规则的实时调度与批量调度,通过开发数据质量考核看板,支持按归属机构进行自助拆分和结果推送。四是打造互通式、精细化联动平台,提升质量管控精度。依托平台数据资产构建应用层数据与源系统数据的血缘关系图,针对异常监测数据借助血缘分析工具,精准定位异常数据对应源系统,进而开展源头整改任务分发,实现数据治理平台与源头业务系统的治理联动。


“双轮驱动”促进重点领域数据质量提升

“管数”和“用数”的有机结合是数据治理的必经之路,农业银行遵循“以用促治,标本兼治”的数据治理理念,以监管关注领域和行内数据应用为双轮驱动,完善数据核验机制,深化源头数据治理,全面提升数据服务能力。
在客户领域,切实贯彻人民银行反洗钱要求,遵循“了解你的客户”原则,重点推进个人客户9要素治理、对公客户12要素治理、对公客户受益所有人专题治理,确保新开客户和存量客户信息的完备性和准确性,从源头上遏制洗钱等违法犯罪活动,有效保护客户的财产安全。在账户领域,针对资金流向监测相关的交易对手缺失问题,组织业务部门细分对公存款、个人存款、代发工资交易中的交易渠道与接口,推动从渠道端和系统端落实源头管控、封堵缺失漏洞,显著提升了全行交易数据质量。在产品领域,切实贯彻中央金融工作会议精神,重点推进普惠信贷关键要素、涉农贷款分类、专精特新、粮食重点领域等专题数据治理,为强化数据监测分析打牢基础。
在数据资产重要性日益凸显的今天,数据治理不单单是一个系统平台,也不仅仅是一套制度流程,而是为了夯实数据底座的综合方案与具体实践,具有长期性、艰巨性和系统性。未来,农业银行将继续做好做实“全链路”数据质量管控的方法论,创新创效数据治理技术手段,既要做“显功”,更要做“潜功”,以坚实的数据基础助力全行数字化转型,为高质量发展贡献农行力量。

(来源:金融电子化)



分享网络安全知识 强化网络安全意识

欢迎关注《中国信息安全》杂志官方抖音号


《中国信息安全》杂志倾力推荐

“企业成长计划”

点击下图 了解详情


中国信息安全
《中国信息安全》杂志,介绍国内外最新网络安全动态,深度解读网络安全事件。
 最新文章