刘承岩：工商银行湖仓智一体创新应用实践

国家《“十四五”数字经济发展规划》指出数字经济是未来的主要经济形态，数据因其倍增效应和乘数效应，可以带来全要素效率的提升，已经成为数字经济的核心要素资源，是企业数字化转型的新要素、新动能。为了高质量推进企业数字化转型，实现数字企业效率提升、体验提升、模式创新，金融企业正全面推进云计算、大数据、人工智能等数字技术在企业的规模化应用，以实现数据要素价值的挖掘和运用，加速企业数字化转型进程，高质量赋能实体经济发展。

近年来，以大数据和人工智能为代表的数智技术发展迅速，实现了从单模态处理、批量分析、小数据挖掘、定制算力、专家代理用数，向多模态处理、湖仓智融合、实时加工、知识萃取、深度挖掘、弹性算力、全民自助用数的突破。全球数字化头雁金融企业正加快运用数智新技术搭建云湖仓智融合的企业级数智平台，打造面向数字时代的新质生产力动力引擎，全面高质量推进企业的数字化转型突破，高质量赋能实体经济发展。

工商银行始终坚持科技兴行战略，加快推进科技自立自强和科技强行建设，牢牢把握数据+科技双要素驱动的数字化转型内在规律，坚持创新在前沿技术攻关和数字化转型应用的核心地位，走出了一条数字技术驱动的数字化转型之路，实现了从以电子化和信息化为特征的数字银行1.0向以智能化和开放化为特征的数字银行2.0阶段的跨越式发展。伴随着数字工行的快速发展，工行加快了以大数据和人工智能为核心的数智技术在业务发展方面的引领性创新应用，实现了从数字银行1.0时代的数据集市、数据仓库，向数字银行2.0时代的数据湖、湖仓一体、数智一体的快速演进。数据已经成为驱动数字工行高质量发展的核心要素资源，以大模型为代表的人工智能技术成为数字工行发展的核心动力引擎。目前，工商银行已经建设形成了面向数字时代发展要求的集算力、存储、引擎、算法、能力、市场于一体的万台服务器、千卡GPU的云数智融合大数据生态平台（如图所示）。通过算力融合，实现了异构算力的池化和统一纳管，解决了异构算力统一纳管难题；通过云数融合，实现了算力的灵活高效弹性供给，解决了算力供给不灵活、不均衡难题；通过存储融合，实现了流批一体数据的打通和共享，解决了存储格式不统一、共享应用的难题；通过场景融合，实现了平台范式能力的提炼和建设，解决了场景用数赋智门槛高的难题；通过数智业融合，解决了数据和技术全行赋能的“最后一公里”难题，实现了面向集团总行、分行、支行、网点、个人等不同用数主体的全员自助用数、自助赋智的新模式，数智生产力工具嵌入到全行营销、风控、运营、产品等各个业务领域，为数字工行效率提升、体验提升、模式创新提供了新动能。

图  中国工商银行大数据平台生态架构图

1.算力融合实现跨中心、跨集群、跨设备的超大规模存储和计算资源统一纳管和弹性供给。通过云平台对超万台Intel、鲲鹏、海光等CPU算力的服务器，以及千余张GPU卡进行统一纳管，并通过虚拟化技术对CPU、GPU等算力资源进行标准化，形成了对不同地域、不同技术代际的异构算力混合部署的能力，实现算力资源的可持续扩展与高效利用。同时，为了应对算力的庞大需求，工商银行在上海和北京两地共部署了四个数据中心，通过算力融合可在大幅增加算力供给的同时，确保算力资源的最大化利用与高效协同。

2.云数融合实现了存算资源的统一调度和灵活弹性供给。工商银行在持续推进全员自助用数的过程中，面临着全行算力资源供给不足、供给不均衡、部分算力资源闲置等难题，通过在基础算力层之上建设统一的资源调度层，实现对底层多样化的算力资源与存储资源的调度与分配，通过对云数两大平台上的资源进行标准化，使上层计算引擎与底层算力资源解耦，既实现了引入多样化算力供给来源的能力，又为全行算力资源的统一运营提供了基础。在分配模式上，不仅能够支持基于裸金属的直接分配模式，为需要极致性能的高性能计算场景提供支撑，还支持基于虚拟机与容器的轻量级灵活分配模式，以满足对资源弹性伸缩要求较高的场景。此外，在资源调度层还集成了YARN与K8S两大主流调度引擎，更加灵活地适配了多种计算引擎的需求，确保各类工作负载都能获得最优的执行环境与资源配置，从而加速数据处理流程，提升整体系统效能。

3.存储融合实现了异构存储格式、异构文件系统的统一和共享。随着工商银行全行规模化用数的持续深入，从早期单一化的日终批量处理的加工场景，逐步演化到包含流式处理、多批次处理、联机分析等多种类型的加工场景，各类场景中对于数据时效的要求也越来越高，大数据平台上不断衍生出不同类型的存储系统与格式，跨计算引擎之间数据无法融合互访，容易造成数据冗余，数据时效性也较差。为此工商银行实施了从ORC、Kafka等流批分离的数据格式向统一实时数仓流批融合的Hudi格式进行演进的工程，并根据工商银行场景的特点落地了4个新特性，实现了流批数据和湖仓数据的统一，减少了数据中台中近1万张表的数据冗余。

4.计算融合实现了异构引擎的插拔式引入和容器化调度。为支撑各类创新场景的需要，工商银行大数据平台通过向存算分离架构演进，使计算引擎与存储引擎在物理上分离解耦，既解决了存算一体架构中单集群故障域过大的问题，又形成了计算引擎可插拔式引入的能力。在计算类场景中，面向于流、批、湖、仓均建设了对应的计算引擎，并对其中Spark、Flink等计算引擎实现了容器化适配，使其可以部署到K8S上以复用云平台的空闲资源，通过云数平台间的弹性资源调配，解决了大数据平台高峰期算力资源不足的问题，目前已经实际落地了超3万个vCore的跨平台算力调度。在分析类场景中，通过对融合分析引擎的持续打磨，实现了对多种异构数据源的联合计算，在资源隔离、数据安全、算子下推、大SQL拦截等方面较开源Presto均做了适配提升，使业务分析人员可对多种计算引擎上的数据进行透明地关联使用。

5.场景融合实现了可共享用数赋智能力的提炼和复用。工商银行通过打造全链路安全、敏捷、易用的研发工作站，建立分层共享共建机制等措施，将以往“树烟囱、大应用、高代码”的作坊式研发朝“重共享、大底座、低代码配置”的工厂化流水线研发模式演进，实现能力共用、反哺共建。技术方面，构建数智用三链融合、DataOps、LLMops、AgentOps协同的全链路敏捷开发流水线，面向全量不同用户，提供端到端、低门槛、多样化的研发流水线能力，数据工程标注效率提升10倍，模型研发效率整体提升50%，提供分钟级构建金融数字助手。应用方面，建立了分层共享共建的新型研发模式，科技主导组建专业基座团队，构建统一知识、行业/企业大模型、范式解决方案等公共底座，业务主导组建场景团队，通过零编码配置化模式实现应用快速落地，快速形成面向场景的业务应用能力。底座和上层应用高效协同，确保各项研发成果之间的有机共享，共性能力的提升都能带动整体赋能水平的提升。

6.数智业融合实现了面向集团总行、分行、支行、网点、个人等不同用数主体的全员自助用数、自助赋智的新模式。工商银行打造了适配金融行业的“1+X”范式工程化解决方案，充分兼容金融应用领域的多样性和个性化需求。其中，“1”是指智能中枢，通过智能中枢的任务感知、决策、执行、反馈等能力，实现金融复杂场景的应用；沉淀“X”可共享复用的范式能力，包含多模态知识检索、对话式数据分析、智能化文档编写、交互式智能搜索、沉浸式智能教培等多项金融即插即用的零代码工程化解决方案。例如多模态知识检索范式，依托知识库、大模型等技术，提供知识管理、知识搜索、答案生成等能力，支持各业务、科技人员通过零编码方式搭建专属知识库。业务人员只需上传制度、规范等文档，分钟即可实现文档内容检索问答，并给出可信来源，提升专业知识获取效率。例如数据分析范式，提供对话式数据分析解决方案，帮助用户一句话实现报表查询、SQL生成、指标查询、图表绘制等，助力用数模式从报表点选、BI拖拽式数据分析转向自然语言交互模式演进，大幅提升数据分析效率、降低数据分析门槛。

数智技术已经成为工商银行打造新质生产力的核心引擎，为了规模化、高质量地释放数据要素价值，助力数字工行、科技强行的高质量发展，工商银行将继续坚持科技自立自强，聚焦数智技术前沿、数智平台建设、数智生态运营三个方面，抓住湖仓智技术深度融合发展的内在规律，按照“1+6+N”的总体建设思路，以大数据平台生态建设为抓手，加快推进算力融合、存储融合、计算融合、数智融合、生态融合、安全融合（六融合，一平台），助力工商银行新质生产力的打造，以高质量数字工行建设，实现高质量金融强行建设。

1.深化算力融合，实现算力资源的随需弹性供给。工商银行已将原一地两中心的机房布局延伸到两地四中心，极大地扩充了大数据平台的算力资源供给能力，并且通过云数融合、计算引擎容器化改造，进一步丰富了算力供给来源。同时，工商银行正在研究基于Serverless的新型算力交付模式，提升即席探查等短周期类场景的算力资源交付效率，通过细化算力交付场景，进而实现算力资源更高效的使用，以满足全行规模化用数时对底层算力的需求。

2.深化存储融合，实现多模数据存储的统一打通和共享。工商银行大数据平台在通过存算分离解决了算力弹性供给的基础上，还将进一步向数算分离演进。通过统一技术元数据来实现底层存储引擎、存储格式的多模融合，形成基于对象存储的统一存储底座，降低在引入新型计算引擎过程中所带来的数据冗余问题。

3.深化计算融合，实现不同用数领域间高低峰资源的错峰复用。除了在计算类场景中实现引擎容器化改造之外，进一步实现分析类场景中引擎的容器化改造，同时扩大云数两平台间可弹性调配资源的范围，巩固大数据平台的算力供给。此外在插拔式的多引擎架构之上，面向各类创新场景引入与其相适配的计算引擎，例如向量分析、实时多维分析等，并在这些多样化的计算引擎之上建立统一的访问入口，降低各类创新用数场景中的开发复杂度。

4.深化数智融合，实现AI4Data和Data4AI的双向赋能。利用AI4Data数据智能处理技术，打造知识工程“采集、清洗、管理、使用、治理”全链路智能化处理新模式，降低了数据处理门槛，解决了数据生产效率低下的问题；实现智能安全质检能力，满足内容安全矫正补齐需求，解决异常值等常见问题，保障数据质量。利用Data4AI实现人工智能的海量知识供给，通过构建世界、行业、企业、领域、任务五层架构知识体系，提供全领域、全模态海量金融知识；基于业务真实数据，利用模型的文本扩展、物理仿真、AIGC等数据合成技术，合成符合业务要求的训练数据，解决特定场景下数据稀缺问题，为增强各类模型的认知能力提供了知识支撑。

5.深化生态融合，实现将数智技术能力高质量转化为业务发展动力。工商银行按照“一市场+三中心”模式，打造数据闭环、开放共享的统一运营能力，助力各业务条线快速体验能力、启发应用、共享借鉴、高效接入。一是规模应用，建立共享共建的AI原生应用市场，面向全员建立全员可自助的用数工具、智能工具，通过Web页面和API按需订阅，打造“一部一品牌、一岗一助手、一人一分身”。二是启迪应用，建立开箱即用、大小模型协同、类ChatGPT对话式的能力体验中心，全能力智能服务沉浸体验，激发创新灵感。三是便捷应用，打造共享共建的资产案例中心，通过沉淀案例工程化模板、案例可视化展示等手段，实现全领域优秀实践案例模板共享借鉴。四是持续应用，建立动态反馈的运营中心，组建业务技术融合的AI原生应用运营团队，通过数据回流、指标检测、能力提升智能建议等手段，实现数字助手能力运行监测、评价迭代。

6.深化安全融合，实现全链路端到端安全体系建设。工商银行从“安全管理”“安全技术”和“安全运营”三方面深化安全融合，实现全链路端到端安全能力体系建设，保障基础设施供应安全、数据内容可信、模型合规可靠、业务可控可用四大安全目标。在安全管理方面，从组织架构建设、制度流程制定、人员能力提升三个方面着手，形成自上而下、重点明确、责任清晰的安全管理架构，为用数赋智的持续创新发展提供坚实的制度保障。在安全技术方面，强化软硬件框架建设和网络安全管理，做强数据来源和内容审核，遴选合规备案模型并价值对齐，提升模型内在安全，并在应用层面进行内容安全审核加固，形成全域守护。在安全运营方面建立健全安全运营体系，实现对安全威胁的及时发现和快速处置，化“被动应对”为“主动治理”，形成高效、可靠的问题处置闭环能力机制。

数智技术已经成为数字企业打造新质生产力的核心引擎。工商银行将始终坚持新发展理念，坚持“四个面向”，践行科技自立自强，发挥工商银行作为国有大行在数智技术创新的引领作用，通过产学研用融合，深化与国家战略科技力量的合作，为数智技术产业化和产业数智化发挥创新主力军和领头雁的作用，用数智技术释放数据要素价值，用数智生产力增强数字工行发展的强大动力，高质量服务科技金融、普惠金融、绿色金融、养老金融、数字金融五篇大文章，为金融强国建设作出更大的贡献。

（此文刊发于《金融电子化》2024年10月上半月刊）