【论文】盛茂（本刊青年编委）,等：压裂泵注智能决策系统设计理念与路径探讨

本文版权归天然气工业杂志社所有

未经允许，不得转载

0 　引言

压裂泵注是油气藏压裂改造工程的关键环节之一，即以一定排量、支撑剂浓度将压裂液和支撑剂泵入储层，形成具有一定改造范围的人工支撑裂缝， 具有工艺复杂多变、不可逆、高风险等特点，需及时准确地决策调控，提升压裂改造效果。目前的决策方式主要以压裂设计泵注程序为基础，根据地面泵压反馈和微地震、井下光纤等监测数据解释结果， 人为调控泵注参数，以实现“均衡裂缝、有效支撑、安全高效”的改造目标。近年来，随着以大数据、机器学习、超强算力为基础的新一代人工智能技术蓬勃兴起，压裂智能化成为重要发展方向之一，通过构建压裂泵注智能决策系统，使得压裂自主决策、自动驾驶成为可能^[1-4]。

压裂决策系统研究最早始于专家系统的出现， 属于早期人工智能形式，通过收集专家水平的知识与经验，构成压裂知识库，利用知识推理技术模拟专家的决策过程。1993 年，Holditch 等^[5] 研制出基于自动逻辑推理的压裂专家系统，用于优选压裂液类型和液量。1998 年，范学平等^[6] 建立了适用于压裂酸化决策的神经网络专家系统，初步应用于压裂酸化选井选层。2000 年后，专家系统研究取得进一步发展，蒋廷学等^[7-8] 将专家系统应用于压裂方案经济优化和低渗透储层整体压裂方案优化中，获得了较为显著的应用效果。艾池等^[9] 将灰色理论与专家系统相结合，应用于煤层气井压裂效果预测。然而专家系统受制于知识获取与表示的难题和推理机制的局限性，面对复杂情况难以获得合理决策，因此近十年间未能得到进一步发展和推广应用。直到新一代人工智能技术出现，为压裂泵注决策智能化带来了新的发展机遇。哈里伯顿公司^[10] 通过地面压裂装备与井下光纤、微地震、压力等监测数据的实时解释与可视化，辅助专家做出科学决策，可提升裂缝均衡性30%，提高单井产量20%。壳牌公司^[11] 研发出压裂辅助决策平台，利用深度神经网络算法超前预测泵压，根据泵压变化趋势决策优化泵注参数， 在减少压裂风险和提高设计符合率等方面取得实效。ShearFrac 公司^[12] 利用深度学习算法获得地面泵压波动与裂缝扩展状态的对应关系，能够实时区分拉张缝和剪切缝产生数量，由此决策调整排量和支撑剂浓度，有效降低了作业耗时和液体用量，在美国鹰潭盆地页岩油气区块4 个月累计产量较邻井提升18%。赵金洲等^[13] 基于页岩气缝网压裂理论，建立了泵压曲线诊断识别裂缝扩展状态的识别方法，为指导压裂参数实时调控提供了新途径。盛茂等^[4] 展望了基于强化学习的压裂参数动态优化与风险预警调控方法， 有望满足压裂泵注实时控制。郭建春等^[14] 提出了非常规油气井压裂参数智能优化方案，需构建压裂参数智能优化及实时调控集成系统。

总体而言，压裂泵注智能决策研究处于起步阶段，目前技术水平处于人工智能辅助决策阶段，仍需探索适应于压裂泵注场景的自主决策理论与方法。为此，以自主决策为目标，提出基于强化学习理论的压裂泵注智能决策设计理念，设计系统功能及构成， 阐明关键技术实现路径，有望为加快压裂泵注智能化进程提供借鉴。

1 　压裂泵注智能决策系统设计理念

1.1 　系统功能设计与构成

压裂泵注智能决策系统如图1 所示，其核心是泵注决策智能体，该智能体通过实时分析监测数据， 自主判识工况、动态感知裂缝扩展并预警风险，从而自主决策泵注程序和优化参数；同时将决策动作传递给地面装备，构成闭环调控，实现泵注过程“自动驾驶”。面向上述目标，设计该系统功能。

1）压裂工况自主判识：压裂工艺流程复杂多变， 快速准确判识当前工况是优化决策泵注参数的重要前提，在不同工况下需调用相对应的泵注决策算法。

2）裂缝扩展动态感知与风险预警：裂缝扩展动态感知可实时获取多簇裂缝进液分配、裂缝扩展模式、裂缝几何形态等信息，是评价压裂改造范围和多簇裂缝均衡性的重要依据；同时压裂风险预警可提前预见潜在风险并采取规避策略，为安全高效压裂提供技术保障，二者为泵注决策智能体提供关键输入信息。

3）泵注参数优化决策：根据对裂缝扩展状态和风险的感知，做出相对应的泵注参数优化调整；通过设定优化目标和奖励函数，使得泵注决策智能体始终朝向快速达到优化目标的路径决策。

4）地面装备闭环调控：地面装备根据决策得到的最优泵注参数，调控地面压裂泵、混砂、液罐等装备输出参数，快速满足泵注参数的调整需求，构成无须人工介入的闭环系统。

5）压裂泵注数字孪生：统一上述4 个功能模块的数据流，构建包括压裂地面装备、井筒流动、裂缝扩展等物理过程的数字孪生体，动态显示决策信息与反馈，同时基于大语言模型具备人机对话和人工接管功能。

1.2 　基于强化学习的泵注智能决策原理

以强化学习为核心、历史井段压裂大数据为基础、裂缝扩展机理模型和专家经验为约束，构造压裂仿真环境，训练形成泵注决策智能体，实现泵注参数实时决策优化与地面装备闭环调控。

决策原理如图2 所示，强化学习的基本要素包括智能体、仿真环境、动作、状态、奖励等，通过各要素间的交互作用，迭代优化智能体中的价值网络和策略网络，从而智能体能够逐渐学习到在特定状态下如何采取最优动作，实现奖励值最大化的目标。具备自主决策能力的智能体需要海量次的学习训练获得，其过程是由智能体给出动作输入压裂仿真环境，该动作可为压裂排量、支撑剂浓度、液体和支撑剂类型等泵注参数的组合；仿真环境可反馈裂缝扩展和加砂过程中相关物理量变化，主要包括当前工况、裂缝扩展类型及形态、风险等级等；奖惩函数判断特定状态下动作所带来的奖励或惩罚值，反馈给智能体，更新价值网络和策略网络。上述过程循环往复，通过海量次的学习训练得到最优策略网络， 形成泵注决策智能体。该智能体面对新的压裂井段， 根据当前状态输出下一时刻最优动作。

压裂仿真环境输出状态的准确性直接决定智能体决策的合理性。现阶段单纯依靠机理模型仍难以准确模拟裂缝扩展和支撑剂运移等复杂物理过程。为此，需以海量历史井段压裂数据为基础，建立数据— 机理联合驱动的机器学习压裂仿真模型，实现压裂工况、裂缝扩展动态、风险等级等状态的准确评估。实践表明，将机理模型认识、专家先验知识融入奖惩函数设计，可加快引导获得最优策略网络。

2 　关键技术及其实现路径

2.1 　压裂工况自主判识

压裂工艺流程复杂多变，快速准确判识当前工况是优化决策泵注参数的重要前提。压裂不同工况条件下，均伴随泵压、排量、砂浓度等井口监测数据的显著变化。利用数据变化特征，可实现井口试压、桥塞球座坐封、前置液造缝、携砂、暂堵、顶替、停泵压降监测等全过程工况的自主判识（图3）。其实现路径是针对海量压裂历史井段井口监测数据，采用一阶向前差分法、聚类分析、小波变换等数据特征挖掘算法，以专家先验知识为约束，统计各工况发生的特征数据阈值范围。对于具有显著阈值的工况，例如井口试压、前置液造缝、携砂、暂堵、顶替等，通过建立工况判识规则，即可获得较高准确率，平均判识准确率可超过95%。当工况阈值范围宽泛、无法提取特定规则时，可采用循环神经网络、Transformer 时序网络等时序数据特征学习算法，给定工况标签值，结合自注意力机制和滑动窗口切片数据的方式， 建立工况判识人工智能模型。以桥塞球座坐封工况为例，球座坐封所引起的井口泵压变化受到多种因素影响，包括送球排量、球直径等，无法形成统一规则，采用长短记忆神经网络建立的工况判识模型，经378 段压裂数据验证，平均准确率超过85%。

2.2 　裂缝扩展动态感知与风险预警

裂缝扩展动态感知是获取裂缝状态信息的关键技术之一，技术可靠性直接决定状态判断的准确性。目前该类技术主要包括微地震监测、井筒分布式光纤测量、压力分析等，且均处于技术发展阶段，仍难以做到裂缝扩展的精准感知。因此，裂缝扩展动态感知需要深度融合多源信息，包括地质体、工程等静态数据和泵注过程动态数据。其实现路径是综合代理模型和压力分析、微地震、光纤等多源数据。如图4 所示， 建立基于机器学习的裂缝扩展代理模型，实时预测缝长、缝高、改造范围等裂缝形态参数，代理模型可考虑特定区块地质模型和工程参数，利用裂缝扩展机理模型数值模拟生成海量不同工程参数组合下的样本数据，并利用矿场实测数据修正数值模拟结果，保证数据集多样性、数据规模和准确性；在此基础上建立可同时考虑动静态数据的多层长短期记忆神经网络与多层感知机并联算法，输入层包括地质、工程等静态参数和泵注程序、井口压力等动态参数。相比机理模型数值模拟结果和矿场实测结果，代理模型预测裂缝形态参数的平均准确率可达85%，且可实现秒级快速计算，为动态感知裂缝形态奠定了方法基础。

压力实时分析具备低成本、数据来源广等特征， 每口井均可监测分析。为此，提出了高频压力监测+ 时频分析的裂缝扩展状态感知方法。采用连续小波变换对高频压力信号进行多分辨率分析，提取不同时刻与频率下的小波能量。融合井筒光纤测量先验信息，表明压力时频变化特征可显著区分多簇裂缝竞争与优势裂缝形成等裂缝扩展动态，小波能量累积曲线由上涨至平稳可作为多簇裂缝竞争到优势裂缝形成过程的判识特征，获光纤监测数据验证48 段， 准确率达87.5%。同时，小波能量响应可用于裂缝类型判识，融合微地震事件响应，根据压力小波能量级别可综合分析拉张型裂缝和剪切型裂缝扩展事件， 进一步修正微地震解释压裂改造范围。

综合裂缝扩展代理模型、压力实时分析、光纤和微地震等多源裂缝扩展动态信息，相互验证、互为补充，是目前技术条件下相对准确输出裂缝扩展状态的重要路径之一。

砂堵和井间压窜是影响压裂安全和改造效果的严重风险，因此超前预见风险、决策调控参数规避风险，是保障压裂安全的关键技术。压裂砂堵过程涉及缝内复杂固液两相流动问题，且与裂缝扩展行为相耦合，难以通过物理机理建模方式实时预警砂堵。其实现路径需引入人工智能技术，然而实际发生的砂堵事件占比较小，属于典型的小样本数据。可以采用机理与数据联合驱动建模方式，从砂堵发生机理出发挖掘数据特征。目前水平井大规模压裂砂堵多数发生于近井筒裂缝桥堵，其指示砂堵的有效物理量是近井筒摩阻，然而该数值难以准确计算，为此选用近井筒摩阻变化量作为特征参数，能够在砂堵发生早期识别。针对1 200 余段压裂秒点数据，计算近井筒摩阻变化量，识别砂堵过程并标注标签，如图5 所示， 在此基础上采用长短记忆神经网络建立压裂砂堵风险预警模型，结果表明，平均提前87 s 预警砂堵风险， 准确度达88%，漏报率和虚警率分别为11% 和7%。

2.3 　压裂泵注参数优化决策

压裂泵注参数优化决策是压裂智能决策系统的核心，决策合理性直接决定储层改造效果。其实现路径是基于强化学习理论，构建压裂仿真环境和泵注决策智能体，二者交互训练，迭代优化智能体中的价值网络和策略网络。其中智能体根据当前的压裂工况、裂缝扩展动态、风险等级等状态输出下一时间窗口的动作；将动作输入给仿真环境，其输出的状态和奖惩值用于训练智能体的价值网络和策略网络。奖惩值由奖惩函数计算得到，奖惩函数的设置需引入专家经验为约束，综合考虑压裂设计符合率、裂缝形态设计符合率等因素输出奖励，并根据风险预警等级输出惩罚；设置目标状态，确定各因素获得奖惩的权重，各部分奖惩值依据权重求和，得到压裂泵注决策的综合奖惩值。

在智能体中，策略网络负责以最大化累计奖励为目标，根据压裂状态选择泵注动作来逼近最优策略；价值网络负责评估策略网络并提供改进反馈。针对压裂泵注决策这一时序问题，优选循环神经网络作为策略网络和价值网络。基于该网络架构与压裂泵注时序性特征，优选采用深度确定性策略梯度算法开展训练，该算法利用经验回放机制从所有经验中随机取样学习，可破除压裂泵注数据的时间相关性， 显著提升学习能力和效率。

对比历史井段压裂数据，应用泵注决策智能体优化泵注参数可实现三方面效果：①智能体根据状态实时输出泵注排量、支撑剂浓度等决策参数，泵压更加平稳，降低异常高压发生概率，避免大幅升降排量带来的压力大幅波动；②提高裂缝几何形态设计符合率，同时有效提升平均砂浓度；③缩短作业时间， 提高压裂效率。

2.4 　地面装备闭环调控

地面装备需根据泵注决策智能体实时输出的最优泵注参数，自主协同优化地面压裂泵、混砂、液罐等多类、多台装备的控制参数，实现压裂排量、支撑剂浓度等泵注参数的快速精准调控与目标对齐。其实现路径是建立基于多智能体强化学习的地面多装备自主协同控制方法（图6），针对不同装备构建单智能体，在强化学习框架下，确定各智能体的输入状态、输出动作及控制约束条件，设计“端到端”的强化学习智能体模型，结合专家经验和作业优化目标的奖励函数。由于装备历史调控过程数据蕴含着丰富的专家知识，可采用模仿学习或离线强化学习方法对经验数据进行策略拟合，使智能体学习得到基础的控制策略，实现人类专家级别的协同控制能力。

在基础控制策略的基础上，建立适用于地面装备控制过程的多智能体强化学习算法，以压裂泵注参数优化决策、装备响应为核心，构建地面装备调控仿真环境，实现地面装备智能体与仿真环境的交互学习，拓展控制策略最优解的探索空间，进一步提升地面装备自主调控能力。采用地面装备历史调控数据集，验证了该方法可行性，达到目标排量所需时间平均降低17.6%，能耗平均降低12.7%。

3 　结论

在综述国内外压裂泵注决策研究现状的基础上， 提出了基于强化学习理论的压裂泵注智能决策设计理念，探讨了关键技术实现路径，结论如下：

1）压裂泵注智能决策系统的核心是泵注决策智能体，由其自主决策泵注程序和优化参数，同时将决策动作传递给地面装备，构成闭环调控，主要通过压裂工况自主判识、裂缝扩展动态感知与风险预警、压裂泵注参数优化决策、地面装备自主调控、压裂泵注数字孪生等技术实现系统功能。

2）基于强化学习理论的压裂泵注智能决策设计理念，是以强化学习为核心，以压裂大数据为基础， 机理模型认识和专家先验知识为约束，构建压裂仿真环境，训练泵注决策智能体，可实现泵注参数实时优化决策与地面装备闭环调控。

3）压裂泵注智能决策系统的实现路径需要数据特征深度挖掘、多源信息融合感知裂缝扩展、机理— 数据联合驱动、强化学习框架优选等多种建模方式综合运用，提高模型的预测预警准确率和优化决策的合理性。

基金项目：国家自然科学基金优秀青年科学基金项目“油气井流体力学与工程”（编号：52122401）、国家自然科学基金重点国际（地区）合作项目“水力压裂多尺度多场耦合问题的智能表征理论与方法”（编号：52320105002）。