空天地海一体化网络边缘计算的资源管理研究

空天地海一体化网络边缘计算的资源管理研究

武燕燕，吴松

（中国移动通信有限公司研究院星地融合技术研究所，北京 100053）

【摘  要】通过天基网络、空基网络、地基网络和海基网络的优势互补形成的空天地海一体化网络是下一代移动通信系统的关键，能够实现全球域的泛在连接。多层异构的空天地海一体化网络与多接入边缘计算技术的联合使用，能够为用户提供各种服务的支持。首先提出了空天地海一体化网络架构，概述了该架构的优势以及该架构下移动边缘计算面临的关键技术挑战。然后，详细阐述了基于多接入边缘计算、双层调度多平台协作和人工智能的资源管理方案的分布式计算架构以及实施流程。最后，对未来空天地海一体化网络中资源管理以及多接入边缘计算的发展趋势进行了分析和展望。

【关键词】空天地海一体化网络；多接入边缘计算；资源管理；人工智能

doi:10.3969/j.issn.1006-1010.20240725-0005

中图分类号：TN929.5       文献标志码：A

文章编号：1006-1010(2024)09-0124-08

引用格式：武燕燕,吴松. 空天地海一体化网络边缘计算的资源管理研究[J]. 移动通信, 2024,48(9): 124-131.

WU Yanyan, WU Song. Research on Resource Management of Multiple-access Edge Computation in Space-Air-Ground-Sea Integrated Network[J]. Mobile Communications, 2024,48(9): 124-131.

0   引言

第六代移动通信技术（6G, the 6th generation mobile networks）的特点是智联万物，6G网络将突破地形地表的限制，扩展到太空、空中、陆地、海洋等自然空间，真正实现全球域的“泛在连接”^[1]。高度融合的空天地海一体化网络是一个互联互通性强，服务覆盖范围广泛，管控智能，集通信、感知、计算于一体的的综合性网络，与传统网络相比，具有覆盖范围广、服务能力强、组网灵活且可拓展、通信效率高且可靠性强、资源利用率高、安全性高等显著优势^[2]。

随着天基网络、空基网络、地基网络以及海基网络搭载能力的增强，将多接入边缘计算（MEC, Multiple-access Edge Computation）平台部署于上述网络的节点中，能够将计算和存储资源推向离全球广域用户更近的地方，例如互联网卫星、地面站等^[3]，从而降低时延提高用户体验^[4]。近年来，空天地海一体化网络边缘计算成为研究热点。文献[4]针对空天地一体化信息网络的边缘计算的资源融合管理方案进行了研究，在天算星座边缘计算服务场景基础上，分析了空天地一体化网络中天基资源的服务模式。该文献提出了聚合和组合两种计算服务融合方式，用两阶段的斯坦科尔伯格博弈模型进行建模，所提出的分布式分组动态迭代算法与分布式混合动态迭代算法，能够实现天基边缘计算资源的最优分配。文献[5]开展了基于天基边缘计算的在轨智能技术的研究，所提出的天基边缘计算架构以低轨卫星为核心，在此基础上对基于深度模仿学习的智能计算卸载方案进行建模，并采用在轨分布式联邦学习进行训练，与传统方法相比，显著降低了空间应用程序的执行时延。然而，文献[4]和文献[5]仅考虑了天基平台边缘计算服务场景，未考虑其他平台，对空天地海一体化网络的整体性考虑不足，具有一定局限性。文献[6]研究了一种空天地一体化的移动边缘计算系统，部署多台无人机（UAV, Unmanned Aerial Vehicle）作为边缘服务器，低轨卫星（LEO, Low Earth Orbit）被用作云服务器，通过计算卸载和联合部署优化相结合的方式实现了系统平均响应时延的最小化。然而文献[6]仅将UAV作为边缘服务器，将LEO作为云服务器，未充分发挥其他平台及设备的能力。空天地海一体化网络异构性强，节点类型和业务种类繁多，空时行为复杂，网络拓扑变化性强，存在资源管理难度大、传输效率低等问题，难以保障业务质量^{[2, 7]}。针对上述问题，文献[7]指出了将深度强化学习用于空天地一体化网络对提升网络资源管理的重要性，并提出了一种基于深度强化学习的空天地一体化网络接入选择方法，然而未进行采用深度强化学习对空天地一体化网络进行任务调度等资源管理的研究。文献[8]总结了将MEC技术引入空天地一体化网络中的几种常见架构，文献[9]提出一种星地协同边缘计算网络实现参考架构，然而文献[8]和文献[9]所提出架构中，未将高轨卫星（HEO, High Elliptical Orbit Satellite）和中轨卫星（MEO, Medium Earth Orbit）考虑在内。综上，空天地海一体化网络资源管理，需要将各平台设备考虑在内，也需要MEC技术、人工智能技术等和空天地海一体化网络架构的深度融合，从而才能全方位地提升其任务执行效率和服务质量^[10]。

基于上述文献研究进展和存在的局限性，本文首先提出空天地海一体化网络（SAGSIN, Space-Air-Ground-Sea Integrated Network）架构，将空-天-地-海多平台异构网络融合于一体，便于进行联合资源管理，其次，本文概述了该架构的优势以及该架构下移动边缘计算面临的问题；然后，详细阐述了基于多接入边缘计算、双层调度多平台协作和人工智能的空天地海一体化网络边缘计算资源管理方案，该方案能够充分发挥各平台设备的边缘计算能力，提高资源管理的整体性、动态性和智能性；接着，梳理了资源管理算法的优缺点以及MEC技术存在的问题、挑战和研究方向；最后，对全文进行总结并指出未来空天地海一体化网络边缘计算的资源管理的发展方向，希望对该领域的后续研究者起到一定的启发作用。

1   空天地海一体化网络架构

如图1所示，SAGSIN将天基网络、空基网络、地基网络和海基网络等多个异构网络融合于一体，采用统一的标准规范和技术体制，支持多种接入方式、多种业务类型和多种应用场景，每一层网络既互相独立又相辅相成，为用户提供通信、感知和计算等服务^{[1, 10]}。

其中，天基网络包含HEO、MEO以及LEO^[8]。HEO星座和MEO星座共同组成的天基骨干网负责数据中继传输，能够经过信关站将数据下载至地基网络，LEO星座组成的天基接入网能够支持全球域用户的通信接入^{[2, 11]}。空基网络包括高空平台（HAPs, High-Altitude Platforms）、UAV自组网和空基用户^[8]。其中位于平流层的HAPs将基站部署于高空无人机、飞机、临近空间飞行器和气球等飞行器上来提供通信业务^[12]。HAPs作为空天地海一体化网络重要的中间层空中基础设施，向上能够连接不同轨道高度的卫星，向下可以连接UAV自组网、地基网络、海基网络，可作为空中基站、无线中继或交换中心，使用已有的通信技术，与地面控制设备、网关以及不同类型无线用户终端构成移动信息系统，为各用户提供无线信息传输、网络覆盖和感知服务。低空平台的UAV自组网作为空中飞行基站，可以构建视距（LoS, Line of Sight）链路提供数据采集等服务，从而有效增强无线网络覆盖范围和容量，并且能够采用MEC为用户提供低时延的计算服务^{[2, 12]}。HAPs和UAV服务覆盖范围广泛、部署灵活，能够填补地基网络和海基网络覆盖范围的空白^[12]。地基网络由地面蜂窝网络、一体化核心网、测控站、网关、物联网设备、运营管理系统、地面数据处理中心以及地基用户等组成^[13-14]。海基网络主要考虑水面无线电通信网络系统，由水面上方各种通信平台构成，连接水面舰船、浮标、无人机水面航行器、空中飞行器、沿海基站和通信卫星等^{[12, 15]}。上述四种网络相互协作，为全球域用户提供全覆盖的通信服务^[16]。

2   空天地海一体化网络边缘计算资源管理方案

目前，SAGSIN架构中多任务、多平台协同调度成为资源管理的重要方式。如何在该架构下设计出高效、可靠的资源管理方案，从而提高网络效能和服务质量，成为该领域至关重要的问题。针对以上问题，在上一节空天地海一体化网络架构基础上，本节引入MEC技术、多层协作思想以及人工智能技术，提出基于多接入边缘计算的空天地海一体化网络分布式计算架构，并针对空天地海一体化网络边缘计算资源管理方案的实施流程进行详细阐述。

2.1 基于多接入边缘计算的空天地海一体化网络分布式计算架构

MEC将缓存资源和计算资源放置在距离用户更近的多个网络边缘服务器上，将用户的缓存服务、计算任务迁移至其上进行处理^[2]。尤其是针对时延敏感型业务，例如无人驾驶或应急救援场景，MEC能够显著提高用户的服务体验。基于MEC的资源管理方案需要综合考虑任务情况（任务大小、优先级、时延要求等）以及边缘计算服务器的情况（计算能力、存储能力、负载情况、通信带宽等），在提升卸载效率的前提下满足能耗和时延的要求。

在SAGSIN中，引入MEC技术能够降低时延并节省回传带宽。基于MEC技术的空天地海一体化网络架构将MEC服务器分别部署在HEO、MEO、LEO、HAPs、UAV、海基设备以及地基基站侧等网络边缘节点上^[8]。高中低轨道卫星协同组网，共同构成天基边缘计算平台，其中，HEO星座构成高轨卫星边缘计算平台，其算力和稳定性更强，可搭载能力更强的MEC服务器^[17]，而由MEO星座和LEO星座组成的中低轨卫星边缘计算平台，其算力和稳定性相对HEO星座较弱，故其上的MEC服务器采用轻量级虚拟化技术，例如Docker，从而使得卫星更容易支持计算、内容分发。中低轨卫星边缘计算平台可直接处理由地基用户卸载的计算任务，而无需将任务发送至云数据中心，减少星地节点间不必要的通信交互，从而避免因回传链路流量大而导致的时延增加问题^[8]。特别是对于缺少相应网络覆盖的海基用户和偏远山区用户，它们能直接将任务卸载至搭载了MEC服务器的中低轨卫星边缘计算平台处理，弥补了地基网络和海基网络的覆盖缺失^[8]。HAPs平台上装备轻量级MEC服务器，具备了从核心网下沉而来的计算、内容分发等能力，HAPs平台也能够直接处理用户卸载的计算任务，从而节省地面核心网回传链路的带宽并减轻其流量负担^[18]。具有高移动性和易于部署优势的UAV平台上也搭载轻量级MEC服务器^[8]。地基网络基站侧、海基网络基站侧以及海基水面无线电通信网络系统中的各通信平台，例如水面舰船以及无人机水面航行器等，可配置MEC服务器^{[8, 18]}。此外，可以利用网络状态空闲时的回传链路资源，将视频监控等数据采集业务或其他用户潜在内容提前缓存至SAGSIN的边缘侧，从而加快用户发起内容请求时的响应速度、提升用户体验，并节省带宽成本、降低回传链路负担^[18]。

基于上述描述，本节提出基于多接入边缘计算的空天地海一体化网络分布式计算架构。如图2所示，该架构采用“双层调度多平台协作”的方案，总体可以分为全球调度中心、高轨卫星边缘计算平台、中低轨卫星边缘计算平台、HAPs边缘计算平台、低空UAV边缘计算平台、地基边缘计算平台、海基边缘计算平台七部分。全球调度中心部署于云数据中心，通过与HEO、MEO和LEO连接，并通过信关站与地面数据处理中心等进行连接，从而收集天基网路、空基网络、地基网络、海基网络的设备信息，此外，全球调度中心还具备接入控制的能力，并能够综合考虑各任务和各平台情况，对全球域任务进行调度，在提升卸载效率的前提下满足时延和能耗的要求。

2.2  空天地海一体化网络边缘计算资源管理方案实施流程

在上一节描述的基础上，本节对“双层调度多平台协作”空天地海一体化网络边缘计算资源管理方案的实施流程进行总结。如图3所示，“双层调度”是指该资源管理方案在逻辑上分为两层，第一层为由全球调度中心进行任务卸载的平台选择，第二层为各平台进行被分配任务的编排和执行。全球调度中心首先决策将任务卸载至单一平台或卸载至多个平台，并将任务下发至相应平台中。该任务决策由深度强化学习模型来完成，此外，全球调度中心对任务生命周期进行管理和跟踪，并对各平台的动态拓扑进行管理，从而提高动态资源的管理能力。

收到来自全球调度中心下发的计算任务的各平台会进行任务的执行，即所谓的“多平台协作”。具体而言，以中低轨卫星边缘计算平台为例，其具备计算、资源缓存以及通信支持能力，其中，通信支持能力确保中低轨卫星边缘计算平台星群内部可以通信，同时也支持其与其他平台进行通信。中低轨卫星边缘计算平台采用轻量级虚拟化管理技术，并部署轻量级深度强化学习模型，使网络具备自学习和自演化能力，从而将星群的边缘计算转化为边缘智能，具有更高的灵活性和自主性^[9]。中低轨卫星边缘计算平台执行任务的逻辑按照如下步骤进行，首先会将中低轨卫星划分计算域，并选举出中低轨卫星计算域控制器以及机动MEO、LEO，其中，中低轨卫星计算域控制器汇总域内各卫星拓扑状态和节点资源，进行星群任务编排，并进行单一平台的任务执行。此外，中低轨卫星计算域控制器还具备星群动态拓扑预测的能力，从而使得任务编排更加灵活。

图4为部署于全球总调度中心以及各平台的（轻量级）深度强化学习模型的示意。深度强化学习模型可直接在算力和稳定性较强的全球总调度中心、高轨卫星边缘计算平台、地基边缘计算平台以及海基边缘计算平台上部署，可采用如深度Q网络^[19]（DQN, Deep Q-Network）、深度确定策略梯度（DDPG, Deep Deterministic Policy Gradien）^[20]、近端策略优化（PPO, Proximal Policy Optimization）^[21]或优势-演员-评论家（A2C, Advantage-Actor-Critic）^[22]等模型。轻量级深度强化学习模型较小、复杂度较低，能够在资源受限的中低轨卫星边缘计算平台、HAPs边缘计算平台、地空UAV边缘计算平台上部署，可采用模型压缩和优化技术，如剪枝、量化等减小常规深度强化学习模型大小和复杂度来实现^[23]。针对空天地海一体化网络环境训练样本获取困难、训练效率低下等问题，可先构建基于仿真平台的（轻量化）深度强化学习模型的离线预训练过程，并不断监控真实空天地海一体化网络环境的变化情况，当网络统计特征变化较大时，则更新预训练环境的数据，重新进行离线预训练，从而使模型能够适应空天地海一体化网络的动态变化。具体而言，针对全球调度中心，其能够收集来自各边缘计算平台上报的计算资源、存储资源、负载情况、通信带宽、任务大小、任务优先级、任务时延等，上述信息作为深度强化学习模型的状态输入。全球调度中心根据上述输入采取相应的动作，动作为选取任务卸载到哪个平台执行，上述信息传递给各边缘计算平台，成为其状态的一部分；各边缘计算平台能够收集环境（即全球调度中心的任务分配情况、平台内设备及用户资源及任务的信息）数据，这些数据被用作轻量级深度强化学习模型的状态输入，模型根据当前的状态输入采取相应的动作，例如，动作可包含如下内容，即进行计算设备类型决策（类型分为计算域控制器或机动设备）以及计算资源分配（即星群任务编排）等，环境给予各边缘计算平台该状态输入下所采取某动作对应的奖励值，奖励函数可以包括任务完成度、资源消耗、通信延迟等多方面指标。任务执行完毕后，全球调度中心会根据各平台的任务执行情况获得相应的奖励，其奖励函数可包括各平台任务完成度、资源消耗、通信延迟等多方面指标。全球调度中心以及各边缘计算平台的（轻量化）深度强化学习模型通过不断学习环境信息而逐渐找到输出最优决策的方法，从而适应空天地海一体化网络的动态变化，进行更机动灵活的资源管理。

如图5所示，机动MEO、LEO和其他平台选出的机动HEO、机动HAPs、机动低空UAV、机动地基设备、机动海基设备分别作为智能体，根据全球调度中心的任务分配情况联合组成协作式多智能体深度强化学习（MADRL, Multi-Agent Deep Reinforcement Learning）系统^[24]，该系统中各智能体的输入为联合状态，包括任务情况（包含任务大小、任务优先级、任务时延等）、全球调度中心对多平台的任务分配情况（即选择了哪些平台进行任务的执行）以及各平台机动设备的资源情况（包括计算资源、存储资源、负载情况、通信带宽等）。上述智能体的协作可采用联合学习的方式进行策略优化，即智能体处于全局可观测的环境，能够观测到所有智能体的状态、动作以及策略，各智能体根据联合状态做出决策采取相应的动作，并获得该动作相应的混合奖励（由个体奖励和联合奖励混合而成，兼顾智能体个体贡献和系统整体性）。空天地海一体化网络环境联合状态的转移以及联合奖励值是和所有智能体的联合动作而非单个智能体的动作相关，该联合奖励即为全球调度中心的奖励。因此在策略的学习过程中，每个智能体的策略的更新需要考虑其他智能体的当前策略，这使得智能体的决策满足收敛性和合理性，能够以最优的方式分配资源和执行跨平台任务，从而提高整体效率和性能。

3   未来研究方向展望

在空天地海一体化网络的构建中，随着任务复杂度的攀升与资源管理规模的迅速扩大，资源管理所面临的挑战愈发凸显，其难度呈指数级增长。鉴于这一现实背景，针对SAGSIN网络边缘计算的资源管理研究，不仅需要设计高效的网络资源管理架构，更需深入探索并持续优化架构内核心的资源管理技术与MEC技术，以确保网络性能的持续提升。本节对资源管理技术与MEC技术的存在的问题、挑战以及未来的研究方向进行总结，旨在为该领域的发展指明方向并激发新的研究活力。

3.1  资源管理技术

资源管理技术及其主要算法的研究进展在表1中列出。当前，启发式算法、凸优化及组合优化、人工智能技术、李雅普诺夫优化等一系列技术被普遍应用在资源管理问题的求解中。

启发式算法主要包括蚁群算法、模拟退火算法、人工神经网络等，这类算法时间复杂度低，能够快速构造高质量解，然而这类算法的构造难，并且效率验证也困难^[25-27]。凸优化及组合优化也常用于资源管理问题的求解中，常用的方法包括博弈论、基于梯度的算法以及基于对偶的算法，其中基于梯度的算法包括梯度下降法、牛顿法、拟牛顿法^[28]。该方法可以在多项式时间内求解问题，然而也存在一些局限性，例如凸优化算法只适用于凸优化问题，对于非凸问题，算法的效果可能不佳，凸优化算法对初始化条件非常敏感，不同的初始化条件可能会导致不同的优化结果，此外，凸优化算法的复杂度通常比较高，对计算能力和硬件设备要求较高^[29-32]。随着人工智能技术的飞速发展，使用深度强化学习以及联邦学习等方法来进行资源管理问题的求解也受到了越来越多的关注，这类方法能够整合在线和离线信息实现动态调度。不过该方法目前存在模型数据需求大、训练模型花费时间长等问题^[33-37]。此外，基于李雅普诺夫优化算法由于其能够自适应网络状态、不需要人为改变控制量、具有自动学习能力，而受到了越来越多的重视，不过在实际使用中，需要考虑系统的复杂性、时延、噪声等因素对优化结果的影响，同时，还需要对算法的收敛性和计算效率进行评估和优化^[38-40]。

3.2  多接入边缘计算

空天地海一体化网络中，MEC服务器的部署位置、多级控制机制、计算协同机制都是未来的研究方向^[41]。此外MEC技术的发展中还涉及到设备资源限制、数据安全和隐私保护等问题需要解决。例如，在设备资源限制方面，如何优化硬件设计，设计出更高效的处理器、更大的存储空间，如何加速硬件接口和管理的标准化进程、打破MEC的性能瓶颈，以提高设备的计算和存储能力并增强其开放性均为亟待解决的问题^[42]。此外，卫星网络开放性强、覆盖范围广，在进行数据传输时极易受到窃听者攻击，从而导致数据泄露，因此如何通过数据加密和安全传输技术，如使用对称加密算法、非对称加密算法或者安全传输协议（如HTTPS）等方法，以保证MEC技术使用过程中数据的安全性和隐私性也是未来的重要研究方向^[43-44]。最后，在MEC技术中如何通过虚拟化技术、智能负载均衡技术等，以提高设备的资源利用率和可靠性也有待研究^[45-46]。

4   结束语

天基网络、空基网络、地基网络、海基网络均快速发展，MEC技术与SAGSIN网络架构的结合是下一代通信网络发展与演进过程中的重要方向。SAGSIN架构中各网络优势互补、相互协作，将有助于构建泛在互联的全球域通感算一体化网络，满足用户各种服务的需求。随着用户规模的迅速增大，多址边缘计算、多任务融合、多平台协作已成为必然趋势，在这种趋势下，SAGSIN架构边缘计算的资源管理也会变得越来越重要。未来SAGSIN架构边缘计算技术将沿着多层调度、多平台协同的路径推进，数据驱动、人工智能使能将协助资源管理向更自适应的方向发展，从而不断提升网络的业务能力。