水下无人系统学报
Journal of Unmanned Undersea Systems
2024年第4期
空海跨域通信专栏
基于元学习与强化学习的跨域自组织网络流量测量优化方法
署名作者：
宋健, 聂来森*, 陶醉, 袁奇恩东
作者单位：
西北工业大学 电子信息学院, 陕西 西安, 710072
基金项目：
国家自然科学基金面上项目(62171378).
摘要
跨域自组织网络是一种将不同介质上的节点进行自组织、网络拓扑自适应的网络。在跨域通信网络中, 直接测量技术可获得准确的端到端网络流量信息。但跨域网络中部分节点的低算力和低存储特性, 影响了所有节点运行网络流量测量进程。针对此, 文中提出一种基于元学习与近端策略优化的网络流量测量优化方法, 该方法根据上一时隙网络运行环境, 来确定下一时隙执行网络流量测量的节点集合, 目标是在尽可能少的节点上执行测量进程从而获取尽可能多的网络流量信息。文中同时通过3个网络数据集对所提方法进行仿真验证, 实验结果表明, 基于元学习和强化学习的跨域自组织网络流量测量优化算法可以有效选择流经流量大的节点, 具有较快的收敛速度和测量效率。
引言
跨域自组织网络是一种无中心、抗毁性强、拓扑变化后自动修正路由的跨介质网络, 端与端节点之间采用分组交换的技术进行数据传输, 网络域之间采用不同频率的无线通信方式[1]。由于户外缺乏必要的基础设施, 集中式网络很难进行部署, 跨域自组织网络的多跳路由可实现不同域节点间组网通信[2], 有效传递海上及空中的感知信息。跨域自组织网络中的节点能够产生不同的数据流, 使得整个网络信息流动更加复杂。随着时间的推移, 网络节点不断进入和退出, 网络的拓扑性也会发生巨大变化[3-4]。为了更好地对跨域自组织网络进行网络管理, 需要测量网络整体流量的状态[5]。直接测量技术可有效获取网络运行状态, 但网络中节点数目多、流量值大等特点使得直接测量的通信负载和资源消耗较大。为了减少管理网络所带来的直接测量资源消耗, 需采用网络流量测量优化方法来优化测量机制。
随着无线传感网络、通信设备等技术的不断更新和发展, 各种水下机器人、空中无人机被应用到网络态势感知系统中, 未来将形成海陆空跨域组网的网络格局。图1为跨域自组织网络示意图, 该网络由浮标、潜标、自主水下航行器、无人水下航行器以及空中无人机等组成, 当2个设备节点间的无线链路传播条件充分时, 可实现两点间点到点通信[6]。若2个设备节点间没有直接链路, 则需要中间的设备节点进行转发, 一个较好的无线自组织网络协议将会使两者通信时延尽量小。网络管理能够使整个网络的资源进一步整合和优化、网络节点承担负载均衡功能, 防范更多的安全事故, 维护整个网络的稳定运行[7-8]。
图 1 跨域自组织网络示意图
网络流量测量优化方法一般有2种。一种是通过减小测量所需的中央处理器(central processing unit, CPU)、内存和能量利用率来降低测量代价, 例如, Ghode等[9]在无线自组网中改进了区域路由协议, 在其中加入能量约束限制, 使其能够更加有效、长时间的工作。具体而言, 在区域中选择剩余功率最大的区域头节点(在特定区域内负责管理和协调其他节点的节点), 然后设计节点能量监测算法, 根据能量水平为每个节点设置不同的阶段。Salsano等[10]分析了IP接入网中的网络延迟和丢包率监控机制, 并以此实现了内核级别的监控程序, 使其具有相对较低的CPU利用率。Yu等[11]为了无线Mesh网络中入侵检测数据的测量优化问题, 提出一种基于社会网络分析的动态协同监控节点选择方法, 根据节点与节点间的关系和相互信息来选择监控节点, 并将具有相似信息的节点划分到同一个监控区域。此外, Yu等[12]在车载自组网中提出了一种基于流量预测的跨层安全监控节点选择算法, 通过对节点流量的预测, 选择空闲度相对较高的节点作为监控节点, 实现了对监控节点集合的选择。Phan等[13]在软件定义网络中研究了一种分布式监控流量方法, 将监控负载分配到网络中多个交换机上, 并防止流量监控重复, 大大减少了监控负载。Shin等[14]在多频段无线网络中提出一种在线分布式最优信道分配算法, 可促使嗅探器最大化捕获的流量。另一种网络测量优化的方法是选择测量较少的接口集合, 同时确保抓取的流量在总流量中占有足够大的比例。Bouhtou等[15]使用0-1整数规划的方法, 在固定抓取流量比例的情况下, 将测量优化问题转化为在某些限制条件下求最优解的问题, 使用分支限界法求解最小数目的路由器集合。Nie等[16]使用Q强化学习在IP骨干网上进行了测量优化, 通过将测量优化问题建模成强化学习的马尔可夫过程, 使用测量到的端到端流量个数作为强化学习的奖励值, 提高了流量测量的效率。
尽管网络测量优化问题已经有很多解决方法, 但上述方法并不适用于跨域自组织网络。跨域自组织网络具有节点低算力、低存储、高动态的特点[17], 其网络流量测量优化面临的难题主要有: 1) 跨域自组织网络测量优化时路由实时变化, 由于跨域节点移动位置的变化, 整体的网络路由也在实时发生变化, 因此路由矩阵的表示较为复杂; 2) 在跨域自组织网络中, 移动节点计算能力和存储能力有限, 但却需要处理大量且更为复杂的网络数据。
针对以上问题, 文中在跨域自组织网络[18]的基础上, 提出一种基于元学习与强化学习的网络测量优化算法。该方法能够根据网络流量和网络路由信息, 识别捕获较大比例网络流量的节点集合, 并利用深度学习网络提高测量优化问题的精度和准确率。其主要内容及创新点包括: 1) 根据跨域自组织网络每个单位时间的路由矩阵和流量矩阵, 使用基于强化学习近端策略优化(proximal policy optimization, PPO)的网络测量优化算法时, 网络输出需要测量的节点集合, 从而最大化测量到的网络流数量; 2) 使用元学习得到PPO网络较好的初始参数, 优化PPO网络面对不同网络环境时算法的收敛速度。
结束语
网络流量信息需要从每个节点所接收的数据包中获得, 由于自组织网络节点计算资源和通信带宽的限制, 很难得到所有节点运行网络流量的采集进程, 利用尽可能少的网络节点获取更多的网络流量信息是直接测量方法需要解决的问题之一。针对此, 文中提出一种基于元学习与PPO的网络流量测量优化技术, 其根据上一时刻网络运行环境, 如网络拓扑、网络端到端流量大小等信息, 来确定下一时刻执行网络流量测量的节点集合。所提出的网络流量测量优化算法能够确定一个网络节点子集, 并通过在该子集节点上运行网络流量采集进程来获得大部分的网络信息。仿真验证表明, 所提算法能够拟合网络动态性变化趋势, 有效提高网络流量的测量效率。下一步将尝试在真实组建的无人机自组织网络上测试文中方案, 并进行更多的试验验证。
1
END
1
参考文献略
文章有删减，原文刊登于《水下无人系统学报》2024年第32卷第4期，点击阅读原文可查看。
