一种基于注意力机制的无人机自主导航分层强化学习算法

传统技术曾在无人机自主导航中发挥重要作用，从非学习到基于学习。感知和回避是最普遍的非学习型技巧之一。这些技术可以避免碰撞，并通过将车辆转向相反的方向来进行导航。Odelga等[7]设计了集成惯性和光流距离测量的传感器，其中使用卡尔曼滤波估计无人机线速度。为了避免碰撞，他们还使用RGB-D摄像机为操作员提供视觉输入，以及构建以机器人为中心的概率障碍模型的数据。对于无人机导航，Wang等[8]提出了一种非线性信号校正观测器(NSCO)方法来估计无人机的位置和飞行速度。Tiemann等[9]为了使无人机能够在没有无线定位的地方独立飞行，开发了一种将超宽带定位与单目SLAM增强融合的技术。Kim等[10]提出了一种独特的全源导航滤波器，称为压缩伪SLAM。它可以以一种计算效率高的方式顺利地组合所有可用的信息。

为了降低避障算法对环境的依赖性，增强其适用性，许多研究者开始结合强化学习(RL)来处理自主导航问题。已经做了一些工作，并取得了良好的效果。Imanberdiyev等[11]提出了一种基于模型的DRL算法TEXPLORE，用于无人机在无阻碍网格地图中导航，作为一种增强的控制方法。Wang等[12] 开发了一种非专家辅助(LwH)的DRL方法。该方法采用具有稀疏奖励的马尔可夫决策过程(MDP)来框架大规模复杂环境下自主无人机导航的挑战。He等[13]提出了一种基于rl的方法来解决无人机自主导航问题。该方法与仿生单目视觉感知方法相结合。与基于SLAM和光流的导航方法相比，该方法的计算效率更高。Tong等[14]提出了一种分布式DRL架构。该体系结构将无人机导航问题划分为两个子任务。每个子任务通过基于长短期记忆(LSTM)技术的DRL网络与数据交互，并开发了一个损失函数来整合两个子任务。为了在动态和多障碍物环境下成功进行导航，Zhang等[15]开发了一种基于drl的方法，并取得了良好的性能。此外，Xin等[16]提出了一种基于经验回放的DRL方法来进行自主导航。[3]提出了一种新的基于深度Q学习的空气辅助车辆缓存方案，以响应车辆用户的驾驶安全相关请求。[17]为无人机设计了一种导航策略，以提高数据新鲜度和与物联网(IoT)设备的连通性。[2]采用具有时间关注的递归神经网络来解决无人机的导航问题。在没有碰撞的情况下覆盖的距离方面，与之前的工作相比，它提供了更好的结果。为了实现无人机的自主性，Chansuparp等[18]采用了简化点云数据和增强后向奖励函数的TD3算法

分层强化学习 (HRL)是一种针对大规模问题的重要计算方法。它可以进行不同程度的时间抽象，大大降低了维数和训练难度。Rafati等[19]提出了一种高效而通用的子目标发现方法。该方法基于无模型HRL框架。采用无监督学习方法，可以自动学习子目标来解决大规模强化学习问题。Florensa等[20]使用随机神经网络(SNNs)提供了一个广泛的框架，SNNs是一种由计算图中的随机单元组成的神经网络。该框架可以为一系列具有稀疏奖励的任务训练策略。

对于真实环境中的强化学习，强化学习在真实环境中的应用面临的主要挑战之一是由于过多的动作状态对导致的“维度诅咒”，这使得它难以收敛或学习有效的策略。例如，在无人机的自主避障中，直接输入照片和传感器信息会导致算法缺乏通用性和鲁棒性，阻碍了算法在实践中的应用。

以往的无人机自主导航研究经常遇到训练不稳定、收敛速度慢、状态空间过大等问题。为了解决这些问题，我们引入了关注和分层机制，并提出了一个无人机自主导航和避障的DRL框架。导航和避障问题被描述为MDP，并以一种新颖的在线DRL算法解决。本研究的重点是填补强化学习中虚拟环境与真实环境之间的空白。算法的设计思想和训练过程的随机性保证了模型的输入尽可能丰富。它可以覆盖无人机在真实飞行过程中获取的深度图。它还可以进行动作和子策略的选择，从而保证无人机在真实环境中的有效性。该算法基于DrQ[21]，包括均值估计函数、时间注意机制、分层框架和递归。本文的主要贡献有:

1） 我们提出了分层时间注意循环平均DrQ (HTARADrQ)。HTARADrQ可以学习在不同的时间抽象层次上操作。它可以大大降低状态-动作对的维数和训练难度。

2） 提出的时间注意循环平均DrQ (TARADrQ)包括估计函数、时间注意机制和循环。在训练中表现出更强的稳定性。它还展示了在处理较长的输入序列和探索时间依赖性方面的更强能力。

3） 通过仿真和实际测试，验证了该算法的可行性和有效性。

本文的其余部分组织如下:第二节介绍了基于学习的无人机导航的相关工作。第三节介绍了我们提出的算法。第四节进行了基准测试和分析。第五节展示了我们提出的HTARADrQ算法在现实世界中的测试结果。最后，第六节是本文的结论。

A. 基于学习的无人机导航

障碍物检测和避障任务得益于自主导航。在文献中，单目障碍物检测方法要么基于使用传统机器学习的场景检测，要么基于使用深度学习的计算机视觉。Smolyansky等人[22]开发了一种微型飞行器(MAV)系统，可以在森林等非结构化室外环境中自动跟踪路径。该系统采用了一种名为TrailNet的深度神经网络(DNN)。它可以估计视觉方向和MAV相对于轨迹中心的横向偏移量。Korris等[23]提供了一种基于CNN的自监督室内无人机导航技术。这种方法通过使用回归CNN来解决实时避障问题。数据来自机载单目摄像机。Loquercio等[24]开发了一种基于CNN的名为DroNet的网络，可以让无人机安全地通过城市街道。DroNet是一个八层剩余网络，有两个输出。其中一个输出是操纵角度，允许无人机在避开障碍物的同时保持导航。另一个输出是碰撞的可能性，使无人机能够识别危险情况并迅速做出反应。Kaufmann等[25]研究了一些动态情况下自主无人机竞速的问题。他们还提出了一种将控制系统和CNN与尖端路径规划相结合的方法。这种方法完全依赖于不需要任何显式的环境映射。Lee等人[26]提供了一种新的方法，通过单个相机在种植森林中自主导航微型无人机。由于单目视觉缺乏深度信息，他们提出了一种名为Faster Region-based Convolutional Neural Network (Faster R-CNN)的深度学习模型来识别树干。

最近，研究人员试图利用深度学习算法为无人机寻找一种稳定的控制方法。Hii等[27]提出了一种基于DRL的无人机投递优化系统。根据该研究，无人机交付是无人机在避开各种障碍物的情况下到达某个位置的路径，它还采用了多种DRL算法来帮助无人机实现目标。Shin等人[28]使用各种强化学习算法(如无监督学习、监督学习和强化学习)对无人机进行了实验研究。Hodge等人[29]开发了一种通用导航算法，通过无人机机载传感器的数据引导无人机到达问题地点。为了构建通用的自适应导航系统，本研究采用了一种结合增量课程学习和LSTM的近端策略优化DRL算法。Li等[30]提出了一种独特的DRL框架来帮助复杂情况下的自主导航。该框架考虑了时间抽象和策略效率。它采用效率正则化的方法动态地选择动作决策的频率。Chikhaoui等[31]为基于DRL的无人机导航提供了自主框架。该框架以PPO算法为基础，考虑了无人机的能量限制。

B. 分层强化学习

HRL是一种探索高级对象空间以解决稀疏奖励或长期挑战的方法。由于子目标、备选方案、技能和宏观动作的概念是相互关联的，因此，HRL技术的模块化结构总体上促进了迁移和多任务学习。分层规划是一个众所周知的人工智能话题。Kulkarni等[32]开发了在不同时间尺度上运行的分层DQN (h-DQN)。它可以分层组织目标驱动和内在激励DRL模块。h-DQN结合了顶层和底层的行动价值功能。前者获得内在子目标或选择的技巧，后者学习原始行动的策略以实现每个子目标的目标。Vezhnevets等[33]开发了HRL的封建网络(FuNs)。它包含一个管理模块和一个工作模块。管理模块为长周期设置抽象操作和子目标，工作模块在每个时间步选择原子动作来实现管理器的子目标。Bacon等[34]发展了option-criticism体系结构，建立了option的策略梯度定理。该方法通过从策略到option逐步学习option内策略和终止条件。它还集成了option发现和option学习。Harutyunyan等人[35]通过option-criticism的棱镜考察了短期option的灵活性和长期option的效率之间存在的困境。与非策略学习算法类似，将行为与终止状态解耦，将option学习转化为多步策略学习。

智能体有能力在没有人类干预的情况下探索他们的环境并获得重要的能力。Eysenbach等[36]开发了一种称为DIAYN的算法。这是一种在没有奖励功能的情况下获得有价值技能的策略。DIAYN在决策过程中采用最小熵原则，对信息理论目标进行优化以获取知识。Li等人[37]开发了一种具有无偏隐依赖基线的新型分层策略梯度，称为分层近端策略优化(hierarchical Proximal policy Optimization, HiPPO)。HiPPO是一种同时有效训练所有层次的机制。他们还设计了一种训练时间抽象的方法，以增加获得的能力对环境变化的适应能力。为了促进探索和分层技能获取，Chuck等人[38]创建了一种被称为假设提议和评估(HyPE)的方法，并在软件中实现。HyPE的样本效率来源于对现实世界和模拟环境中行为的隐含假设。Zhang等[39]介绍了一种称为HIDIO的分层强化学习方法。该技术用于以自我监督的方式学习任务不可知选项。这些选项可以同时用于解决稀疏奖励问题。在这项工作中，我们将分层框架与DRL算法相结合，以提高算法在长期任务上的性能

C. DrQ算法

为了优化最大熵策略和基于能量的策略，Haarnoja等[40]设计了一种软Q学习算法。在软Q学习中，将最优策略指定为玻尔兹曼分布，并采用变分方法构建采样网络。它可以从理想策略描述的分布中近似出样本。为了提高迁移能力，可以通过软Q学习来增强勘探，并辅助基于能量的随机策略来实现组合性。第二年，Haarnoja等人[41]基于[40]中的最大能量强化学习框架，开发了一种名为soft actor-critic (SAC)的算法。行为人试图最大化预测熵和奖励。SAC是一种连接确定性策略梯度和随机策略优化的非策略方法。利用截断的双Q技术和目标函数中的熵正则化，SAC训练策略优化熵和预期回报之间的权衡，同时仍保持合理的熵水平。从本质上讲，熵是衡量策略随机化程度的指标。这个过程类似于开发和探索之间的权衡。此外，它有可能防止学习策略收敛到次优的局部最优。DrQ[21]在图片输入上使用数据增强来提供更可靠的输出。有两种方法来正则化DrQ中的值函数。它可以提供一种自然的方式来使用MDP结构，通过一种直接的无模型DRL学习方法。在我们的工作中，我们提出了基于DrQ的无人机自主导航方法。仿真结果表明，与其他最先进的方法相比，该方法有明显的改进。

在本部分中，我们在仿真环境中测试了HTARADrQ算法，以评估其自主导航和避障能力。根据环境的实际状态分配大量参数，训练agent在100,000个环境中学习策略步骤。为了提供一个比较点，SAC[41]、DrQ[21]、ADrQ和TARADrQ算法都是针对无人机自主导航任务进行训练的。在无人机仿真环境Airsim中对该方法进行了验证。

A. 训练环境与设置

为了验证HTARADrQ在无人机导航任务中的性能，我们首先进行了仿真实验。我们构建了三个环境，如图4所示。环境A是一个精心设计的场景，带有难度和一般障碍。环境B是室内走廊环境，白色的建筑和周围的墙壁是障碍物。环境C是核电站的模拟环境，被认为是下一个现实世界的应用。将归一化范围[0,1]应用于所有感官输入。主策略网络和子策略网络的权值初始化均为均匀分布。

图4 实验环境

在训练时，无人机的飞行速度保持在1.0 m/s。为了增加随机性，在训练过程中随机初始化每集的起始点和结束点。该算法的输入包含无人机的深度图像和状态。深度图像大小为144×256。所有输入数据归一化为[0,1]。算法的输出为[- 60,60]范围内的偏航角速度。在训练过程中，前1000步的动作选择由随机化算法进行。HTARADrQ的每个子策略模型将在与环境交互后进行训练。每一集结束后，总体政策模型将被训练30次。对于每5000次交互，训练模型将用40集进行测试。每个测试集的起始点和结束点也是随机初始化的。当测试过程完成后，培训过程将继续。当交互次数达到10万次时，训练阶段结束。表1总结了所有的hyper-parameters。将参数设置如表1所示，可以稳定模型训练，加快收敛速度。

表1 参数设置

B. 培训结果及分析

首先，我们评估了最终的HTARADrQ模型在这三种环境下的性能，并将其与SAC、DrQ、ADrQ和TARADrQ进行了比较。它们的参数设置和训练过程是相同的。图5描述了他们在训练期间的平均剧集回报。使用三个随机种子来训练五种算法中的每一种。在每5000步中，每个算法将执行一次评估rollout。实线代表三种种子的平均值，阴影区代表三种种子的变异。实线曲线显示HTARADrQ在无人机自主导航任务上优于其他无人机，包括学习速度和整体性能。阴影区域表示HTARADrQ在训练过程中比其他的更稳定。根据HTRADrQ，平均估计函数降低了错误Q值的可能性和参数传递过程的方差。通过用GAP代替全连接层来减小模型的参数。循环机制使DrQ能够处理时间序列数据并从中提取时间序列信息。时间注意机制可以决定每个输入帧的重要性。它会导致更准确的预测。分层框架将长期学习任务分解为多个子问题或子任务层次。高级策略通过选择最佳子任务作为高级操作来执行任务。在子任务的序列上，任务分解可以有效地缩短原任务的视界。学习子任务更容易。因此，与其他算法相比，HTARADrQ在训练过程中更加稳定，收敛速度更快。

图5 训练期间的平均情节奖励曲线。(a)为各算法在环境a中的训练结果;(b)为各算法在环境b中的训练结果;(c)为各算法在环境c中的训练结果

其次，我们比较了HTARADrQ与SAC、DrQ、ADrQ和TARADrQ的避碰性能。结果见表2。我们发现，如果加入平均估计函数、时间关注和层次框架，平均碰撞步长会增加。换句话说，agent的避障能力得到了提高。采用平均估计函数和全局平均池化操作使算法的训练过程更加稳定。这可以在一定程度上提高智能体的避障能力。由于具有周期性和暂时性的注意机制，智能体能够从其周围环境中处理和提取更丰富、更重要的信息。因此，智能体可以避开障碍物，提高预测的准确性。分层框架有利于子任务的学习。它允许智能体获得更有效的避障策略。

表2 碰撞情况下每个模型的平均飞行步数

为了检验SAC、DrQ、ADrQ、TARADrQ和HTARADrQ之间的性能差异，我们在每个环境中测试了这些模型。在每个环境中，我们测试了100轮，其中每个测试的起点和终点是随机生成的。图6显示了导航任务的平均成功率、平均碰撞率和平均超时率。图中的蓝条表示平均成功率。图中的橙色条表示平均碰撞率。图中的绿色条表示平均超时率。可以看出，自主导航模型结合注意机制和层次机制可以学习到更好的导航策略。因此，与SAC、DrQ、ADrQ和TARADrQ相比，HTARADrQ可以更好地学习自主导航策略，并且具有更高的成功率和更低的碰撞率。

图6 测试结果。(a)为各算法在环境a中的测试结果。(b)为各算法在环境b中的测试结果。(c)为各算法在环境c下的测试结果

C. 注意机制

为了验证时间注意机制的有效性，本节使用训练好的模型进行模拟环境B中的各种实验，如直飞实验、转弯实验、避障实验等。图7为该导航模型在直飞实验中的预测结果。第一行是环境的俯视图，绿点表示无人机的位置。第二行是环境的RGB图像。第三行是环境的深度图像。第四行是每帧深度图像对应的注意权值。从图中可以看出，从第一帧到第四帧，注意力权重不断增加。注意模块认为第四帧的深度图像比其他三帧更重要，因此给予第四帧最大的权重。然后，基于四帧深度图像的注意权值，导航模型的预测值为0.15◦/s。在这个偏航角速度下，无人机可以向前飞行。上述实验结果表明，该导航模型学习到了较好的直航策略。

图7 导航模型在直飞试验中的预测结果

图8为转弯试验中导航模型的预测结果。从图中可以看出，第一帧和第四帧的注意权重大于第二帧和第三帧。注意模块认为第四框架提供的信息是最重要的，但是第一框架提供的信息也应该被考虑。在第一张深度图像中，几乎一半的区域是黑色的。它表明无人机此时非常接近左墙。因此，注意力模块给予第一帧更大的权重。然后，基于四帧深度图像的注意权值，导航模型的预测值为-37.23◦/s。实验结果表明，该导航模型学习了较好的转向策略。

图8 导航模型在转弯试验中的预测结果

图9为避障实验中导航模型的预测结果。从图中可以看出，从第一帧到第四帧的注意权重差异不是很大。这意味着注意模块认为这四个框架提供的信息都是重要的。然后，基于四帧深度图像的关注权重，导航模型的预测值为59.68◦/s。在这个偏航角速度下，无人机将向右转以避开左边的墙壁，以防止碰撞事件。实验结果表明，该导航模型学习了较好的避障策略。

图9 避障实验中导航模型的预测结果

D. 消融实验

为了说明分级机制对性能的影响，以及分级机制与其他改进方法相结合的效果，我们在本节进行了消融实验。实验结果见表3。从表中可以看出，每个模型的平均成功率加入分层机制后，环境改善了2% ~ 4%。与只加入层次机制的算法相比，加入层次机制等方法后，模型的平均成功率提高了2% ~ 8%。当算法中加入四种改进方法时，模型的平均成功率最高。可见，分层机制可以在一定程度上提高性能。同时，层次机制可以与循环机制、注意机制、平均值函数相结合，相互促进，进一步提高模型性能。

表3 各模型在各环境下导航任务的平均成功率结果