超人的速度！自主驾驶无人机击败最优秀的人类选手

学术 2024-11-04 15:30 北京

自主驾驶无人机击败最优秀的人类选手。

无人机呼啸而过。

它飞得太快了，没法用相机跟踪它，于是我放弃了，难以置信地看着它。随着这架四旋翼竞速无人机以人类能力所不能及的速度迂回、翻转、后滚，穿越赛道上的方形塑料障碍门，它的4个马达发出刺耳的轰鸣声。我和苏黎世大学机器人与感知研究组的无人机研发人员一起，躲在苏黎世近郊一个机场机库的安全网后面。

“我甚至不知道自己刚刚看到了什么。”看着无人机在5.3秒内完成了75米的飞行后停了下来，亚历克斯•凡诺弗（Alex Vanover）说道。“飞得太漂亮了。”托马斯•比马特（Thomas Bitmatta）补充道，“我希望自己有朝一日也能够做到那样。”凡诺弗和比马特可以被认为是世界上最优秀的竞速无人机驾驶员，他们多年来一直是竞争激烈的国际无人机比赛冠军。他们来到这里是为了证明人类驾驶员并未被机器人打败。至少目前还没被打败。

如果将这些高性能四旋翼无人机与业余爱好者用于摄影的无人机进行比较，那就像是将喷气式战斗机与轻型飞机进行比较一样：四旋翼竞速无人机在速度和敏捷性上进行了大量的优化。一架典型的四旋翼竞速无人机可输出35牛顿的推力，4个马达以3万转/秒的速度旋转三叶螺旋桨。这架无人机的重量只有870克，包括一个摄像系统和一块1800毫安时的电池，续航时间只有2分钟。如此极端的功率重量比令无人机的加速度达到4.5 g，可在不到1秒的时间内提速至100千米/小时。

自主驾驶四旋翼竞速无人机的规格参数也与之类似，但我们刚刚看到的无人机没有摄像头，因为它不需要。取而代之的是机库配备的拥有36个摄像头的红外跟踪系统，该系统具备毫米级的精度，每秒可对无人机进行400次定位。通过将位置数据与航线地图相结合，非机载计算机可以引导无人机沿最佳轨迹飞行，即便最优秀的人类驾驶员也很难做到这一点。

从某种意义上而言，这些自主驾驶无人机是在作弊。人类驾驶员只能从安装在无人机上的摄像头获得单一视图，再辅以他们对赛道的了解和飞行经验。因此，价值40万美元的传感器和计算机能够胜过人类驾驶员也不足为奇了。这些职业无人机驾驶员来到苏黎世的原因是想看看自己在真正公平的比赛中会怎样表现。

解决无人机竞速问题

“我们正在努力创造历史。”苏黎世大学机器人与感知研究小组负责人戴维德•斯卡拉姆扎（Davide Scaramuzza）这样说，“我们希望证明，人工智能驱动、基于视觉的无人机可以在无人机比赛中达到人类水平，甚至是超人水平。”关键在于使用视觉。斯卡拉姆扎一直在研究无人机，让它能像大多数人一样感知，即依靠机载摄像头感知周围的世界，并主要根据视觉数据作出决定。这将使比赛显得公平：人类的双眼和大脑对抗机器眼和机器大脑，每个参赛选手均驾驶相同的四旋翼无人机，尽可能加快速度绕着相同的路线飞行。

斯卡拉姆扎解释说：“无人机（与人对抗）比赛是评估自主视觉机器人技术进步的理想框架。当你解决了无人机竞速问题，应用就能走得更远，因为这个问题可以推广到其他机器人应用中，比如检查、送货或搜救。”

虽然已经有无人机在执行此类任务，但往往飞得很慢，也很小心。斯卡拉姆扎表示，飞行速度越快，无人机的效率就越高，可提高持续飞行航程和实用性。“如果想让无人机取代人类从事枯燥、困难或危险的任务，无人机必须比人做得更快或效率更高。这便是我们努力的方向，是我们的抱负。”斯卡拉姆扎解释称，“机器人技术存在许多艰巨的挑战，其中之一就是快速、敏捷的自主飞行。”

自主导航

斯卡拉姆扎的自主无人机系统名为Swift，它首先要得到赛道的三维地图。人类驾驶员也能获取这张地图，这样他们就可以进行模拟练习。人类驾驶员和机器人无人机驾驶员的目标都是尽可能快速地通过每座障碍门，而实现此目标的最佳方法是采用时间最优轨迹。

机器人在这方面有一大优势，因为它有可能（通过仿真）计算给定路线并确定最优轨迹。但知道最优轨迹并不意味着全部。斯卡拉姆扎解释说，仿真从来都不是完全准确的，有些事情是难以建模的，包括无人机穿越障碍门时的湍流空气动力学和无人机本身的灵活性，因此很难始终保持最优轨迹。

斯卡拉姆扎表示，解决方案是使用深度强化学习。仍然是通过仿真训练系统，但强化学习算法的任务会持续调整，在现实世界环境中将系统调整到特定的轨道。在轨道上收集真实世界的数据，并将数据加入仿真过程，使算法混合真实的“噪声”数据，为实际飞行作更好的准备。无人机永远不会按照这种数学上的最优轨迹进行飞行，但它的轨迹会比完全仿真环境下设计的轨迹快得多。

至此，剩下的唯一问题就是确定要让Swift飞多快。作为首席研究员的一员，埃利亚•考夫曼（Elia Kaufmann）引用知名赛车手马里奥•安得雷蒂（Mario Andretti）的话：“如果一切似乎都在掌控之中，那是你的速度还不够快。”只有找到掌控的边界，基于视觉的四旋翼自主驾驶无人机才能比人类操控的无人机飞得更快。“假如飞行成功，我们就会再次加快速度。”考夫曼这样说，“我们会反复这样做，直至失败。很多时候，我们下班回家的状况是要么一切正常——这从来没有发生过——要么是所有无人机都撞坏了。”

机器人如何操控无人机飞行

一旦Swift确定了期望的轨迹，就要沿此轨迹为无人机导航。无论是驾驶无人机还是驾驶汽车，导航都涉及两件基本的事情：知道自己在哪里，知道如何到达想去的地方。自主驾驶无人机已经提前计算出了时间最优路线，但要沿这条路线飞行，无人机需要可靠的方法来确定自己的位置、速度和方向。

为此，四旋翼无人机使用英特尔RealSense视觉系统来识别竞速障碍门的边角和其他视觉特征，在赛道上自行定位。英伟达Jetson TX2模块包含GPU、CPU和相关硬件，负责管理机上全部图像的处理和控制。

仅用视觉严重地限制了无人机的飞行。例如，虽然四旋翼无人机向任意方向飞行的能力并无区别，但Swift的摄像头在大部分时间都要指向前方。还有运动模糊的问题，当无人机摄像头拍摄的单帧曝光时间长、在此时间段内无人机的自身运动变得显著时，就会出现运动模糊问题。当无人机转弯时，运动模糊会更加显著：角速度过高导致模糊时，会令无人机“失明”。机器人专家必须规划其飞行路径以最大限度地减少运动模糊，在时间最优的飞行路径和无人机不坠毁的飞行路径之间进行折中权衡。

人类如何操控无人机飞行

人类驾驶员面临着相似的挑战。四旋翼无人机的性能比驾驶员通常使用的无人机要好得多。驾驶员托马斯•比马特估计自己的无人机飞行速度约为其最高性能的60%。但对人类驾驶员而言，最大的限制因素在于视频馈送。

操控无人机的比赛在所谓的第一人称视角（FPV）下进行，使用视频眼镜显示安装在无人机前部的摄像头的实时信息。在苏黎世时，驾驶员使用的第一人称视角视频系统是画质相对较差的仿真视频图形阵列，传输速度是每秒60隔行帧。在仿真中，无人机驾驶员练习使用的是每秒200帧以上的高清画质，这有很大的不同。“我们作出的一些决定仅基于四帧数据。”比马特这样解释说，“高质量的视频、较高的帧率和较低的延迟，可为我们提供更多的可用数据。”不过，让机器人专家印象最深刻的是在现有的视频质量下人们能飞得很好。这表明，这些驾驶员发挥出的能力相当于执行机器人的定位和状态估计的算法。

斯卡拉姆扎说，人类驾驶员似乎也在试图计算时间最优轨迹。“有的驾驶员告诉我们，经过几个小时的演练，他们试图想象赛道中的一条虚线。因此，我们推测，驾驶员实际上是在构建一幅环境的意境地图，并学习计算出要遵循的最佳轨迹。这非常有趣——似乎人类和机器都在用相同的方式进行推理。”

但为了飞得更快，比马特试图避免遵循既定的轨迹。“预测式飞行时，我试着完成脑海中的飞行计划。反应式飞行时，我可以看着面前的东西，不断对身边环境作出反应。”在受控环境下，预测式飞行能飞得很快，但如果发生任何不可预测的情况，比如马特出现短暂的注意力不集中时，在他作出反应之前，无人机已经飞出数十米了。比马特称：“从开始就进行反应式飞行，可以帮助你从意外中快速恢复过来。”

人类会有优势吗？

“与我们现有的自主系统相比，人类驾驶员进行概括的能力更强，更能在飞行中作出决定并从经验中学习。”苏黎世大学的神经科学家、后来成为机器人专家的克里斯蒂安•菲佛（Christian Pfeiffer）这样解释，菲佛研究的课题是人类无人机驾驶员的行为。“人类已经适应了未雨绸缪，机器人却没有这样的长远眼光。我认为这是目前人类和自主系统之间的主要区别之一。”

斯卡拉姆扎对比表示同意。他说：“人类在与世界的多年互动中积累了更多经验。因为在许多不同的情况下得到训练，人类的知识非常广泛。机器人社区当前面临的问题是，我们总需要为每个特定的任务都训练一个算法。人类仍然比任何机器都优秀，人类可以在非常复杂的情况下，面对有缺陷的数据作出更优的决定。”

人类仍然是更优秀的通才，这样的认识给竞速赛带来了一些重大限制。“公平”严重偏向机器人，因为虽然这场比赛设计得尽可能平等，但比赛的环境却可能给Swift带来了机会。机器人专家已经尽最大努力将不可预测事件降至最低，例如机库内无风，照明也受到严格控制。“我们用的是最先进的感知算法。”斯卡拉姆扎解释道，“但即使是最好的算法，也会因为外部光照发生变化，出现多种失效的模式。”

考夫曼表示，为确保亮度一致，Swift几乎所有的训练数据都是在夜间采集的。“夜晚的绝妙之处在于可以控制照明；把灯打开，每次都会拥有相同的条件。如果在早晨飞行，当阳光进入机库时，所有背光的摄像头都很难看到障碍门。我们可以应付这些情况，但必须以较慢的速度飞行。当我们将系统推向绝对极限时，就牺牲了稳健性。”

比赛当天

比赛在星期六早上开始。阳光穿过机库的天窗和敞开的大门，当人类驾驶员和自动驾驶无人机开始在赛道上进行一圈圈飞行测试时，很明显，基于视觉的无人机的表现不如前一天晚上好。它们经常撞到障碍门的边沿并失去控制，这明显表明基于视觉的状态估计无法产生作用。机器人专家似乎很沮丧，人类驾驶员则似乎持谨慎乐观态度。

比赛的获胜条件是连续飞行三圈最快，且不发生坠毁。人类和机器人追求这一目标的方式基本相同：通过调整飞行参数，找出几近失控的点。随着驾驶员不断挑战自身操控极限，四旋翼无人机撞向障碍门、墙壁、地板和天花板。这对无人机比赛而言很正常，赛场内有几十架备用无人机，一旦它们发生损坏，工作人员会去修理。

比赛将通过几个不同的指标来确定人类和机器人谁更快。前一晚用于主动控制自主驾驶无人机的外部定位系统今天被用于被动跟踪，记录赛道的每一段、赛道的每一圈以及每三圈过后无人机比赛的时间。

人类驾驶员逐渐适应飞行路线后，他们的单圈时间就会减少。每圈10秒，然后每圈8秒，再然后是6.5秒。幕后的驾驶员们戴着第一人称视角设备，全神贯注，看着他们的四旋翼无人机呼啸着穿过障碍门。与此同时，Swift的单圈时间一直低于6秒，但经常无法在不撞机的情况下连续飞完三圈。看到Swift的圈速，人类驾驶员努力追赶，他们的圈速进一步下降。结果会非常接近。

正面对决开始，Swift和一名人类驾驶员在发令声中同时发射。人类立刻处于劣势，因为与机器人相比，人的反应时间要慢得多：Swift可以在不到100毫秒的时间内起飞，而人类从听到声音到作出反应则大约需要220毫秒。

在赛道上，人类驾驶员几乎可以跟上Swift：机器人连飞三圈的最快时间是17.465秒，而比马特的成绩是18.746秒，凡诺弗的成绩是17.956秒。但在与Swift的9场正面交锋中，凡诺弗赢了4场，比马特在7场比赛中赢了3场。这是因为Swift大部分时间都无法完成任务，要么撞上障碍门，要么撞上对手。人类驾驶员可以在碰撞后恢复，必要时甚至可以从地面重新起飞。Swift则不具备这些技能。机器人速度快，但不够稳健。

提升速度

“正常工作时，机器人的绝对表现很出色。”比赛日结束时，我这样对比马特说道，“这比我想象的要超前一些。人类仍然有可能做到这一点，但对我们的好消息是，机器人的适应性看起来不是很好。”

苏黎世大学的考夫曼对此并不反对。“比赛前，我们认为连贯性将是我们的优势。事实证明并非如此。”考夫曼补充称，要让无人机更稳健，适应不同的照明条件，主要是采集更多的数据。“我们可以通过重新训练感知系统来解决这个问题，我相信可以大幅改善。”

考夫曼认为，在可控条件下，基于视觉的自主驾驶无人机的潜在性能已远远超出了人类驾驶员的能力。即使这一点最终并未通过比赛得到证明，但考夫曼将人类驾驶员带到苏黎世并收集到有关他们如何飞行的数据后，他对Swift的能力更有信心了。“我们高估了人类驾驶员。”他说，“我们在他们训练时测量他们的表现，我们可稍许放慢点速度，提高成功率。因为我们看到，即使飞得慢一点，我们仍然能赢。我们最快的策略是将四旋翼飞行器加速至4.5 g，但我们看到，如果只加速到3.8 g，仍然可以稳获胜利。”

比马特觉得人类也有更多潜力。“与现在所做的相比，我们去年的那种飞行根本不算什么。我们的进步速度真的很快。我认为人类可以从这些机器人的飞行方式中学到很多东西。”

有用的飞行机器人

据戴维德•斯卡拉姆扎所知，2022年夏天在苏黎世举行的比赛是全自动移动机器人首次在现实世界的竞技运动中获得世界冠军。但他指出：“这仍然是一项研究实验品，而不是一个产品。我们离制造出可在任何环境、任何条件下工作的产品还很遥远。”

除了让无人机更适应不同的光照条件外，机器人专家还教Swift像人类一样，从一条已知的路线推断出新的路线，并安全地在其他无人机周围飞行。所有这些技能都是可转移的，并最终将带来实际应用。机器人专家克里斯蒂安•菲佛表示：“无人机竞赛正将自主系统推向绝对极限。这并非最终目标——只是制造更好、能力更强的自主机器人的进阶石。”当这样的机器人飞进你的窗户，把包裹投放在你的咖啡桌上，然后飞离，它们的研究人员将赢得你的感谢。

斯卡拉姆扎相信自己的无人机有朝一日会成为空中冠军，不仅是在苏黎世一个精心控制的机库里，而且是在任何能为人类所用的地方。“我认为，机器最终将比任何人类驾驶员都优秀，尤其是在一致性和精确性很重要的时候。”斯卡拉姆扎这样说，“我不认为这一点存在什么争议。问题在于它将在什么时候实现。我认为在未来几十年内不会实现。目前，人类在处理坏数据方面的表现要好得多。但这只是一个感知问题，计算机视觉正在大步向前迈进。最终，机器人不仅会赶上人类，还将超越人类。”

与此同时，人类驾驶员表现从容。“看到人们把比赛作为一种学习方式——这是我很欣赏的。”托马斯•比马特说，“一方面，我自己是个参赛选手，不希望任何东西比我快；另一方面，我真的对这项技术的发展感到兴奋。未来有无限可能，这是某些事物可能改变整个世界的起点。”

作者：Evan Ackerman

IEEE Spectrum

《科技纵览》

官方微信公众平台

往期推荐

火警探测无人机

扛住强风的无人机

武器化无人机：认清你的敌人

http://mp.weixin.qq.com/s?__biz=MzI3NjUyMTgxNQ==&mid=2247553535&idx=1&sn=9563d3531880b829ed6915e788d024d6

悦智网

IEEE Spectrum是国际期刊界卓越的技术写作和报道的一盏明灯。我们旨在提供一个跨学科技术领域的“全局”，让读者了解工程学、科学和技术领域的创新成果与发展趋势。