【编辑推荐】基于虚拟现实和眼动追踪的人-集群机器人交互方法

文摘   2024-09-25 16:30   辽宁  

以下文章来源于信息与控制,欢迎转载,请全文转载并插入该公众号名片。


 引用格式



许明玉, 雷小康, 段中兴, 向雅伦, 段梦园, 郑志成, 彭星光. 基于虚拟现实和眼动追踪的人-集群机器人交互方法[J]. 信息与控制, 2024, 53(2): 199-210.

扫描二维码阅读全文

1

摘要

操作员对集群机器人实施远程控制时面临被控对象众多、群体态势感知困难、集体行为控制不易等诸多挑战, 使得手动遥控等传统交互方式无法实现高效、灵活、强沉浸感的人-集群机器人交互。为此, 提出一种基于虚拟现实(VR)和眼动追踪的人-集群机器人交互(HSI)方法。首先, 构建集群机器人VR交互场景并采集操作员的眼动数据; 其次, 解析获得瞳孔坐标、注视点等眼动特征, 据此生成集群机器人的运动控制指令; 最后, 开展了真实集群机器人集群漫游、集群目标追踪及集群轨迹跟踪交互实验。机器人实验结果表明, 该方法可实现灵活、便捷的人-集群机器人远程交互控制, 这为人与集群机器人的共融协作提供了一种新的途径。

2

研究背景及主要内容

集群机器人(swarm robots)是一种受生物群体行为启发的多机器人系统[1-2]。相比于单体机器人系统,集群机器人具有高鲁棒性、可扩展性、灵活性及并行协同作业等优点,在环境探索、目标监测、灾害救援等大范围多目标任务的执行中具有独特优势,近年来受到国内外研究者的广泛关注[3-5]。
人-集群机器人交互(Human-Swarm robots Interaction,HSI)是指人类操作员借助特定设备或媒介完成对集群机器人系统的交互与控制,其中涉及人机交互规则设计、集群态势可视化、人机通信等关键问题[6]。HSI技术可将人类的决策智慧与集群机器人的群体分布式协作相融合,能够有效提高集群机器人系统的可靠性、适应性及智能化水平。因此,灵活、便捷、高效、实时且强沉浸感的HSI方法在未来集群机器人的应用中必不可少。
本文针对人-集群机器人交互中面临的被控对象数量众多、群体态势感知困难、集体行为控制不易等难点问题,利用VR技术场景可视化、强沉浸感及眼睛动作灵活、高效的特点,通过VR技术与眼动追踪技术的结合,提出一种基于VR和眼动追踪的HSI方法,用以解决操作员对集群机器人进行高效、便捷的交互。基于真实集群机器人的人机交互实验表明,通过搭配VR眼镜,操作员通过眼动即可对集群机器人进行远程控制,同时可实时掌握群体的运行状态,所提HSI方法具有高效、便捷等特点。本文主要贡献有:1) 提出一种融合VR和眼动的HSI方法,该方法具有沉浸感强、灵活、便捷的特点;2) 基于VR的交互方法可克服机器人超视距及环境状况不佳的影响,同时返回机器人群体态势,实现集群机器人数字孪生。

集群机器人系统

本文的被控对象为本团队自研的SwarmBang微型集群机器人,如图 1(a)所示。SwarmBang机器人采用双轮差动运动结构,其运动学模型如图 1(b)所示。

图1   SwarmBang机器人及其运动模型

SwarmBang集群机器人之间的交互包括机器人个体之间的群内运动协同及机器人与障碍物之间的避障作用,如图 2所示。机器人的内部集体协调运动基于简化Couzin模型[21-22]实现。该模型由位置协同和速度协同两部分组成。位置协同实现群体间的聚集并避免个体间发生碰撞,速度协同实现群内个体运动方向的一致性。

图2   机器人交互示意图

人-集群机器人交互方法

基于VR和眼动的人-集群机器人交互系统的总体方案如图 3所示,其中涉及的硬件系统包含VR眼镜、嵌入式眼动跟踪传感器、VR激光定位器、处理计算机及待控制集群机器人系统。

图3   人-集群机器人交互系统整体方案

本文HSI系统的总体工作流程为:首先,搭建集群机器人及其作业环境的3维虚拟现实场景,并将其显示至操作员所戴的VR眼镜中,通过动作捕捉系统建立真实机器人运动状态与其数字孪生主体之间的状态互联,在VR场景中实时更新机器人运动状态,提高操作员的沉浸感和集群态势的感知效率。其次,安装在VR眼镜上的眼动传感器实时捕捉操作员的眼动数据,并通过串流盒发送到处理计算机,在通过眼动数据预处理后,解析生成相应的集群机器人运动控制指令。最后,眼动控制指令通过无线信号发送至机器人群体,机器人接收指令后执行相应的控制动作。上述步骤循环往复,真实机器人集群状态与其数字孪生主体始终保持同步,最终实现操作员与集群机器人之间的高效交互。

操作员眼部运动信息的采集是基于眼动实现机器人运动控制的基础。首先需确保眼动传感器处于正常工作状态,其次利用眼动传感器所提供的接口采集左右眼的瞳孔位置及直径、眼睛开合度、双眼注视位置等眼睛状态信息。眼动数据的采集频率与机器人控制指令的更新频率之间存在数倍的明显差异。为了保证控制指令生成的同步性,对归一化后的眼动数据进行重采样处理。集群控制规则(指令)可分为通用规则与定制规则两大类。通用规则是针对于集群机器人最为常用和通用的基本行为控制需求设计,而定制规则服务于特殊任务或特定场景,一般不具有通用性。本文仅介绍了基于眼动的常用通用规则。通过梳理集群机器人执行典型任务时的功能需求,归纳总结出集群运动控制所需的3种基本的人-集群集群机器人交互规则:1) 集群漫游交互规则;2) 集群目标追踪交互规则;3) 集群轨迹跟踪交互规则。

人-集群机器人交互实验

本节利用SwarmBang机器人组成小规模集群开展真实的人-集群机器人交互实验,以验证所提基于VR和眼动的HSI方法的可行性和有效性。

人-集群机器人交互实验的环境如图4(a)所示,包括5台SwarmBang机器人、NOKOV动作捕捉定位系统、VR交互系统及处理计算机。本文通过交互规则及几种VR交互场景来验证所提方法的可行性及灵活性。利用Unity软件设计集群VR交互环境模型,并基于Unity 3维引擎驱动VR场景。集群交互实验所用VR场景如图 4(b)~图4(d)所示,包括:1) 集群漫游场景。2) 集群目标追踪场景。3) 集群轨迹跟踪场景。

图4   真实实验环境与VR交互场景

集群漫游交互实验在无障碍环境下进行,实验结果如图5所示。

图5   真实机器人集群漫游交互实验结果

在实验场地规定位置放置2个目标,运行目标追踪交互VR场景,眼睛注视到的目标被激活且输出此目标编号,如图 6(a)所示。操作员的注视点在两个目标之间进行切换,控制机器人切换当前目标。实验结果如图6所示,根据实验结果可知,基于眼动凝视设计的多目标追踪交互规则,可实现集群机器人的目标导向运动控制,具有简便、灵活的特点。

图6   集群机器人目标追踪交互实验结果

在实验场地放置2个泡沫砖作为障碍物,同时设置3个路径中间站点。运行轨迹跟踪交互VR场景后,操作员通过转动眼球控制眼动射线的指向,依次经过3个中间点并避开障碍物,眼动射线与地面碰撞形成眼动轨迹,如图7(a)所示。实验结果如图 7所示,通过机器人的实际运动轨迹可以看出,集群运动过程平顺,准确地跟踪了操作员通过眼动预设的轨迹,并安全地避开了障碍物。利用眼睛凝视位置移动预设集群机器人的运动轨迹,可在数秒内快速完成,这为操作员控制集群机器人在复杂环境下运动,提供了一种极为便捷和高效的交互方式。

图7   集群机器人轨迹跟踪交互实验结果

3

总结与展望

针对传统交互方式不能满足集群机器人交互的问题,设计了一种基于VR和眼动的HSI交互方法;利用VR技术获取机器人群体的实时运动状态,基于眼动数据生成集群行为控制指令;最终实现了对机器人集群的远程交互和基于眼动的运动控制。真实机器人实验结果验证了所提方法的可行性和有效性。该交互方法具有沉浸感强、操作友好、灵活及高效的特点,为人-集群机器人的交互提供了一种新的实施途径。

然而,本文所提HSI方法依然有所不足。例如,完全基于眼动实施对集群机器人的操控,容易造成操作员的眼睛疲劳,尤其是长时间凝视操作。此外,对机器人群体行为的控制方式也较为单一。在后续的研究中,将融合眼睛开合度、眨眼、瞳孔大小等多种眼动信息来设计多元交互规则,同时考虑操作员交互时间及集群机器人自主时间的平衡,例如,在机器人陷入局部最优时操作员进行交互干涉,面对简单任务时机器人自主执行,提高交互效率,使交互更加便捷及人性化。除此之外,在VR环境中展示机器人态势信息,包括机器人朝向、速度等信息,使反馈信息更丰富,操作员观察群体态势更直观。同时考虑融合手势、语音等多维信息,构成综合性的人-集群机器人交互体系,以便在不同的环境中,例如搜索、救援等,切换合适的融合交互方式,使交互更加灵活、高效,为解决复杂环境下的集群任务提供新的技术手段。

数据可用性声明

本篇论文的关联数据(DOI/CSTR:https://doi.org/10.57760/sciencedb.j00142.00005)可在基于虚拟现实和眼动的人-集群机器人交互实验视频数据库(https://www.scidb.cn/anonymous/QWJZelF2)中访问获取。

4

作者简介


雷小康 副教授
博士,现任西安建筑科技大学信息与控制工程学院副教授、硕士生导师,集群机器人与集群建造实验室负责人。中国自动化学会建筑机器人专委会委员、秘书,陕西省自动化学会智能机器人专委会委员。

研究领域为集群机器人、群体行为建模与分析、集群建造与建筑机器人技术。




▼滑动查看更多






参考文献




[1] 王伟嘉郑雅婷林国政集群机器人研究综述[J]. 机器人, 2020, 42(2): 232-256. https://www.cnki.com.cn/Article/CJFDTOTAL-JQRR202002011.htm


[2]  WANG W J, ZHENG Y T, LIN G Z, et al. Swarm robotics: A review[J]. Robot, 2020, 42(2): 232-256. https://www.cnki.com.cn/Article/CJFDTOTAL-JQRR202002011.htm


[3] 刘明雍雷小康杨盼盼群集运动的理论建模与实证分析[J]. 科学通报, 2014, 59(25): 2464-2483 https://www.cnki.com.cn/Article/CJFDTOTAL-KXTB201425004.htm

LIU M Y, LEI X K, YANG P P, et al. Progress of theoretical modelling and empirical studies on collective motion[J]. Chinese Science Bulletin, 2014, 59(25): 2464-2483. https://www.cnki.com.cn/Article/CJFDTOTAL-KXTB201425004.htm


[4] ŞAHIN E. Swarm robotics: From sources of inspiration to domains of application[C]//International Workshop on Swarm Robotics. Berlin, Germany: Springer, 2004: 10-20.


[5] BRAMBILLA M, FERRANTE E, BIRATTARI M, et al. Swarm robotics: A review from the swarm engineering perspective[J]. Swarm Intelligence, 2013, 7(1): 1-41. doi: 10.1007/s11721-012-0075-2


[6] ZHANG S, LIU M, LEI X, et al. Stay-eat or run-away: Two alternative escape behaviors[J]. Physics letters A, 2019, 383: 593-599. doi: 10.1016/j.physleta.2018.12.046


[7] KOLLING A, WALKER P, CHAKRABORTY N, et al. Human interaction with robot swarms: A survey[J]. IEEE Transactions on Human-Machine Systems, 2015, 46(1): 9-26.


[8] PODEVIJN G, O'GRADY R, NASHED Y S G, et al. Gesturing at subswarms: Towards direct human control of robot swarms[C]//Conference Towards Autonomous Robotic Systems. Berlin, Germany: Springer, 2013: 390-403.


[9] NAGI J, GIUSTI A, GAMBARDELLA L M, et al. Human-swarm interaction using spatial gestures[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA: IEEE, 2014: 3834-3841.


[10] GIUSTI A, NAGI J, GAMBARDELLA L M, et al. Distributed consensus for interaction between humans and mobile robot swarms[C]//International Joint Conference on Autonomous Agents and Multi-agent Systems. Berlin, Germany: Springer, 2012: 1503-1504.


[11] POURMEHR S, MONAJJEMI V M, VAUGHAN R, et al. "You two!Take off!": Creating, modifying and commanding groups of robots using face engagement and indirect speech in voice commands[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA: IEEE, 2013: 137-142.


[12] LAVOIE R, MAIN K, KING C, et al. Virtual experience, real consequences: The potential negative emotional consequences of virtual reality gameplay[J]. Virtual Reality, 2021, 25(1): 69-81. doi: 10.1007/s10055-020-00440-y


[12] IMAOKA Y, FLURY A, DE BRUIN E D. Assessing saccadic eye movements with head-mounted display virtual reality technology[J/OL]. Frontiers in Psychiatry, 2020, 11[2022-09-17]. https://www.frontiersin.org/articles/10.3389/fpsyt.2020.572938/full. DOI: 10.3389/fpsyt.2020.572938.


[13] WANG P, WU P, WANG J, et al. A critical review of the use of virtual reality in construction engineering education and training[J]. International Journal of Environmental Research and Public Health, 2018, 15(6): 1204-1222. doi: 10.3390/ijerph15061204


[14] BAREA R, BOQUETE L, MAZO M, et al. System for assisted mobility using eye movements based on electrooculography[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2002, 10(4): 209-218. doi: 10.1109/TNSRE.2002.806829


[15] 魏青刘钊铭刘乃龙沉浸式虚拟现实系统中头部位姿预测方法[J]. 信息与控制, 2019, 48(1): 50-56, 64. https://xueshu.baidu.com/usercenter/paper/show?paperid=1y6a06n0uj4r0af07t3404100s220108&site=xueshu_se&hitarticle=1

WEI Q, LIU Z M, LIU N L, et al. Head pose prediction method for immersive virtual reality systems[J]. Information and Control, 2019, 48(1): 50-56, 64. https://xueshu.baidu.com/usercenter/paper/show?paperid=1y6a06n0uj4r0af07t3404100s220108&site=xueshu_se&hitarticle=1


[16] 朱晨爽程时伟虚拟现实环境下基于眼动跟踪的导航需求预测与辅助[J]. 计算机科学, 2021, 48(8): 315-321. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA202108043.htm

ZHU C S, CHENG S W. Prediction and assistance of navigation demand based on eye tracking in virtual reality environment[J]. Computer Science, 2021, 48(8): 315-321. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA202108043.htm


[17] 马晓辉周洁萍龚建华面向室内应急疏散标识的VR眼动感知实验与布局评估[J]. 地球信息科学学报, 2019, 21(8): 1170-1182. https://www.cnki.com.cn/Article/CJFDTOTAL-DQXX201908005.htm

MA X H, ZHOU J P, GONG J H, et al. VR eye-tracking perception experiment and layout evaluation for indoor emergency evacuation signs[J]. Journal of Geo-Information Science, 2019, 21(8): 1170-1182. https://www.cnki.com.cn/Article/CJFDTOTAL-DQXX201908005.htm


[18] YASHIN G A, TRINITATOVA D, AGISHEV R T, et al. Aerovr: Virtual reality-based teleoperation with tactile feedback for aerial manipulation[C]//19th International Conference on Advanced Robotics. Piscataway, USA: IEEE, 2019: 767-772.


[19] KOT T, NOVáK P. Application of virtual reality in teleoperation of the military mobile robotic system TAROS[J/OL]. International journal of advanced robotic systems, 2018, 15(1)[2022-11-20]. https://journals.sagepub.com/doi/full/10.1177/1729881417751545.


[20] WANG Q, JIAO W, YU R, et al. Modeling of human welders'operations in virtual reality human-robot interaction[J]. IEEE Robotics and Automation Letters, 2019, 4(3): 2958-2964. doi: 10.1109/LRA.2019.2921928


[21] COUZIN I D, KRAUSE J, JAMES R, et al. Collective memory and spatial sorting in animal groups[J/OL]. Journal of theoretical biology, 2002, 218(1)[2022-11-05]. https://www.sciencedirect.com/science/article/pii/S0022519302930651. DOI: 10.1006/jtbi.2002.3065.


[22] ZHANG S, LIU M, LEI X, et al. Group chase and escape with prey's anti-attack behavior[J/OL]. Physics letters A, 2019, 383(30)[2022-11-03]. https://www.sciencedirect.com/science/article/pii/S0375960119306747. DOI: 10.1016/j.physleta.2019.125871.




END



机器人ROBOT
《机器人》是由中国科学院主管,中国科学院沈阳自动化研究所、中国自动化学会共同主办的科技类核心期刊,主要报道中国在机器人学及相关领域具有创新性的、高水平的、有重要意义的学术进展及研究成果。
 最新文章