会听话、能导盲,还能识别红绿灯……6足导盲机器狗很贴心

百科   2024-05-29 15:27   上海  




“前方有障碍物。”耳边响起轻声的提醒,温柔的牵引随即从盲杖传到手上,于是放心迈出跟随的脚步……昨天,咖啡师在上海交通大学机械与动力工程学院开启了一场特殊的旅程——蒙上眼睛,完全交由“机器导盲犬”引路。


这款六条腿的导盲机器人由高峰教授团队为视觉障碍人群研发,具有视觉环境感知功能,可自主导航至目的地、动态躲避障碍、识别红绿灯等,通过后台建立完整的互联网服务体系,还可以实现居家陪护、应急处理,带领盲人抵达更多地方等功能。





机器导盲犬很聪明






和盲人建立有效沟通,让导盲机器人理解使用者意图同时维持机器人自身动作协调是导盲机器人的首要任务。


高峰教授团队在导盲机器人上集成了听觉、触觉和力觉三种交互方式,实现盲人与导盲六足机器人之间的人机智能感知与顺应性行为。机器人可根据盲人的语音指令,基于深度学习端到端语音识别模型理解语义信息,快速响应、准确识别,目前语音识别准确率为90%以上,响应速度在1秒之内。

同时,盲杖可以实现盲人与导盲机器人之间的力觉交互,向盲人提供牵引力和转向力矩,引导盲人前进和转向,盲人还可以推拉盲杖来动态调整机器人的行走速度。


高峰教授团队基于导盲机器人的动力学模型,构建层级递进式外力估计、触地检测、坡度估计、运动状态估计模型算法,融合机器人关节、惯性导航、行为节律、历史状态等多源信息,进行多目标集成的状态观测和反馈优化的平衡控制,已经能够实现导盲机器人在各类地形场景中自律协同控制效果。



六条腿更稳更灵活






四条腿的机器狗很多,为何上海交大研发的机器导盲犬需要六条腿?“盲人牵引导盲犬会产生推拉力,六足机器人跳动低,三足同时落地,能够更稳更灵活。”高峰教授说。目前机器人最大速度达3米/秒,能够满足盲人慢走、快走、跑步等出行需求,且六足的独特构型优势确保机器人可以低噪声稳定行走。

定位精准是导盲任务的核心要求之一,高峰教授团队通过多传感器数据紧耦合方式,建立了雷达——惯性里程计系统,通过滑动窗口法耦合历史帧数据,大幅减少点云运动畸变,并设计了多维度的状态残差,显著提高了系统状态估计的精度和鲁棒性,实现了三维环境地图的精准建立与机器人自身的精准定位。“只要走过一遍,不用导航,它就能记住路线。”


导盲犬只能看见黑白的世界,无法识别红绿灯,但是这些问题对机器导盲犬来说却不在话下。团队基于全局环境地图和实时感知的局部动态地图,采用模型预测和实时滚动优化方法实现机器人的路径规划和自主避障,敏捷自主躲避静态和动态障碍物,保障导盲任务的安全性。根据室内导航任务需求,团队制定了室内场景的多层导航策略,构建层次拓扑地图实现室内全局路径规划;针对室外场景,基于环境地图结合GPS信息进行多传感器融合,大幅提高定位与导航精度。团队还利用深度相机,通过深度学习和数字图像处理技术实现对交通信号的辨别,保障出行安全。


团队基于地形变化信息和机器人稳定性与运动性的协调,可实现各类地形下机器人的步态规划和平滑切换。针对台阶、楼梯等典型地形环境,采用多约束优化算法规划机器人稳定行走步态;通过采集机器人腿部足端力觉信息,使用机器学习方法来实时辨识足—地接触模型,实现机器人对不同地形的自适应动态敏捷柔顺行走。



走向千家万户






实验室里的“小狗”体型和成年拉布拉多导盲犬差不多,高峰说,技术储备都已完成,未来可以根据人群需求设计和制造“小型犬”“中型犬”“大型犬”。目前,这款导盲机器人已进入实地测试阶段。在整个研究推进过程中,由视障人士参与线下展示与功能测试,未来团队也将根据视障人士的实时反馈,对机器人持续研发、调试。团队还与索辰科技密切合作,面向导盲机器人需求,开展商业化推广,“首批20台订单下月签约,相信很快就能推向市场。”该款机器人通过批量化生产、人工智能辅助可有效降低成本、提升智能,解决导盲犬数量短缺的问题。


除了性能提升,让“小狗”更有灵性也是团队努力的方向。“我们希望导盲机器人能够更好地陪伴人。”高峰说,“‘小狗’还没有名字,也欢迎大家和我们一起为它起名。” 

END

鹦鹉螺工作室

作者| 易蓉

图片 | 陶磊

编辑 | Amy



新民科学咖啡馆
新民晚报社与上海市科学技术协会联合主办的公益科普项目“新民科学咖啡馆”,为您打造新鲜、有趣的科技资讯台。欢迎品尝和订制,属于你的那杯香气四溢、回味无穷的“科学咖啡”。
 最新文章