电子皮肤作为人机接口在家庭护理机器人中的抓取识别

文摘   2024-09-20 00:00   北京  

人口老龄化凸显了发展家庭护理机器人的重要性,以辅助人类生活。然而,传统的家庭护理机器人按照固定程序工作,缺乏模拟人类手部动作的人机交互。人机接口为机器人与用户之间的交互提供了机会,在家庭护理机器人中起着重要作用。但传统的机器人接口大多数依赖于笨重的机器和非柔性电子设备,这限制了它们在执行家庭护理任务中的广泛应用。

本文介绍了一种电子皮肤传感器,该传感器在人手背部均匀分布了11个可拉伸电阻,可用于监测人类手指运动并控制机器人手指灵巧地抓取各种物体。电子皮肤传感器可以附着在皮肤上,甚至可以直接包裹在机器人皮肤表面,以实现实时监控的目的。由于电子皮肤传感器极薄且柔软,将其粘贴在粗糙的人体皮肤表面时,能够实现完全的共形接触。

除了高度的柔韧性和可拉伸性外,它们还同时满足高耐用性、高效性、低功耗、生物相容性和轻量化等特点。

图1 带有电子皮肤的人手与机器手协作

图2 可穿戴电路、机器人控制系统及其软件

电子皮肤传感器的设计

对于手指的弯曲运动,除了拇指外,手指的远端关节(DIP)和近端关节(PIP)通常是耦合的,如图3(a)所示。为了降低监测系统的复杂性,有必要监测PIP和掌指关节(MCP)以获取手指运动信息。因此,可拉伸电阻器的设计仅覆盖除拇指外的所有手指的PIP和MCP。除了弯曲检测外,在拇指和食指之间还增加了一个可拉伸电阻器,以监测拇指的平移运动(外展和内收)。图3(c)展示了根据用户手的大小和手指关节位置,所有可拉伸电阻器的分布布局。图3(d)为所有可拉伸电阻器的尺寸情况。

图3 电子皮肤传感器的设计与制造

电子皮肤采用多层堆叠的布局,共有四层:第一层为基底;第二层为可拉伸导线;第三层为可拉伸电阻器;第四层为密封膜。第一层和第四层的设计根据用户手的大小进行调整。第二层的设计用于连接每个可拉伸电阻器和柔性印刷电路(FPC),第三层设计有11个传感通道,用于手/手指手势识别。

4 电子皮肤多层堆叠布局
每个手指的近端和掌指关节处分别分布有十个可拉伸电阻,而指间凹处则分布有一个可拉伸电阻。

可穿戴监测系统分析

设计的可穿戴监测系统主要由三部分组成:用于运动感知的电子皮肤传感器、用于传感器数据采集和预处理的数据采集柔性印刷电路板(FPC),以及基于Qt的用户界面软件用于数据分析。可穿戴电子皮肤传感器监测系统如图5所示。电子皮肤传感器附着在手背表面。

图5 电子皮肤传感器监测系统

为了实现对FPC采集信号的实时观测和显示,还同时设计了一款基于Qt框架的数据处理软件。该用户软件的主要功能包括数值显示、曲线滚动、传感器数据传输和控制命令传输,其工作流程图如图6所示。软件通过Wi-Fi模块与电子皮肤传感器连接。

首先,适当配置读取间隔超时、接收数据缓冲区大小和定时器间隔等参数,以确保数据接收、处理和显示的顺畅进行。其次,当Wi-Fi虚拟串口打开时,定时器强制开启中断以等待接收数据。当进行接收数据的任务时,在串口接收到数据包后,从数据缓冲区大小中读取电子皮肤传感器值,然后根据预设的通信协议将其转换为电阻值。在定时器事件中,电子皮肤传感器值会及时显示在软件界面上,呈现为随时间变化的曲线。在发送命令事件中,弯曲或伸展命令会被发送到电机驱动控制器。最后,程序在存储数据后返回到主进程。然而,在软件工作流程图中,接收到数据后,可以将深度学习算法集成到软件系统中,用于手势识别,然后输出命令到电机控制电路。

图6 工作流程

手势识别算法

在某些复杂且有限的任务场景中,通过直接控制难以实现机器人手指的精确操作。此时,如果运算符佩戴电子皮肤进行远程操作,并预先将机器人手指动作设置为与运算符的手势匹配,机器人手指便能被控制完成灵巧的操作。电子皮肤收集的信号包含丰富的空间和时间信息,可以通过卷积神经网络(CNN)进行处理和分类。

首先,这些信号可以转换为图像格式,然后输入CNN以识别和提取局部特征进行手势分类,完成对人类运动意图的解码。由于不同手的指头大小、结构和弯曲习惯不同,使用CNN必须为每个用户进行训练。尽管这是一个限制,但它提高了手势识别的准确率。

机器人手结构

开发的具有五个手指的灵巧手用于抓握,食指和拇指可以同时弯曲和伸展,其余三个手指也可以同时弯曲和伸展,此外,五个手指可以同时弯曲和伸展。分别由2瓦和5瓦的电机驱动。两个电机均安装在手掌内部,如图7(a)所示。

图7 仿人机器人手

手指由多个旋转铰链和仿生手指部件组成,这些部件能够耦合运动,如图7(b)所示。机器人手指可以模仿人类手指的动作,如图7(c)至(f)所示。通过控制方法,可以实现机器人手指的不同姿态,展现出机器人手的灵活性。

机器人手部运动控制方法

电子皮肤轻薄且可以通过皮肤静电效应自粘附在皮肤上,使其易于佩戴。尽管电子皮肤传感器可以被视为身体的一部分,但附着在人手上的电子皮肤由于静电吸附能力随使用次数的增加而减弱,因此只能重复使用几次。为了提高使用次数,电子皮肤传感器被制作在手套上,形成电子皮肤手套。电子皮肤传感器可以直接附着在手上或手套上,如图8(a)所示,可用于远程控制机械手抓取物体。

图8 电子皮肤传感器安装方法

图9 不同大小的物体抓取

总结

本文介绍了本文介绍了一种电子皮肤传感器,并实现了电子皮肤手套控制机械手进行各种家庭护理服务任务时对不同物体的同步抓取。电子皮肤传感器被设计成模拟人类皮肤,并展示其柔软性和可拉伸的灵敏度,由可拉伸电阻薄膜和硅胶弹性体制成。

这种电子皮肤传感器监测装置可用于手指康复监测和分析训练强度,为治疗方案的判断提供了一种方法。对电子皮肤传感器、可穿戴设备、机器人手及系统中的集成策略的实验和理论研究,将有助于我们为家庭护理机器人的发展奠定基础。

CAAI认知系统与信息处理专委会
CAAI认知系统与信息处理专委会成立于2014年,胡德文教授担任专委会主任,孙富春教授担任荣誉主任,方斌教授担任秘书长。专委会不断吸纳业界人才,会员1000余名。创建了“认知系统与信息处理国际会议”、“机器人智能论坛”等品牌活动。
 最新文章