柔性+磁性皮肤,浙大团队通过神经网络算法,实现磁性皮肤的多点、多尺度感知

科技   2024-08-05 10:00   陕西  

欢迎星标 果壳硬科技

触觉传感技术在机器人领域得到了广泛的应用,在物体操纵和人机交互方面取得了显著的成就。然而,目前高分辨率触觉皮肤的广泛应用仍然受限于制造工艺、传感单元的稳定性以及布线的复杂工艺。实现高分辨率和稳定的触觉皮肤的一种方法是将一定数量的传感器单元集成到柔性表面材料中,并利用信号处理技术来实现超分辨率传感。


针对上述难题,浙江大学赵朋教授/张承谦博士团队展示了一种由多向磁化柔性薄膜和非接触式霍尔传感器阵列组成的磁性皮肤。该传感器的主要特点包括交替对向磁化布置、k邻近算法和用于信号处理的卷积神经网络(CNN)模型。通过采用神经网络算法对多维信号进行处理,可以实现磁性皮肤的多点、多尺度感知


该工作以“Large-area Magnetic Skin for Multi-point and Multi-scale Tactile Sensing with Super-resolution” 为题发表在npj Flexible Electronics上,浙江大学机械工程学院赵朋教授和张承谦博士为论文通讯作者,硕士生胡昊为论文第一作者。论文作者团队成员均来自浙江大学流体动力基础件与机电系统全国重点实验室。



本文传感器的基本结构如图1a所示,主要由柔性硅胶层、磁膜层以及传感器阵列层所组成,通过按压导致的磁场信号变化进行信号处理可以得到按压点位置与力度信息。本文针对大面积磁性皮肤(484 cm2)设计了16颗三轴霍尔传感器利用四十八维磁场数据进行信息处理与智能识别。与皮肤分层结构一致,磁性皮肤也可分为外层保护层以及内部特定充磁排布的感知单元结构。磁性皮肤可以实现如图1e-g所示的物体按压信号识别、触摸写字板以及智能控制系统展示。


图1 磁性皮肤基本结构与功能


图2a-d展示了该磁性皮肤的工作原理,通过按压磁膜得到的磁场变化信号进行分类后进行克里金插值法对数据集进行扩充,使用k最邻近算法得到与按压信号最相近的数据集进行结果输出。


图2 磁性皮肤按压感知原理


团队将该磁性皮肤与卷积神经网络相结合实现了不同尺度的物体按压信号识别(图3a),通过获取的十六个传感器的四十八维度磁场变化信号结合卷积神经网络模型可以进行小尺度按压头(有效磁场变化信号维度小于等于12个)的按压信号识别,在小尺度按压头识别中团队使用了五种不同的按压头进行了二十五个不同位置的按压,最终按压识别准确率达到了92.188%(图3b)。同时也对大尺度按压头(有效磁场变化信号维度大于等于12个)进行按压识别,团队使用了十三种不同的大按压头进行了按压识别测试,准确率可以达到100%(图3g)


图3 磁性皮肤卷积神经网络按压物体识别


团队使用一个绿色小球在磁性皮肤表面推动,通过按压导致的磁膜形变形成的磁场信号变化来推出小球的按压轨迹形成实施按压写字板(图4)。


图4 磁性皮肤触摸写字板展示


得益于磁性皮肤中多个小磁片的组合排列以及可以从16个磁传感器阵列中获得的多维磁场变化,结合卷积神经网络信号处理方式,磁性皮肤能够实现多点同时按压感知(图5)。


图5 磁性皮肤多点按压感知


最后,团队使用磁性皮肤实现了智能小车控制系统。该磁性皮肤能够实现全范围多点、多尺度按压感知。作为演示,成功实现了两辆小车轨迹的实时控制,展示了系统的多功能性。与传统的依靠四个方向按钮(前进、后退、左转和右转)控制小车运动的传统控制方法不同,我们的小车控制演示采用了轨迹映射技术。通过精确映射磁性皮肤上两个球的位置,我们能够控制小车的运动并实现精确的轨迹控制(图6、视频1)。


图6 磁性皮肤智能小车控制

视频1


综上,该论文报道了一种在二维方向上可以进行超分辨感知的磁性皮肤,可以在484cm2的面积上实现连续多点多尺度感知,受益于多方向充磁排布的磁膜,四十八维度的磁场变化信号以及机器学习方法,超分辨率感知系数可以达到45.8,利用高维磁场信号,超分辨率传感的平均误差可以降低到1.2 mm。所提出的设计方法可以在未来进一步应用于机器人大面积触觉传感皮肤,使机器人能够感知大表面积的触觉信息,并允许可靠和安全的人机交互。


该工作是团队近期关于磁性功能器件设计与成形制造相关研究的最新进展之一,得到了国家自然科学基金、国家重点研发计划、浙江省自然科学基金等项目的大力支持。


近年来,磁功能器件因其响应快、无线传输的特性受到了广泛关注,团队采用折纸工艺制备了柔性磁驱动功能器件(Nano Energy, 2021, 89, 106424.),实现了二维结构向三维结构的形态转变以及单功能向多功能的驱动转变。随后,团队利用磁化设计方法结合空间磁场分布建模,制备了大面积柔性触觉功能器件(ACS Nano, 2022, 16 (11), 19271-19280.),依靠单磁传感器实现了大面积力-位置感知;团队还从理论上证明了一种全新的三维解耦磁化结构设计,并以此为基础开发了三维力解耦触觉感知功能器件(Adv. Mater.,2023, 36 (11), 2310145)。团队在磁场辅助增材制造磁功能器件方面的工作(Adv. Funct. Mater., 2021, 31 (34), 2102777、Mater. Design, 2023, 112588.)也为后续高性能磁功能器件的形性一体化制造奠定了良好基础。


研究团队

课题组网站

https://person.zju.edu.cn/pengzhao

论文信息

发布期刊 npj Flexible Electronics

发布时间 2024年7月18日

文章标题 Large-area Magnetic Skin for Multi-point and Multi-scale Tactile Sensing with Super-resolution

(https://doi.org/10.1038/s41528-024-00325-z)


研究团队 | 作者

高分子科技 | 来源

如果你是投资人、创业团队成员或科研工作者,对果壳硬科技组织的闭门会或其它科创服务活动感兴趣,欢迎扫描下方二维码,或在微信公众号后台回复“企业微信”添加我们的活动服务助手,我们将通过该渠道组织活动——

果壳硬科技
果壳旗下硬科技服务品牌,致力于连接科学家与投资人、创业者,解读科技,剖析产业,高效推动科研与产业融合。
 最新文章