张笑钦,黄自玮,郑晶晶等 | DcnnGrasp:采用自适应学习方式的抓取手势识别

文摘   科技   2024-12-19 12:01   北京  
研究团队

张笑钦,黄自玮:温州大学

郑晶晶,王硕,姜贤塔:加拿大纽芬兰纪念大学


文章下载
Xiaoqin ZHANG, Ziwei HUANG, Jingjing ZHENG, Shuo WANG & Xianta JIANGDcnnGrasp: towards accurate grasp pattern recognition with adaptive regularizer learning. Sci China Inf Sci, 2024, 67(12): 229102, doi:10.1007/s11432-022-4237-4


研究意义

在抓取手势识别工作中,智能假肢通常凭借带抓取物体图像做出抓取手势识别,进而驱动智能假肢以该手势抓取物体。在这种情况下,物体图像在输入模型前会采取图像缩放的方式,以符合模型输入要求,进而导致图像实际尺寸信息扭曲,模型难以做出正确判断。

本文工作

为解决上述问题,本文提出了一个双分支网络结构DcnnGrasp、自适应联合交叉熵损失函数JCEAR以及基于块坐标下降算法的训练策略BCDTS。首先,DcnnGrasp包含了物体类别分类以及抓取手势识别,通过物体类别分类提取到的特征图以增强抓取手势识别性能。其次,在训练过程中,采用自适应联合交叉熵损失函数JCEAR将两个任务训练协调。最后,采用基于块坐标下降算法的训练策略BCDTS,进一步平衡两个任务的学习,从而使得DcnnGrasp在物体分类任务与抓取手势识别任务上都表现出优秀的性能。

本文的创新点如下:
(1) 提出双分支网络结构DcnnGrasp,利用物体分类特征图以增强抓取手势识别性能。
(2) 提出自适应联合交叉熵损失函数JCEAR,使模型训练中两个分支任务能够相互促进。
(3) 提出基于块坐标下降算法的训练策略BCDTS,采取该训练策略能够使DcnnGrasp在两个分支任务上均取得优秀性能。

图1 DcnnGrasp模型结构

实验结果

本文采用RGB-D Object dataset、Hit-GPRec dataset、Amsterdam library of object images dataset(ALOI)、COIL-100 dataset以及MeganePro dataset 1进行测试,并且采用了三种采样方式对模型以及自适应学习策略进行评估。第一种采样方式为数据集内交叉验证(Within-whole dataset cross-validation,WWC),第二种采样方式为对象间交叉验证(Between-object cross-validation,BOC),第三种采样方式为基于物体类别的采样方式(Object category-based sampling)。

实验包括:

1. 对比实验:采用不同的采样方式在多个数据集上对模型进行测试,并与其他优秀模型进行比较。

2. 消融实验:对提出的双分支模型结构、自适应联合交叉熵损失函数JCEAR以及基于块坐标下降算法的训练策略BCDTS有效性进行分析。

3. 验证收敛实验:对模型训练收敛性进行验证。


中国科学信息科学
《中国科学:信息科学》及其英文版《Science China Information Sciences》的宣传平台。
 最新文章