【最新成果】基于点云时空特征的超宽带雷达轻量化人体行为识别方法（视频）

学术 2024-10-15 10:02 北京

点击蓝色“雷达学报”关注

关键词: 超宽带雷达 / 行为识别 / 点云 / PointNet++ / Transformer

背景介绍

低频超宽带雷达因其良好穿透性和分辨率，在人体行为识别领域具有显著的优势。随着科技的不断进步，人体行为识别已被广泛运用于视频监控、人机交互、虚拟现实、健康监测以及体育分析等领域。人体行为识别旨在通过分析视频或传感器数据来对人类的行为进行自动检测和分类。近年来，随着深度学习技术的飞速发展，基于深度学习的人体行为识别的准确性和效率得到了有效提升。

图 1 UWB-PointTransformer网络结构图

行为识别作为一种与时序相关的任务，涉及从时间序列中分析和识别人类的行为模式。这个过程通常包括对一系列连续图像帧进行处理和分析，以识别图像序列中的特定行为。因此，在分析人体的行为时，往往需要分析目标的空间特征和时间特征。

团队工作

近年来，长沙理工大学宋永坤团队和国防科技大学金添团队对基于超宽带雷达实现人体行为识别、姿态重构等开展了深入研究。

在基于超宽带雷达实现人体行为识别方面，针对现有的动作识别算法运算量大，网络参数多的问题，该文提出了一种基于时空点云的高效且轻量的超宽带雷达人体行为识别方法。首先通过UWB雷达采集人体的四维运动数据，然后采用离散采样的方法将雷达图像转换为点云表示，由于人体行为识别属于时间序列上的分类问题，该工作结合Pointnet++网络与Transformer网络提出了一种轻量化的时空网络，通过提取并分析四维点云的时空特征，实现了对人体行为的端到端识别。

该工作已发表在《雷达学报》网络优先出版的论文“基于点云时空特征的超宽带雷达轻量化人体行为识别方法”（宋永坤，晏天兴，张可，刘显，戴永鹏，金添）。

论文介绍

该文所提出的基于点云的轻量化人体行为识别方法主要包括轻量化的四维雷达点云数据的构建以及轻量化网络模型的构建，结合实际应用对数据以及网络的构建进行实验分析。

该文首先对超宽带雷达回波进行处理，使用“体”“面”“点”的方式将雷达回波构造成人体四维雷达点云模型，其中体的构建主要通过对雷达回波进行动目标检测处理滤除静止杂波，接下来采用先大范围粗略二维成像再小范围精细成像的方法获取人体目标的三维雷达图像，然后对每一帧三维雷达图像进行归一化处理并融入时间序列维度，构建了四维人体行为序列。接下来对归一化的三维雷达图像进行固定阈值检测，使用三维MarchingCube算法进行等值面的绘制。最后使用最远点采样法从每帧等值面中采集点形成三维点云，并联立时间信息构造四维人体点云模型。

图 2 人体雷达点云模型的生成流程

针对四维人体点云模型，该文提出了一种用于处理四维雷达点云数据的UWB-PointTransformer网络，首先采用Point++网络提取单帧点云数据的空间特征，然后采用Transformer网络提取点云序列的时序特征。

图 3 四维雷达点云特征提取网络

在进行实验的过程中，根据不同点云数目所构建的点云数据集进行了多阈值融合实验，进一步提高了模型的识别率。

图 4 不同的训练集随训练轮数变化的识别率变化图

所提方法对十类人类常见的动作识别率都达到了90%以上，可以有效地区分人体行为。

图 5 10类动作的混淆矩阵

相对于其他几类使用2D CNN和3D CNN方法，本研究在保持更低的网络参数量和运算量的基础上在不同的场景上均实现了更加精准地识别。

图 6 不同模型的性能对比和在不同场景下的识别率

不同方法的t-SNE嵌入特征可视化结果表明，UWB-PointTransformer网络具有更好的特征提取和分类能力。

图 7 t-SNE特征嵌入可视化

在实测验证中，使用雷达采集人体行为信息，将其进行处理成点云后，分析网络对不同动作的预测概率，网络在各类动作的预测中表现出高度的识别准确性，表明该网络在处理复杂行为识别任务时具有较优的性能。