在汽车技术领域，免提后备箱操作系统已成为便捷性和功能性的基石，但这些系统主要依赖于超声波和基于摄像头的传感器，在雨、雪、雾等恶劣天气条件下会失效，并且检测范围短，容易因无意移动而产生误报。为了解决这些限制，本文提出了一种利用 60 GHz 调频连续波雷达传感器的创新解决方案。该系统在各种天气条件下都具有弹性，并且具有强大的脚踢动作检测机制。通过采用二维快速傅立叶变换进行距离和速度分析，采用天线阵列系统进行方位角提取，我们的雷达传感器可以有效辨别脚踢动作。数据经过处理后，通过控制器局域网（CAN）灵活数据速率通信传输到深度学习分类器。经过准确度测试，该分类器成功识别了有效的脚踢动作，准确率高达 99.75%。我们的研究结果表明，智能后备箱系统传感器技术取得了重大进步，为更可靠、高效的免提汽车操作铺平了道路。
1、概述
脚踢动作识别领域的最新进展对汽车行业产生了重大影响。超声波[1]、摄像头视觉[2]和雷达[3]等传感器正越来越多地被用于此目的。这些技术使驾驶员无需身体接触即可控制各种汽车功能，例如调节音乐音量或接听电话。此外，脚踢动作识别对于自动打开和关闭车门和后备箱至关重要。该领域的一个显著应用是智能后备箱开启器 (STO) 系统，只要用户有智能钥匙，它就可以免提操作汽车后备箱。传统的 STO 系统主要依靠超声波传感器[4]，然而，这些传感器的检测范围较短，并且在某些情况下容易出现误报，例如大雨或车辆附近有移动的动物。为了缓解这些问题，人们探索了摄像头视觉和超声波传感器的组合[5]。超声波传感器可以检测到用户的接近，而摄像头传感器可以对人体动作进行分类。这种融合提高了准确性，但在恶劣天气条件下仍面临挑战。
雷达传感器能适应各种天气条件，已成为 STO 系统中脚踢动作识别的强大解决方案。具体而言，有一项研究利用 24 GHz 多普勒雷达识别和分类 STO 系统中的有效脚踢动作[6]。在该方法中，通过在每个帧时间累积多普勒检测结果创建的二维 (2D) 多普勒频谱图被输入到二元分类器中，该分类器基于隐马尔可夫模型，用于识别用户的有效脚踢动作。这样的处理使用户能够识别有效的脚踢动作，但由于帧时间为 200 毫秒，特征提取的帧数为 30 帧，总共需要 6 秒，导致打开和关闭汽车后备箱的响应时间更长。此外，由于未获得距离和角度信息，可能会导致误报，从而触发超出预定义有效脚踢的额外动作。此外，一项相似的研究采用 24 GHz 多普勒雷达进行足部动作识别，将短时傅里叶变换频谱图转换为图像格式，用于深度学习分类[7]。此过程需要大量计算资源，包括快速傅里叶变换 (FFT) 等传统雷达信号处理步骤，所有这些步骤都在本地个人计算机 (PC) 环境中执行，这种计算需求凸显了雷达脚踢动作识别系统需要更高效的处理技术。
在本研究中，我们引入了60 GHz调频连续波 (FMCW) 雷达传感器，旨在获取目标的速度和位置信息（即距离和角度），这对于识别和分类有效的脚踢动作至关重要。利用毫米波段，我们的系统实现了紧凑的外形尺寸并支持更宽的带宽，从而提高了距离分辨率，从而提高了脚踢动作检测的准确性。专门设计的阵列天线系统有助于精确的角度估计，这对于准确的位置信息至关重要。这些功能结合起来，可以检测各种脚踢动作，使其适合智能后备箱操作应用。此外，在本研究中，雷达信号处理链（包括模数转换器 (ADC)、FFT 以及距离、速度和角度的估计）在我们定制设计的印刷电路板 (PCB) 中嵌入的射频集成电路和微控制器单元上执行。处理后的雷达数据存储在阵列数据缓冲区中，然后通过控制器局域网络灵活数据速率 (CAN-FD) 通信将其传送到外部设备，例如本地 PC 或车辆的控制器局域网络系统。这种数据传输对于我们用来识别有效脚踢动作的深度学习分类器至关重要。
本文的其余部分安排如下：第二部分介绍本研究开发的 60 GHz FMCW 雷达传感器，本节介绍雷达的规格和用于将 FFT 结果中的峰值数据转换为点云信息的信号处理方法。第三部分概述了从雷达传感器提取脚踢数据的算法。此外，在本节中，我们描述了从车辆后保险杠收集脚踢数据的实验设置。在第四部分和第五部分中，我们介绍了实验方法并讨论了为分类有效脚踢动作而开发的二元分类器及其准确性结果。本文以第六部分作为结尾，总结了主要发现和贡献。
2、用于脚踢动作识别的雷达传感器
在本研究中，我们开发了一种工作在中心频率为 60 GHz 的 FMCW 雷达系统，专为脚踢动作检测而设计。该系统采用 BGT60ATR24C 芯片组[8]，工作频率范围为 58 GHz 至 62 GHz。我们的雷达传感器的中心频率为 60 GHz，带宽为 3 GHz。众所周知，带宽更宽的雷达传感器能够以更高的距离分辨率检测物体[9]。实际上，雷达系统可以用更多的雷达数据点来检测一个物体。
图1：雷达系统的 PCB：（a）正面，（b）背面，（c）背面顶视图，（d）带雷达罩的外壳
如图1（a）所示，该系统包括一个设计在 PCB 上的贴片天线阵列，由 2 个发射天线元件和 4 个接收天线元件组成。该系统的波长为 5 mm，可实现紧凑的贴片天线设计。图 1（b）显示了组装后的 PCB 的尺寸，长 55 mm，宽 45 mm，高 10 mm。图 1(c)为雷达系统后部的顶视图，包括输出引脚连接器。两个输出引脚用于通过 CAN-FD 通信将检测到的目标距离、速度和方位角信息传输到外部设备。图 1(d)显示了组装好的 PCB 安装在外壳内，配有天线罩，尺寸为 63 毫米 x 53 毫米 x 19 毫米。
表1：雷达系统参数
我们的 FMCW 雷达系统的操作参数详见表1。在单个帧内，系统从发射天线发射 32 个雷达啁啾信号，每帧包括啁啾信号的发射时间和接收信号的雷达信号处理时间，总帧持续时间为 50ms。系统在每个接收天线单元的 64 个点对每个啁啾信号进行采样。雷达传感器的最大可检测距离和速度为 1.6m，± 5.2m/s。该距离足以检测旨在打开或关闭智能后备箱的脚踢动作，从而通过允许从相对较远的距离进行检测来提高用户便利性。此外，最大检测速度可适应各种脚踢速度。雷达传感器具有60度FOV，可计算目标的方位角，并将该数据存储在逐帧数据缓冲区中，可将其用作有效脚踢动作分类的特征。
A. 距离和速度估计
FMCW 雷达信号通过发射天线以线性调制频率发射，并从目标反射。由于传感器与目标之间的距离以及目标相对速度引起的多普勒频移，接收信号具有时间延迟。接收信号与发射信号混频，通过低通滤波器，并转换为基带信号。该基带信号（也称为拍频信号）在 ADC 中进行时间采样。然后，将采样的拍频信号传输到数字信号处理器单元。
图2：FMCW 雷达系统中的雷达信号处理：(a) 时频域上的发送和接收信号和 (b) 重新排列的时间采样啁啾信号，以及 (c) 2D FFT 矩阵
图 2 (a) 显示了发射的线性调频信号和相应的接收信号，它们在四个接收通道中的每一个上以时频域表示。图中，Tsweep 表示信号频率线性调制的扫描时间。此外，Tc 表示从一个线性调频信号到下一个线性调频信号的时间间隔，这与速度分辨率性能有关 [10]。在一帧中，传输Nc个chirp信号，对于每个chirp，在ADC中采样Ns个点。得到的采样拍频信号可以表示为:
其中，m 是目标的索引，n 是样本的索引 [11]。此外，μ 是调频速率，表示带宽 B 与调频扫描时间 Tsweep 的比率。在 (1) 中，TR 是时间延迟，可以描述为:
其中, l 是 chirp 信号的索引。然后，可以将时间采样信号重新排列为大小为 Nc×Ns 的矩阵，如图 2(b) 所示。然后，对该矩阵应用 2D FFT，结果将样本维度转换为距离维度，将 chirp 维度转换为多普勒维度，如图 2(c) 所示。
图3：对所有通道的 2D FFT结果的绝对值求和，并基于 CFAR 进行峰值检测
然后，如图 3 所示，将所有通道的 2D FFT 矩阵结果的绝对值相加，以增强峰值信号的信噪比。此外，采用恒虚警率 (CFAR) 算法检测 2D FFT 结果的峰值指标 [12]。沿距离维度应用有序统计 (OS) CFAR，沿多普勒维度应用单元平均 (CA) CFAR。随后，从检测到的峰值指标 Ri 和 Dj 获得距离和速度信息，计算方法如下：
在 (3) 中，ΔR 和 ΔV 分别为距离分辨率和速度分辨率，其公式如下：
根据检测到的峰值索引的多普勒索引，速度值可以是正值或负值。正速度表示远离雷达传感器的运动，而负速度表示接近雷达的目标运动。正值的范围是从 0 到 Nc/2−1 索引，负值的范围是从 Nc/2 到 Nc - 1 索引。间隔速度值可以通过将线性调频脉冲数 Nc 乘以速度分辨率 ∆V 来确定。然后可以将负速度估算为 （Dj −Nc）*∆V。
B.方位角估计
如图 3 所示，每个接收天线单元中检测到的峰值指标 Ri 和 Dj 具有同一目标的距离和速度信息。此外，从每个天线通道的 2D FFT 结果中获得的相同峰值指标包括同一目标的入射角信息。通常，可以使用传统波束形成器（即 Bartlett 波束形成器）[13]、多重信号分类 [14] 或 Capon 波束形成器 [15] 来估计角度信息。在我们的研究中，我们选择了传统波束形成器，因为它的计算和资源要求较低，波束形成器估计角功率谱最大化时的入射角。
然后，图 4 显示了我们设计的均匀阵列的配置，角功率谱可以通过以下公式计算：
在（5）中，S是大小为M×N的方向矢量的复共轭，其中M是预定义的方位角的数量(i.e.,
3、脚踢数据采集
在第二节中，我们从 2D FFT 结果中提取峰值索引信息，并将其转换为包含距离、速度和方位角信息的雷达点云。由于不仅提取了速度，而且还提取了距离和角度信息，因此可以将诸如“直踢和划踢”和“扫踢”之类的各种脚踢动作指定为有效动作。在本文中，我们特别将“直踢和划踢”指定为有效的脚踢动作。由于雷达传感器具有相对较高的距离分辨率，因此可以获得关于一个目标的更多点。
在传感器视场内，传感器检测到的多个点中功率最高的雷达点通过算法存储在阵列数据缓冲区中。总共收集了 25 帧，相当于 1.25 秒的脚踢动作数据。
A、脚踢数据采集算法
图5：脚踢数据采集流程图
采集脚踢动作的算法如图5所示。在初始化阶段，三个数据缓冲区数组中的每一个都被初始化，其中包含距离、速度和方位角信息。在此阶段，帧计数也被重置。靠近雷达传感器的运动的速度小于 0，而相反，远离雷达运动的速度大于 0。候选运动是靠近雷达传感器并具有最小速度条件的运动，如果存在候选点，则将检测到的雷达点信息存储在三个缓冲区中的每一个中，并且帧计数开始增加。
通过将检测到的距离结果与距离缓冲区中最近存储的值进行比较来确定靠近或远离雷达的附加运动。如果检测到的距离结果小于距离缓冲区中存储的值，则认为运动靠近雷达。相反，如果检测到的距离结果大于距离缓冲器中存储的值，则认为是运动远离雷达。在这两种情况下，都满足最小速度条件。在存在额外运动的情况下，无论是靠近或远离雷达传感器，还是开始远离雷达的运动，检测到的位置（即距离和方位角）和速度信息都存储在每个数据缓冲区阵列中。该算法一直持续到帧计数达到最后一帧（即第 25 帧）。
B、脚踢数据采集设置
收集踢脚数据集的整体系统和设置如下图 6 所示。
图6：用于收集脚踢数据集的系统和设置：(a) 雷达系统框图和 (b) 实验设置
雷达传感器安装在车辆中央后保险杠上，安装角度约为 40 度，距离地面约 20-25 厘米 。该数据集记录了三个不同的人执行脚踢动作的情况。收集一个数据集总共需要 25 帧，持续 1.25 秒。通过为每个人执行 25 次有效的脚踢动作，总共记录了 100 个数据集。无效的脚踢动作包括“扫踢”、“向前直走”、“抬起膝盖”、“踢完后按住”等动作，总共有130个样本数据集。100 个有效脚踢数据集和 130 个无效脚踢数据集通过 CAN-FD 通信传输到 PC，并用作深度学习分类器的输入。
4、数据分析方法
A. 数据集概述和特征
该数据集源自 FMCW 雷达数据，采用二分类结构。它包括 100 个被标注为真标签的有效脚踢样本和 130 个被标注为假标签的无效脚踢样本。数据集中的每个样本都具有三个主要特征：距离、速度和方位角，分别以m、m/s和°为单位测量。为了标准化数据实例中的输入大小，采用了零填充技术，保持 32 个条目的一致序列长度。
B、数据模式分析
如图7所示，我们的分析确定了真假标签脚踢动作数据中的不同模式。真标签实例在距离数据中显示“V 形”模式，表明受试者的脚和雷达之间存在双相距离波动。这些实例的速度数据通常显示减速后加速的模式。相比之下，假标签样本通常显示较小幅度的速度，主要在零左右。此外，方位角数据虽然最初不明确，但在详细检查后会显示出系统性变化，特别是在假样本中，较大的方位角变化与传感器前方的扫动动作有关。
C、数据处理
我们通过向现有数据实例引入高斯噪声（例如，标准差：0.01）来实现数据增强策略，从而将数据集扩展为包含 1000 个真标记样本和 1000 个假标记样本。这种方法有两个目的：它通过真实的变化丰富了数据集，并且显着降低了过度拟合的风险。这种增强增强了模型对不同数据场景的暴露，从而提高了其泛化能力和鲁棒性。最后，通过减去每个特征的平均值并除以标准差来标准化数据，以促进训练过程。
5、模型开发和性能
A、提出的神经网络模型架构
图8 :用于二元分类的 1D CNN 模型架构
考虑到脚踢动作特征的时间关系，提出了一种用于二分类的轻量级一维 (1D) 卷积神经网络 (CNN)，如图 8 所示。该架构包含两个专用于特征提取的卷积层,这些层由两个最大池化层增强，旨在降低维数。该模型包含两个完全连接的层，负责分类任务。每个卷积层的内核大小为 3，stride和padding都设置为 1。所采用的激活函数是卷积层中的整流线性单元和输出层中的sigmoid函数, 该模型可容纳多维输入，能够处理三通道数据，并设计用于处理 32 个单位的可变序列长度。所提出的模型非常紧凑，只有 5.34k 个参数，导致计算复杂度低至每秒 70.08k 次浮点运算。
A、训练和结果验证
训练该模型的主要目标是最小化二元交叉熵损失，这是通过使用均方根传播优化器来实现的。训练参数设置为30个epochs,，batch大小为16，利用由1000个真样本和1000个假样本组成的平衡数据集。尽管增加了数据集以丰富样本多样性，但数据量仍然有限。因此，k-fold交叉验证被实现为一种稳健的模型评估方法，如图9所示。
图9 ：使用 k-fold 交叉验证对 CNN 模型的训练和验证误差进行比较
数据集被分成五个相等的折叠，并且五重交叉验证显示了有效和稳健的训练，在不同的训练和验证集上表现出低的方差。该模型的训练正确率为100%，验证正确率为99.75%。在验证中观察到的一个例外主要是在短距离、快速脚踢动作时的假阴性，被认为是异常值。
6、结论
在本文中，我们介绍了一款 60GHz FMCW雷达传感器，旨在估计脚踢动作的距离、速度和方位角信息，并结合了一种将每帧数据存储在缓冲区中的算法。我们的系统旨在检测和分类车辆后备箱操作的有效脚踢动作，其性能显着优于最先进的系统。值得注意的是，我们将帧时间从200毫秒减少到50毫秒，从而提高了脚踢动作识别速度。此外，整个雷达信号处理系统集成在PCB上，有助于系统的轻量化设计。在车辆后部进行的现场测试验证了我们系统的实际应用。通过一维CNN模型处理的数据对脚踢动作的有效性进行分类。令人印象深刻的是，我们的二元分类器的验证准确率达到了 99.75%。
评价：只进行了静态的验证，没有进行动态的数据采集验证。比如汽车形势过程中遇到坑洼（行驶过程中不触发即可），以及倒车时遇到道路边沿和石头（倒车不触发即可），或者有动物躲在下方（锁车后不触发即可）。
原文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10549343
