(四十八)高分辨率4D成像汽车雷达系统中车辆移动方向和尺寸的估计

科技   2024-10-27 18:50   江苏  

点击下方卡片,关注“调皮连续波
一起学习和科普雷达技术!
【正文】
编辑|雷达小助理  审核|调皮哥 

每周学术论文,阅读习惯养成!这是《毫米波雷达 | 论文品读专栏》的第48篇文章,全文0.8W字,专栏合集已达46.4W字。每期的论文原文在文末给出查看方式,便于读者查找阅读。
专栏合集部分历史文章:
(四十六)使用60GHz毫米波雷达实现虚拟键盘
  (四十七) 使用连续波生物雷达系统进行远程情绪识别
摘要
本文提出了基于高分辨率汽车雷达传感器探测到的点云数据估计目标车辆移动方向和大小的方法。
先前使用汽车雷达传感器的研究提出了粗略估计车辆移动方向的方法,例如左转、直行或右转,本研究提出了不仅估计具体移动方向而且估计车辆大致大小的方法。
首先,我们使用高分辨率调频连续波雷达获取以各种角度移动的车辆的点云数据。在点云数据中,雷达信号从车辆侧面强烈反射并被检测为线段。所提出的移动方向和大小估计方法基于从霍夫变换 (HT) 中提取的线段。为了从点云数据中提取线段,使用了霍夫变换。利用提取的线段,提出了估计车辆移动方向和大小的方法。
然后,使用快速凸包算法(quick hull algorithm)估计车辆的中心点以匹配目标在坐标系中的位置。
最后,本文方法估算的车辆方向、宽度和长度的平均误差分别为 1.94%、4.32% 和 6.32%。此外,与传统的基于主成分分析 (PCA) 的方法相比,本文方法在估计精度方面表现出色。此外,即使在多车场景和嘈杂的道路环境中,我们也验证了所提方法的有效性
I、概述
主要用于车辆目标识别的汽车传感器包括摄像头、激光雷达和雷达。在这些传感器中,雷达传感器具有检测距离更长、对环境变化具有鲁棒性等优点[1]。
一般来说,汽车雷达系统使用调频连续波 (FMCW) 来估计目标的相对距离和速度 [2]。传统的汽车FMCW雷达系统使用数百MHz的带宽,因此距离分辨率仅限于数十厘米。 
然而,最近,分配给汽车雷达的频段已扩展到使用几GHz的带宽,这使得距离分辨率可以达到10厘米或更小。此外,随着多个发射和接收天线阵元(即多输入多输出(MIMO)天线系统)[3]应用于汽车雷达系统,可以实现高角分辨率[4]。 
这些汽车 MIMO FMCW 雷达系统广泛用于对检测到的目标进行分类和识别驾驶环境 [5]、[6]。由于距离和角分辨率的提高,最新的高分辨率汽车雷达系统可以将目标检测为由多个点组成的点云。通过基于点云的目标检测提高了汽车雷达系统的性能, 传统的低分辨率汽车雷达系统获得的点数不足以估计目标的形状,但高分辨率雷达系统可以更有效地估计目标的形状和大小。例如,高分辨率雷达系统检测到的点数根据目标类型的不同而变化很大,从而更容易识别目标[7]。 
此外,天线阵元在垂直方向上的布置使得可以估计目标的高度信息[8]、[9],这些进步使得估计目标车辆的尺寸成为可能。
许多关于基于点云的目标检测的研究已经在激光雷达传感器中进行了[10]、[11]、[12]。然而,由于雷达传感器最近才发展到高分辨率,因此目前正在进行雷达传感器中基于点云的目标分类的研究。一般来说,雷达传感器的性能比激光雷达传感器低,并且生成的点数量有限,因此很难应用激光雷达传感器使用的方法[13]。此外,就激光雷达而言,由于在极端环境下性能下降严重,雷达和激光雷达传感器必须互补使用[14]、[15]、[16]
此外,在传统的雷达系统中,通常应用基于随时间累积的检测结果的跟踪方法来查找车辆移动的方向[17]。然而,在基于点云的目标检测中,即使利用瞬时检测结果也可以估计目标的移动方向。例如,点云的分布随着目标的移动而变化[18],从中我们可以估计目标的运动。 
最近,文献[19]和[20]提出了一种通过将深度学习技术应用于雷达传感器数据来识别目标移动方向的方法。在文献[19]中,将卷积神经网络应用于距离平面上的雷达检测结果,以对左转、直行和右转进行分类。此外,在[20]中,“You Only Look Once(YOLO)”网络应用于来自高分辨率雷达系统的点云数据,以确定车辆运动的方向为左、直或右。 
然而,所有这些方法都只能将车辆运动的方向确定为预定方向之一(即,左、直、右)。因此,本研究提出了一种用具体数值估计车辆运动方向的方法,以及一种近似估计车辆尺寸的方法
首先,我们获取相对于我们的雷达系统(即自车雷达系统)以不同角度移动的车辆的雷达传感器数据。我们的雷达传感器分别使用 79 GHz 和 1.5 GHz 作为中心频率和带宽来传输 FMCW。此外,其天线系统由12个发射天线单元和16个接收天线单元组成。由于雷达系统的射程和角分辨率分别为10厘米和2°,因此以由数十个点组成的点云的形式检测到数米的车辆。然后,我们重点关注以下几点来找到车辆的移动方向和大小。 
一般来说,雷达信号沿车辆两侧强烈反射[21]、[22]。检查点云数据时,雷达信号被检测为沿车辆侧面的线段 因此,可以将线段的斜率视为车辆的移动方向。为了从点云数据中提取线段,使用霍夫变换(HT)[23]。HT是图像信号处理领域广泛使用的从图像中提取线段的方法。除了图像处理之外,HT 最近还用于雷达传感器数据处理。 例如,文献[24]中将HT应用于汽车雷达传感器数据以提取道路边缘。此外,在文献[25]中,HT被用来区分汽车雷达系统中的静止目标和移动目标。此外,文献[26] 中的作者使用 HT 来估计配备雷达的车辆的自我速度。 
在本文中,使用HT提取对应于车辆侧面的最主要直线。基于从HT中提取的线段,该方法可以估计目标车辆的移动方向、宽度和长度。例如,从HT提取的线段的斜率和自车雷达系统的角度,可以估计目标车辆的移动方向。此外,还可以根据点云数据中车辆移动方向上最远的两个点之间的距离来估计车辆的长度。车辆的宽度也可以根据垂直于提取的线段的方向上最远点之间的距离来估计。此外,需要估计车辆的中心点以匹配实际车辆在坐标系中的位置, 通过对使用快速凸包算法获得的凸包的顶点进行平均来确定车辆的中心点。通过将目标车辆的估计运动方向、宽度和长度与实际值进行比较,验证了该方法的性能。此外,与广泛用于寻找点云数据分布特征的主成分分析(PCA)方法[27]进行了比较,评估了所提出方法的性能。
快速凸包算法:https://www.educative.io/answers/what-is-the-quick-hull-algorithm
综上所述,本研究的主要贡献可概括如下:
• 通过将HT 应用于点云数据,提出了估计车辆瞬时移动方向、宽度和长度的有效方法。为此,提出了一种快速找到点云数据的精确中心以及该中心与自雷达系统形成的角度的方法。估计中心点的方法使用通过应用凸包算法获得的顶点。 
• 通过各种实验场景(包括多个目标场景)验证了所提出方法的估计性能,并与基于PCA 的方法估计的结果进行了比较。 
• 此外,所提出方法的估计性能在嘈杂的道路环境中得到了验证。 
• 与将车辆移动方向分类为预定方向之一的传统方法不同,所提出的方法确定车辆实际移动的具体方向。 
本文的其余部分组织如下。第II节介绍了 MIMO FMCW 雷达系统中目标检测和点云生成的基本原理。然后,在第III节中,我们描述了获取雷达传感器数据的实验环境,并介绍了基本的目标检测结果。接下来,第IV节提出了一种估计目标车辆的移动方向及其尺寸的方法,并在本节中评估了其性能。最后,我们在第V节中总结本文。
II、MIMO FMCW 雷达系统中的目标检测
A、使用 FMCW 估计距离和速度

图1:FMCW 波形

从我们的雷达系统发射的FMCW如图1所示。如图所示,每个周期Tp发射一系列Nc线性调频脉冲。对于每个线性调频脉冲,频率在线性调频脉冲持续时间 τ 期间从 fc 线性增加到 fc +β。目标的距离和相对速度分别表示为dk和vk,其中k(k=1,2,...,Nk)是目标索引。当从雷达发射的信号被第k个目标反射并返回到雷达时,由于距离dk而产生的时间延迟包含在接收到的信号中。此外,接收信号中还包含多普勒频移,可表示为

,其中 vc 表示光速。

图2:MIMO FMCW雷达系统结构

图2是表示雷达系统的整体结构的框图。雷达系统由波形发生器、压控振荡器 (VCO)、移相器、放大器、发射和接收天线阵元、混频器、低通滤波器 (LPF)、模数转换器 (ADC) 和数字信号组成 处理器(DSP)。最终,经过DSP处理后的采样基带信号可表示为:

其中,αk 是第 k 个目标产生的基带信号的幅度。此外,Ts 表示采样间隔,是采样频率 fs 的倒数。另外,c(c = 1, 2, ... , Nc)是与啁啾相对应的索引,s(s = 1, 2, ... , Ns)是第 c 个啁啾中每个时间样本的索引。式(1)中的采样基带信号可以表示为二维(2D)矩阵的形式,如图 3 所示。

图3:基于二维傅里叶变换的距离和速度估计

通过对矩阵应用 2D 傅里叶变换(FT),可以一次估计多个目标(即 dk 和 vk)的距离和速度信息 [28]。基带信号的 2D FT 结果可以表示为:

其中 p 和 q 是频域中的频率索引。为了从2D FT结果中提取与目标相对应的频率分量,通常对|X[p, q]|应用恒定虚警率[29]算法。

B、使用 MIMO 天线系统进行角度估计

1)用于角度估计的数据立方体生成:一般来说,角度分辨率与接收通道的数量成正比[30],并且通过MIMO天线系统可以在有限的设备尺寸下实现高角度分辨率。如果我们假设一个 MIMO 天线系统由 Nt 个发射天线单元和 Nr 个接收天线单元组成,则接收通道的数量实际上可以增加到最大值 Na = Nt × Nr [3]。另外,假设天线中心与第k个目标之间的夹角为θk,则(1)可以展开为:

其中,a (a = 1, 2, ..., Na)是对应于接收通道的索引,da表示与参考接收通道的天线间距。最后,在MIMO FMCW雷达系统中生成大小为Nc×Ns×Na的数据立方体,如图4所示

图4:在 MIMO FMCW 雷达系统中生成数据立方体


2)使用数字波束形成的角度估计:一般来说,目标的角度估计是基于图3中的距离和速度估计结果。假设频率索引对应于图中第k个目标的速度和距离, 2D FT 结果分别为 pk 和 qk。

图5:用于数据立方体中角度估计的信号矢量提取

在总共Na个接收通道中,仅从FT结果中采样pk和qk对应的值形成信号向量,如图5所示。因此,信号向量可以表示为:

其中, Xa 表示从第 a 个接收通道提取的 2D FT 结果。

在本文中,传统波束形成器(即Bartlett算法[31])是数字波束形成技术之一,用于角度估计。利用(4)式的信号向量生成Bartlett算法的相关矩阵,可表示为:

在(5)中,符号(·)^H表示埃尔米特算子,因此Rk成为大小为Na×Na的方阵。那么,传统波束形成器的伪谱可以表示为:

其中 a_a(θ) 表示考虑接收通道之间距离的转向矢量。最后,目标的角度由使(5)的值最大化的θ确定。此外,如果天线阵元垂直布置,则也可以以相同的方式提取仰角φk。

C.点云生成

通过第II-A和II-B节中描述的信号处理过程,可以估计目标的距离、速度、方位角和仰角信息。其中,点云生成所需的主要信息是距离和角度值。因此,最终利用dk、θk、φk生成的点云数据可以表示为:

在(7)中,定义了x轴和y轴方向,如图6所示。生成的点数由雷达系统的距离和角分辨率决定。

图6:使用距离和角度信息生成点云

III、 雷达信号测量与分析

A. 实验环境

在我们的实验中,我们使用了由 bitsensing 制作的 MIMO FMCW 雷达传感器 [32], 表 I 总结了雷达传感器的详细规格。

如表中所示,雷达传感器传输中心频率为 79 GHz、带宽为 1.5 GHz 的 FMCW。FMCW 的距离分辨率可以通过 vc /2β [33] 计算,结果为 10 cm。 

此外,线性调频的总数为 32,每个线性调频获得 1024 个时间样本。另外,信号传输周期为100ms,数据存储周期为1s。我们使用的雷达传感器具有垂直和水平排列的天线阵元,使我们能够在三维空间中表示检测到的目标。 

图7:实验环境图片

由于本研究的主要目标是估计车辆的尺寸而不是高度,因此所有检测到的点都投影到 xy 平面上进行表示。通过该雷达系统,我们在图7所示的环境中进行了实验。

雷达安装在距地面70厘米的高度,这是汽车雷达传感器通常安装的保险杠的高度。另外,实验中使用的代表车辆(即目标车辆)为雷诺三星汽车有限公司生产的SM3车型,车辆整体长宽高分别为4,510 mm、1,710 mm, 和 1,450 毫米。在该实验环境中,目标车辆相对于自雷达系统从左向右移动0°、30°、45°、60°和90°,如图8所示。

图8:实验场景:(a)A:0°,(b)B:30°,(c)C:45°,(d)D:60°,(e)E:90°。

这五个实验场景 被定义为实验场景 A 至 E。雷达传感器数据也是在目标车辆以相同角度沿相反方向移动的实验场景中收集的(即实验场景 F 至 J)。在实验中,目标车辆的速度在 5 km/h 至 15 km/h 之间变化。

B. 目标检测结果

如表1所示,雷达系统每秒存储点云数据,即前一秒的目标检测结果。此外,根据雷达检测到的速度信息,可以区分静止目标。 

图9:每个实验场景下目标车辆的检测结果:(从左到右)(a)A:0°,(b)B:30°,(c)C:45°,(d)D:60°,(  e) E: 90°, (f) F: 0°, (g) G: 30°, (h) H: 45°, (i) I: 60°, (j) J:  90°。

图9显示了10个实验场景去除静止目标后目标车辆的检测结果。由于雷达传感器的距离分辨率为10厘米,因此目标车辆被检测为由多个点组成的点云。此外,如图所示,雷达系统视线(LOS)中目标车辆的侧面被检测为更多点。换句话说,以线段的形式检测车辆的侧面,我们利用这种观察来估计车辆的移动方向和大小

IV、 建议的估计方法

在本节中,提出了一种估计目标车辆移动方向的方法。此外,本节还提出了一种估计目标车辆尺寸的方法。参见图10,估计目标的移动方向的问题与估计角度的问题直接相关。

图10:目标车辆和自我雷达系统之间的坐标系


A.目标车辆移动方向的估计

1) 估计Φ如图9所示,以线段的形式检测车辆与雷达之间LOS保证的一侧。 此外,由于电磁波的特性,即使在车辆的另一侧(不在目标车辆和自车雷达系统之间的视线范围内)也会发生强烈反射并检测到多个点[34],[35]  ]。 

如果可以从二维点云数据中提取线段的斜率,就可以估计车辆的移动方向。 因此,HT[23]用于检测点云数据中的线段。  HT是图像信号处理中广泛使用的一种提取图像中的线段的方法。 通过HT,xy平面上的直线变换为ρ-θ平面上的点,如图11所示。

图11:HT:xy 平面到 (ρ, θ) 平面

图中,ρ为距原点的垂直距离,θ为x与x之间的夹角。 x-axis 和直线的法向量。 

图12:将 HT 应用于每个实验场景中的点云数据

图12显示了将HT应用于图9中的点云数据的结果。图中,(ρ,θ)对应于HT域中的最大值,代表原始中最主要的线段 xy 平面。 

调皮连续波
做好雷达科普,与大家一起成长!
 最新文章