最新数据传输安全难点解决方案（上）

论文链接：《4D Millimeter-Wave Radar in Autonomous Driving: A Survey》

摘要

4D 毫米波 (mmWave) 雷达能够测量目标的距离、方位角、仰角和速度，引起了自动驾驶领域的极大兴趣。这归因于其在极端环境下的稳健性以及出色的速度和高度测量能力。
然而，尽管与其传感理论和应用相关的研究迅速发展，但对 4D 毫米波雷达主题的调查却明显缺乏。为了弥补这一差距并促进该领域的未来研究，论文对 4D 毫米波雷达在自动驾驶中的使用进行了全面调查。
首先回顾了4D毫米波雷达的理论背景和进展，包括信号处理流程、分辨率提高方法、外参标定过程和点云生成方法。然后介绍了自动驾驶感知、定位和建图任务中的相关数据集和应用算法。最后，论文对4D毫米波雷达领域的未来趋势进行了预测。

引言

自动驾驶技术正在快速发展，旨在提供安全、便捷、舒适的交通体验。要实现高水平自动驾驶，环境感知、定位、建图能力至关重要。因此，自动驾驶汽车上的传感器（例如摄像头、激光雷达和雷达）及其算法正引起越来越多的研究兴趣。
在各种传感器中，毫米波雷达凭借其体积小、成本低、全天候工作、测速能力和距离分辨率高等公认的优势，一直被广泛应用于自动驾驶领域。然而，传统毫米波雷达（也称为3D毫米波雷达）在测量目标仰角方面表现较差，其数据通常仅包括距离、方位角和速度信息。此外，3D 毫米波雷达还存在杂波、噪声和低分辨率的问题，特别是在角度维度上，这进一步限制了它们在复杂感知任务中的适用性。
MIMO 天线技术的最新进展提高了仰角分辨率，从而导致了 4D 毫米波雷达的出现。顾名思义，4D毫米波雷达可以测量四种类型的目标信息：距离、方位角、仰角和速度。
4D毫米波雷达不仅是毫米波雷达的改进版本，还引入了许多重要的研究课题。 4D毫米波雷达的原始数据量比传统雷达大得多，这给信号处理和数据生成带来了挑战，更不用说杂波和噪声了。现有信号处理流程中生成的4D毫米波雷达点云的稀疏性和噪声比LiDAR点云更严重，需要仔细设计考虑4D毫米波雷达固有特性的感知、定位和建图算法。

论文对自动驾驶中的 4D 毫米波雷达进行了全面回顾。主要贡献可概括如下：
1，首次针对自动驾驶中的 4D 毫米波雷达进行的调查；
2，鉴于4D毫米波雷达的独特性，专门介绍了其理论背景和信号处理流程；
3，对自动驾驶中的 4D 毫米波雷达应用算法进行了详尽的调查，涵盖感知、定位和建图方面的研究。

4D 毫米波雷达的背景

信号处理流程

在步骤 1 中，从发射 (TX) 天线发射毫米波。到达周围目标后，电波被反射到接收 (RX) 天线。大多数现有 4D 毫米波雷达的波形是调频连续波 (FMCW)，与其他波形相比，它具有卓越的分辨率。在 FMCW 雷达发射天线的每个工作周期（即啁啾）中，信号的频率随着起始频率 $fc$、带宽 $B$、频率斜率 $S$ 和持续时间 $T_c$ 线性增加。通过测量接收信号的频率，可以计算出目标的距离 $r$，如下：
$$r=\frac{ct}{2},t=\frac{\Delta f}{S},\text{\hspace{1em}(1)}$$

其中 $t$ 是发送和接收之间的时间间隔，$c$ 是光速，$\Delta f$ 是发送和接收信号之间的频率差。
同时，FMCW 雷达的一帧包含 $N_c$ 线性调频脉冲并具有持续时间 $T_f$。为了避免相邻线性调频之间的干扰，发射和接收信号被视为在一个线性调频内，因此 4D毫米波雷达的最大无模糊检测范围受到 $T_c$ 的限制 。以德州仪器的 AWR1843 为例，其 $T_c=0.33us$，因此其最大无模糊范围为 50m。
假设一帧内目标的距离恒定，则通过多普勒效应可以计算出目标的径向相对速度 $v$ 如下：
$$v=\frac{\Delta fc}{2f_c},\Delta f=\frac{\Delta \phi }{2\pi T_c},\text{\hspace{1em}(2)}$$

其中第一个方程是多普勒效应公式，$\Delta f$ 和 $\Delta \phi$ 分别是相邻两个线性调频的接收信号之间的频率和相位漂移。显然，距离和多普勒分辨率取决于$f_c、T_c、N_c$等。

为了估计目标的到达方向 (DOA)，毫米波 FMCW 雷达通常采用多输入多输出 (MIMO) 天线设计。 $n$ 个 TX 天线和 $m$ 个 RX 天线由 $n\times m$ 个虚拟 TX-RX 对组成。为了分离发射信号，不同的发射天线应该发射正交信号。通过比较不同 TX-RX 对之间的相位漂移，可以计算不同对到同一目标的距离差异。进一步考虑沿TX和RX天线的位置关系，可以获得目标的DOA。

每对信号在步骤 2 中由混频器混合，并在步骤 3 中由模数转换器 (ADC) 转换以获得原始 ADC 数据。需要注意的是，图中对矩阵的坐标分别表示一个chirp和一个帧内的样本时间戳，每个单元格中的值对应于反射强度。

然后，在步骤4，沿距离和多普勒维度进行2D快速傅里叶变换（FFT）以生成距离-多普勒图，其坐标为距离和速度。

随后出现了两种主流的信号处理流程。前一种方法是首先沿着不同的 TX-RX 对进行 FFT，以得出方位角和仰角信息（步骤 5a）。获取 4D 距离-方位角-仰角-多普勒张量，而对于 3D 毫米波雷达，结果是 3D 距离-方位角-多普勒张量。
在步骤 6a中，通常在四个维度上应用恒定虚警率（CFAR）算法，通过每个单元的强度来过滤张量，并为下游任务获取点云格式的真实目标。

相比之下，后者的信号处理流程首先使用 CFAR 算法过滤 RD 图以生成目标单元（步骤5b），然后在步骤6b采用数字波束形成（DBF）方法来恢复角度信息并生成雷达点云。

提高分辨率的方法

如上所述，4D毫米波雷达最关键的能力是测量目标的高程，这等于提高了高程分辨率。具体方法可分为硬件和软件层面如下：
硬件： 在硬件层面，增加 TX-RX 对的数量或天线的孔径是提高分辨率的两种主要方法，包括：
1.级联：简单地级联几个标准毫米波雷达芯片就可以增加TX-RX对，从而提高角分辨率。例如，通过级联四个标准3TX-4RX（12对）雷达芯片可以形成12TX-16RX（192对）4D毫米波雷达。这是最直接的方法，但尺寸和功耗也会增加。
2.芯片集成：在芯片上集成更多天线是另一种有前途的技术。它有取代级联的潜力，但天线之间的干扰仍然是一个未解决的问题。
3.超材料：由超材料构造的孔径可以在控制尺寸的同时显着提高角分辨率，但此类方法还不够成熟，无法广泛应用。

软件： 通过虚拟地实现硬件改进或沿处理流程优化信号处理算法，可以在软件层面提高雷达分辨率。
1.虚拟孔径成像：受传统合成孔径雷达（SAR）的启发，一些研究人员尝试通过软件设计虚拟地扩大天线的孔径，从而提高角分辨率。该方法对于角分辨率提升效果显着，但通常需要借助级联来降低噪声。
2.超分辨率：超分辨率可以通过用创新算法，甚至基于学习的算法取代信号处理流程中的FFT等传统方法来实现。但实际应用还需要更深入的研究。

外部校准

雷达点云比较稀疏，频谱数据不够直观。由于多径效应和杂波干扰，噪声也相当大，给校准带来了挑战。对于4D毫米波雷达，更高的分辨率缓解了这个问题，但仍然缺乏足够鲁棒的在线校准方法。
继3D毫米波雷达的传统校准方法之后，通常使用回归反射器来提高校准精度。通过在特定位置仔细放置几个后向反射器，分析 4D 毫米波雷达的传感结果，并将其与 LiDAR 和相机数据进行比较，可以校准外在参数 。 Domhof 等人没有连续校准每个传感器对。直接相对于移动机器人的身体校准所有传感器，并实现中值旋转误差仅为 0.02°。
然而，后向反射器在实际场景中的实用性有限。近年来，一些研究人员设计了不需要专门放置后向反射器的 4D 毫米波雷达校准方法。相反，雷达运动测量用于对雷达或雷达相机对进行校准。这些方法的便捷性得到了保证，但仍需要在极端天气条件下进行验证。

基于学习的雷达点云生成

4D 雷达点云稀疏的主要原因之一是 CFAR 造成的大量信息丢失。
为了解决这个问题，越来越多的基于学习的方法被提出来取代 CFAR，并直接与 RD 图或 4D 张量一起工作，以提高4D雷达点云的质量以及下游自动驾驶任务的性能，例如感知和识别本土化。相关工作以及下文将介绍的4D毫米波雷达的数据集、感知、定位和建图算法统一显示在下图的时间线上。

一般来说，如果 cells 是独立且同分布的，CFAR 是最佳的检测算法。然而，由于现实世界中的目标通常具有不同的形状并占据多个单元，CFAR类型的方法会导致掩蔽效应，降低点云的分辨率并遭受信息丢失。

布罗德斯基等人首先将 CNN 应用到 RD 地图上进行多个物体的检测和定位，称为 DRD（深度雷达检测）网络。他们将 RD 图中的目标检测制定为分割任务，并采用类似于 2D-U-Net 的模型结构。面对缺乏注释良好的数据集，特别是雷达 RD 图的数据集，他们参考雷达校准过程，在消声室中布置后向反射器来收集相应的数据，并将其映射回 RD 图作为标签。实验表明，DRD 网络可以实时运行（推理大约 20 毫秒），并且在检测精度方面优于经典方法。

然而，RD 地图的标记挑战仍然存在，因为消声室中收集的数据与现实世界驾驶场景中收集的数据不同，这在多路径反射、干扰、衰减等方面更具挑战性。[1] 使用LiDAR点云作为监督，先后设计了基于 U-Net 和 GAN 的网络结构，如下图。在复杂的道路场景中，与经典的CFAR检测器相比，[1] 生成的4D雷达点云不仅包含更少的杂波点，而且提供了更密集的真实目标点云。
在复杂的道路场景中，与经典的CFAR检测器相比，[1]生成的4D雷达点云不仅包含更少的杂波点，而且提供了更密集的真实目标点云。

数据集

公共数据集对于基于 4D 毫米波雷达的算法至关重要，因为它们提供了开发和比较不同算法并刺激相关研究的平台。论文整理了已发布的数据集。

公共 4D Radar 数据相当罕见，Astyx HiRes 2019 是第一个现有数据集 。免费提供的数据由 500 个同步帧（雷达、LiDAR、摄像机）组成，其中包含约 3,000 个精确注释的 3D 对象注释。可以看出，这个数据集中的数据量比较小。

ColoRadar 是一个致力于定位和地图研究的数据集，包含来自雷达、LiDAR 和位姿地面实况的大约 2 小时的数据 。它为雷达数据提供三个级别的处理：原始 ADC 数据、通过压缩 4D 雷达张量的多普勒维数得出的 3D 距离-方位角-仰角张量以及雷达点云。该数据集收集室内和室外几个独特环境中的数据，提供各种传感器数据。

VoD 数据集是用于多类 3D 目标检测的新型多传感器汽车数据集，由校准和同步的 LiDAR、摄像头和雷达数据组成。它包含在复杂的城市交通中获取的 8693 帧数据，其中包括移动和静态对象的 123106 个 3D 边界框注释以及每个注释对象的跟踪 ID，这对于跟踪很有用。类似地，Tj4DRadSet 数据集包含 44 个连续序列，总共 7757 个同步帧，使用 3D 边界框和轨迹 ID 进行了良好标记。此外，它涵盖了更丰富、更具挑战性的驾驶场景片段（例如城市道路、高速公路、工业园区）。

K-Radar 是目前最大的基于 4D 毫米波雷达的大规模数据集，收集了 35k 帧条件（例如晴天、雾天、雨天、雪天）。除了 4D 雷达数据外，K-Radar 还提供高分辨率 LiDAR 点云、来自四个立体摄像头的环绕 RGB 图像以及来自自我车辆的 RTK-GPS 和 IMU 数据。值得一提的是，Kradar是目前唯一提供 4D 雷达张量的数据集。为了方便对各种神经网络结构进行实验，K-radar还提供了可视化程序来模块化神经网络训练代码。

尽管4D毫米波雷达越来越受到学术界的关注，并且发布的数据集也越来越多，但与视觉或激光雷达相比，数据量仍然不够大。

感知应用

目前，4D毫米波雷达的点云密度已经达到与近光激光雷达相当的水平，并且4D毫米波雷达在低能见度和恶劣天气条件下表现出卓越的鲁棒性。因此，研究人员一直在尝试将LiDAR点云处理模型转移到4D毫米波雷达中，用于目标检测、场景流预测等任务。此外，预 CFAR 雷达数据包含更丰富的信息，促使一些研究人员直接使用 RD 地图或 4D 张量，绕过点云生成任务。
相关工作可进一步分为仅依赖4D雷达或依赖多模态传感器融合的工作。

仅 4D 雷达方法

大多数相关的仅 4D 雷达方法都源自基于 LiDAR 的方法。然而，由于毫米波雷达的稀疏性和噪声特性，仍然需要特定的网络设计。
1.3D检测： 对于3D物体检测任务，根据模型架构的差异，感知方法可以分为基于 CNN 和基于 Transformer。
[2] 首先将 PointPillars 应用于 4D 雷达点云，用于多类别道路使用者的 3D 检测。通过时间积分和引入附加特征（例如仰角和多普勒速度）可以提高性能。然而，所提出的方法的结果（mAP 47.0）仍然远不如 64beam LiDAR上的LiDAR探测器（mAP 62.1）。

RPFA-Net [3] 通过引入雷达支柱特征注意（PFA）模块取得了进展。它利用 self-attention 代替简化的 PointNet 从支柱中提取全局上下文特征，旨在有效捕获长距离信息并提高航向角估计精度。

作为集合算子，基于注意力的 Transformer 在处理这些具有排列不变性的点集方面具有先天的优越性。因此，为了应对 4D 毫米波雷达的稀疏和噪声数据， [4] 提出了一种基于多帧点云的 3D 目标检测框架。他们首先从点云中获取自我车辆速度和补偿速度信息，然后将附近的帧累积到最后一帧。

除了直接处理雷达点云上的感知任务外，一些研究将注意力转向了RD图或4D张量，旨在利用更多底层隐藏信息。 K-Radar数据集提出了一个3D目标检测基线，直接使用4D张量作为输入，并验证4D张量的高程信息对于3D物体检测至关重要。所提出的模型还证明了基于 4D 张量的感知的鲁棒性，特别是在恶劣的天气条件下。

2.场景流估计： 场景流估计旨在计算 3D 运动矢量场，该矢量场表示与 ego agent 相关的环境中静态和动态元素的运动。虽然一些研究传统上依赖于不同的传感方式（例如摄像机或激光雷达）来进行场景流估计，但也有一些方法利用 4D 毫米波雷达数据来完成此任务。
[5] 受现代自动驾驶车辆中共置传感冗余的启发，提出了一种通过跨模态学习进行基于 4D 雷达的场景流估计的新方法。这种冗余隐式地为雷达场景流估计提供了多种形式的监督线索，可以有效解决雷达点云标注的困难。具体来说，这项工作引入了针对跨模态学习问题的多任务模型架构。大量实验展示了该方法的最先进性能，并证明了跨模态监督学习在推断更准确的 4D 毫米波雷达场景流方面的有效性。

融合方法

考虑到4D毫米波雷达已经可以提供点云信息，有学者将其与摄像头或激光雷达融合进行目标检测，希望提高感知模型的准确性和鲁棒性。一般来说，不同模态的融合级别分为三个级别：数据级别、特征级别和决策级别。现有的研究主要集中在特征级融合。
至于4DRV（4D Radar and Vision）融合，4D毫米波雷达可以低成本提供高精度的深度和速度信息，弥补相机的缺点，从而提高3D检测的准确性。在最近的研究中，4D 毫米波雷达信号通常被转换为类似 2D 图像的特征，以便它们可以与摄像机图像一起实际部署。
代表性的有 Meyer 等人。 [6] 将基于[7] 的网络应用于4D毫米波雷达和相机的融合，该网络最初是为相机-LiDAR融合而开发的。为了弥补数据格式的差异，他们丢弃了多普勒信息，只保留了4D毫米波雷达点云的位置信息和反射强度。每帧的点云用于生成 BEV 图像，然后生成 3D 建议。令人惊讶的是，当使用雷达数据代替 LiDAR 时，融合网络的精度更高，在 Astyx 数据集上达到 61% AP 的平均精度。作者认为，原因可能是 LiDAR 传感器只有 16 个光束，但仍需要进一步研究。

Cui 等人进行了后续研究。 [8]新增了自监督模型适应块[9]，它根据对象属性动态地适应不同模态的融合。此外，前视图地图是根据雷达点云和 BEV 图像生成的。所提出的方法在 3D AP 中优于之前的研究 [6] 高达 9.5%。前视地图可以更好地利用4D毫米波雷达提供的高程信息，并且更容易与单目摄像头特征融合，在检测精度和计算效率之间取得平衡。

尽管 4DRV 融合具有上述优点，但面对剧烈的光照变化或恶劣的天气条件，基于视觉的分支可能仍然难以工作，这反过来又影响模型的整体性能。因此，[10]首先探讨了4DRL（4D雷达和LiDAR）与 InterFusion（一种基于交互的融合框架）融合的优势。他们设计了 InterRAL 模块（雷达和激光雷达的交互）并更新两种模式的支柱以增强特征表达。进行消融实验以证明其有效性。

在接下来的研究中，Wang 等人。 [11] 提出了 $M^2$-Fusion 网络，它集成了称为 IMMF 的基于交互的多模态融合方法和称为 CMSF 的基于中心的多尺度融合方法。使用 Astyx 数据集进行评估，它的性能显着优于主流的基于 LiDAR 的目标检测方法。由于LiDAR可以准确地检测近距离的目标，而4D毫米波雷达由于其穿透性而具有较远的检测范围，因此 4DRL 融合有可能成为一种低成本、高质量的可靠技术解决方案。

定位和绘图应用

在卫星定位信息不准确或无法获取高清地图的恶劣环境下，需要通过感知传感器进行定位和建图。一些相关研究是利用新兴的4D毫米波雷达进行的。由于雷达点云比张量轻得多，而激光雷达的研究只需稍加调整即可转移到雷达点云上，因此几乎没有针对雷达张量进行定位和建图的研究。

里程估计

雷达里程估计是定位的核心，也是SLAM的关键组成部分。 4D毫米波雷达的相关研究也不少。然而，由于雷达的稀疏性和噪声，里程计主要是借助惯性测量单元（IMU）生成的。
Doer 和 Trommer 使用无人机 (UAV) 对这个主题做出了大量贡献。
在[12]中，他们通过气压计估计无人机的高度，然后利用基于随机样本和一致性（RANSAC）的最小二乘法，利用雷达点云的多普勒信息来估计自我速度。 IMU 数据最终融合以构建基于扩展卡尔曼滤波器（EKF）的雷达惯性里程计。在此基础上，他们考虑了曼哈顿世界假设，该假设假设环境中的平面彼此正交，并达到与最先进的视觉惯性里程计相当的精度[13]。

然后，这一贡献扩展到多个雷达，并在视觉退化条件下显示出令人满意的性能，且计算资源需求很少。此外，他们还研究了4D毫米波雷达与视觉和热信息的融合，以进一步增强结果[14]。这些研究的唯一缺点是基于 EKF 的算法可能难以应对大规模环境，因为里程计漂移会增加。在大多数作品中，曼哈顿世界的假设可能会限制其在恶劣的户外环境中的适用性。

Michalczyk 等人也应用了 EKF 框架 [15]。他们不是直接将 IMU 与雷达点云估计的自我速度融合，而是在稀疏、嘈杂的雷达扫描中实现 3D 点匹配，以测量雷达扫描之间的位移。无人机3D轨迹的估计在总飞行距离结束时达到了3.32%的漂移。

还探讨了基于学习的雷达里程计估计。卢等人。 [16]分别通过CNN和RNN编码器提取雷达点云和IMU的特征。然后设计一个两阶段跨模式注意层来融合这些特征，并使用 RNN 来对长期动态进行建模。整个网络的输出是6自由度里程计，实现了0.8m的绝对轨迹误差（ATE）。在RGB相机或深度相机的帮助下，性能进一步提升。

重新定位

重定位依赖于高精度在线建图，在使用高清地图或检测 SLAM 中的环路闭合时具有重要意义。考虑到 4D 毫米波雷达点云的稀疏性和噪声，Cheng 等人。 [17] 利用多普勒速度去除移动物体，然后通过合并多个连续扫描来增强点云。受著名的 PointNet 的启发，采用基于多层感知 (MLP) 的网络将每个点的维度从 4 增加到 1024，以进行逐点特征提取。通过比较当前扫描和全局地图提取的特征，可以实现重定位。

SLAM

由于上述里程计和重定位对于 SLAM 是不可或缺的，因此 4D 毫米波雷达 SLAM 的研究最近才兴起。 [18]开发了基于迭代EKF的4D毫米波雷达点云的全过程SLAM。为了避免类似 RANSAC 的方法造成的稀疏性，他们通过迭代重加权最小二乘法进行自我速度估计。

每个雷达点的权重也反映了其动态，从而可以帮助去除移动物体。扫描和子图之间非常规的分布到分布匹配进一步减少了稀疏性的影响。效果如图所示。

Zhuge [18]应用位姿图构建了一个基于LiDAR SLAM方法的SLAM系统，称为hdl graph slam [19]。在烟雾和雨水的影响下进行了一些令人印象深刻的实验，以证明 4D 毫米波雷达在极端环境下的鲁棒性。

未来的趋势

4D毫米波雷达有可能给自动驾驶汽车带来深刻的变化。尽管如此，目前它还远未成熟。 4D毫米波雷达未来的发展趋势可能主要取决于以下几个方面。
1）点云增强： 作为最常用的数据格式，4D毫米波雷达点云与其他传感器相比质量明显较低。雷达的多径效应等特性严重影响点云的数据质量。此外，迫切需要改善信号处理流程中的信息损失，特别是用精确设计的基于学习的方法取代CFAR。还可以探索基于学习的 DOA 估计方法（而不是 DBF 方法）来进行超分辨率角度估计。
2）应用算法重新设计： 除了改进4D毫米波雷达点云外，信号处理后的应用算法是另一个不可忽视的问题。目前，4D毫米波雷达的许多应用算法都是由相应的激光雷达算法修改而来。 4D毫米波雷达的特点，如测速能力和极端环境下的自适应能力等，值得未来研究进一步探索。对于感知任务来说，多模态融合无疑是未来的发展方向。然而，4D雷达在极端天气条件下的鲁棒性是否会因其他传感器分支的集成而减弱，还有待探索。对于 4D 毫米波雷达定位和测绘，传感器与激光雷达和摄像头的融合有很大的探索空间。
3）预点云数据利用： 对于4D毫米波雷达信号处理流程中的独特数据格式，例如原始ADC数据、RD图和4D张量，利用这些数据执行感知、定位和建图是一个有趣的事情但几乎没有触及的话题。基于学习的模型利用这些数据中的大量信息，同时保持可接受的实时性能可能是一个研究热点。
4）数据集丰富： 与所有其他数据驱动的研究领域一样，4D毫米波雷达的数据集在关联研究中发挥着重要作用。包含 4D 毫米波雷达的现有数据集相对较少。数据格式和场景丰富度是等待拓展的两个主要领域.