开放科学（资源服务）标志码（OSID）：

0 概述

三维目标检测广泛应用于自动驾驶^[1]、增强现实^[2]和机器人控制^[3-4]领域中。三维目标检测算法根据输入形式的不同，分为基于图像、基于多传感器融合和基于点云的三维目标检测算法。

基于图像的三维目标检测算法根据输入RGB图像中2D/3D约束、关键点和形状，通过推理目标几何关系解决图像深度信息缺失的问题。文献[5]利用单支路网络检测三维框的多个角点以重构三维中心点，通过二分支关键点检测网络锐化目标辨识能力。文献[6]考虑到2D投影中的几何推理和未观察到深度信息的维度，通过单目RGB图像预测3D对象定位。文献[7]通过视觉深度估计方法从图像中估计像素深度，并将得到的像素深度反投影为3D点云，利用基于雷达的检测方法进行检测。文献[8]基于左右目视图的潜在关键点构建左右视图关键点一致性损失函数，以提高选取潜在关键点的位置精度，从而提高车辆的检测准确性。

多传感器融合通常将多个传感器获取的特征进行融合。文献[9]提出在两个连续的步骤中检测目标，基于摄像机图像生成区域建议，通过处理感兴趣区域中的激光雷达点以检测目标。文献[10]提出引导式图像融合模块，以基于点的方式建立原始点云数据与相机图像之间的对应关系，并自适应地估计图像语义特征的重要性。这种方式根据高分辨率的图像特征来增强点特征，同时抑制干扰图像的特征。文献[11]结合点云的深度信息与毫米波雷达输出确定目标的优势，采用量纲归一化方法对点云进行预处理，并利用处理后的点云生成特征图。文献[12]基于二维候选区域中的像素过滤激光点云，生成视锥点云，以加快检测速度。

基于点云的检测算法仅通过输入点云学习特征，在检测网络中回归目标类别和包围框^[13]。文献[14]将点云编码为体素，采用堆叠体素特征编码层来提取体素特征。文献[15]通过立柱特征网络将点云处理成伪图像，并消除耗时的3D卷积运算，使得检测速度显著提升。文献[16]将点云编码到一个固定半径的近邻图中，并设计图神经网络，以预测类别和图中每个顶点所属的对象形状。文献[17]利用三维区域生成网络，将多视图生成器模块生成的多角度点云伪图像重新校准与融合，并根据提取的语义特征进行最终的点云目标分类和最优外接包围框回归。

基于图像的三维目标检测算法无法提供可靠的三维几何信息；基于多传感器融合的三维目标检测算法输入数据较多，需要较高的算力和较复杂的特征处理与融合算法；点云数据通常极其稀疏，受噪点影响比较大，基于点云的三维目标检测算法鲁棒性较差。因此，在点云稀疏条件下提升检测精度和算法鲁棒性具有一定必要性。

本文提出基于稀疏Transformer的雷达点云三维目标检测算法。构建稀疏Transformer模块并将其应用于三维目标检测领域中，通过显式选择Top-t个权重元素，以排除对注意力干扰性较高的权重元素，从而提高检测精度。设计一种粗回归模块，将粗回归模块生成的边界框作为检测头模块的初始锚框，使检测结果生成的边界框更加精细。在此基础上，设计基于体素三维目标检测算法的损失函数，以优化检测结果。

1 网络模型

本文基于PointPillars在点云特征处理阶段的良好性能，延用了点云特征处理模块和2D卷积模块，并增加了稀疏Transformer模块和粗回归模块，在回归阶段使用通用的SSD^[18]检测头作为检测模块。本文网络结构如图 1所示。

首先，将一帧点云图像输入到点云特征处理模块中，由该模块将点云图像划分为H×W的立柱，并对立柱中的点进行采样；然后，经过Pillar特征网络进行特征学习和特征展开，输出尺寸为（C，H，W）的伪图像，将该伪图像分别送入到2D卷积模块，经过卷积操作分别产生尺寸为（C，H/2，W/2）、（2C，H/4，W/4）和（4C，H/8，W/8）的特征，通过反卷积操作生成3个尺寸为（2C，H/2，W/2）的特征后，再将这3个特征相连接，输出尺寸为（6C，H/2，W/2）的空间特征；最后，将空间特征送入到粗回归模块，在该模块的区域建议网络（Region Proposal Network，RPN）回归粗略类别和坐标的同时，另一个分支经过卷积操作输出尺寸为（2C，H/2，W/2）的新空间特征。与此同时，本文将Pillar特征网络中伪图像的特征展开为（H×W）×C的序列形式，输入到稀疏Transformer模块，并根据原始位置对该模块输出的序列特征嵌入重新组合成伪图像特征，进行一次卷积操作，输出尺寸为（2C，H/2，W/2）的稀疏上下文特征。本文将得到的新空间特征与稀疏上下文特征连接后输入到检测模块，在粗回归模块提供的粗略锚框坐标的辅助下更精确地回归目标物体的坐标。

1.1 稀疏Transformer模块

基于自注意力的Transformer^[19]在一些自然语言处理和二维目标检测任务中具有较优的性能。自注意力能够模拟长期的依赖关系，但易受上下文中无关信息的影响。为解决该问题，本文引入稀疏Transformer模块^[20]。稀疏Transformer模块通过显式选择最相关的片段来提高对全局上下文的关注，增强模型的鲁棒性。

稀疏Transformer模块是基于Transformer架构，通过Top-t选择将注意力退化为稀疏注意力，有助于保留注意力的成分，而去除其他无关的信息。本文提出的稀疏Transformer模块中注意力可以集中在最有贡献的元素上。这种选择方法在保留重要信息和去除噪声方面具有有效性。稀疏Transformer模块结构如图 2所示。

对于单头自注意力，将点柱特征${\mathit{\boldsymbol{{x}}}}_{i}$经线性层变换后变为值向量$\mathit{\boldsymbol{{V}}}[{l}_{\mathit{\boldsymbol{{V}}}}, d]$、关键向量$\mathit{\boldsymbol{{K}}}[{l}_{\mathit{\boldsymbol{{K}}}}, d]$和查询向量$\mathit{\boldsymbol{{Q}}}[{l}_{\mathit{\boldsymbol{{Q}}}}, d]$。线性变换过程如式（1）所示：

$\mathit{\boldsymbol{{P}}}={\mathit{\boldsymbol{{W}}}}_{\mathit{\boldsymbol{{P}}}}\mathit{\boldsymbol{{x}}}, \mathit{\boldsymbol{{P}}}\in (\mathit{\boldsymbol{{Q}}}, \mathit{\boldsymbol{{K}}}, \mathit{\boldsymbol{{V}}})$

(1)

其中：${\mathit{\boldsymbol{{W}}}}_{\mathit{\boldsymbol{{P}}}}$为对应向量的线性变换矩阵；查询向量$\mathit{\boldsymbol{{Q}}}$与关键向量$\mathit{\boldsymbol{{K}}}$的相似性通过点乘计算。注意力得分计算如式（2）所示：

$\mathit{\boldsymbol{{S}}}=\frac{\mathit{\boldsymbol{{Q}}}{\mathit{\boldsymbol{{K}}}}^{\mathrm{T}}}{\sqrt{d}}$

(2)

由注意力机制可知，注意力得分$\mathit{\boldsymbol{{S}}}$越高，特征相关性越强。因此，本文在$\mathit{\boldsymbol{{S}}}$上实现稀疏注意力操作，以便选择注意力矩阵中每行的前$t$个有贡献的元素。本文选择$\mathit{\boldsymbol{{S}}}$中每行的$t$个最大元素，并记录它们在矩阵中的位置$(i, j)$，其中$t$是一个超参数。假设第$i$行的第$t$个最大值是${t}_{i}$，如果第$j$个分量的值大于${t}_{i}$，则记录位置$(i, j)$，连接每行的阈值以形成向量$\mathit{\boldsymbol{{t}}}=[{t}_{1}, {t}_{2}, \cdots \mathrm{ },$ ${t}_{n}]$，$n$为查询向量的长度。稀疏注意力${S}_{\mathrm{S}\mathrm{A}}(·, ·)$函数如式（3）所示：

${S}_{\mathrm{S}\mathrm{A}}(\mathit{\boldsymbol{{S}}}, \mathit{\boldsymbol{{t}}})=\left\{\begin{array}{c}{\mathit{\boldsymbol{{S}}}}_{ij}, {\mathit{\boldsymbol{{S}}}}_{ij}\ge {t}_{i}\\ -\mathrm{\infty }, {\mathit{\boldsymbol{{S}}}}_{ij} < {t}_{i}\end{array}\right.$

(3)

稀疏注意力模块的输出计算过程如式（4）所示：

$A(\mathit{\boldsymbol{{Q}}}, \mathit{\boldsymbol{{K}}}, \mathit{\boldsymbol{{V}}})=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left({S}_{\mathrm{S}\mathrm{A}}\right(\mathit{\boldsymbol{{S}}}, \mathit{\boldsymbol{{t}}}\left)\right)\mathit{\boldsymbol{{V}}}$

(4)

本文使用多头注意力机制将特征映射到不同的特征空间，以学习不同子空间的相关特征。不同的注意力头可以独立地进行特征学习，互不干扰。最后，将每个头部的结果拼接再进行一次线性变换得到的值作为多头注意力的结果。将结果与点柱特征${\mathit{\boldsymbol{{x}}}}_{i}$进行残差连接，再用层归一化^[21]对其进行归一化操作，层归一化操作后得到的结果即为所求。

1.2 粗回归模块

本文使用一个粗回归模块，该模块有两个分支，卷积分支用于调整特征尺度，RPN分支用于粗略回归目标类别和边界框，回归结果用于指导后续检测头进行精细回归操作。粗回归模块结构如图 3所示。

从图 3可以看出，空间特征是骨干网络进行多尺度特征串联后得到的特征，特征大小为（6C，H/2，W/2），该骨干网络与PointPillars算法中的骨干网络相同。在卷积分支中主要进行$1\times 1$的卷积操作，将骨干网络输出的空间特征降维，降维后的特征大小为（2C，H/2，W/2），将该特征与Transformer模块生成的全局上下文特征串联。与此同时，将空间特征送入RPN分支，输出类别和边界框。RPN分支的回归结果为检测头模块提供粗略的锚框，用于后续边界框的精确回归操作。

1.3 损失函数

本文在SECOND^[22]损失函数的基础上提出一种新的损失函数，以更好地优化粗回归和检测头模块。真值框和锚框由$(x, y, z, w, l, h, \theta )$表示，其中（$x, y, z$）表示框的中心点坐标，（$w, h, l$）表示框的宽、高、长，$\theta$表示框的方向角。边界框的偏移由真值框和锚框计算，如式（5）所示：

$\left\{\begin{array}{l}\mathrm{\Delta }x=\frac{{x}_{\mathrm{g}\mathrm{t}}-{x}_{\mathrm{a}}}{{d}_{\mathrm{a}}}\text{，}\mathrm{\Delta }y=\frac{{y}_{\mathrm{g}\mathrm{t}}-{y}_{\mathrm{a}}}{{d}_{\mathrm{a}}}\text{，}\mathrm{\Delta }z=\frac{{z}_{\mathrm{g}\mathrm{t}}-{z}_{\mathrm{a}}}{{h}_{\mathrm{a}}}\\ \mathrm{\Delta }w=\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{a}}\frac{{w}_{\mathrm{g}\mathrm{t}}}{{w}_{\mathrm{a}}}, \mathrm{\Delta }l=\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{a}}\frac{{l}_{\mathrm{g}\mathrm{t}}}{{l}_{\mathrm{a}}}\text{，}\mathrm{\Delta }h=\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{a}}\frac{{h}_{\mathrm{g}\mathrm{t}}}{{h}_{\mathrm{a}}}\\ \mathrm{\Delta }\theta ={\theta }_{\mathrm{g}\mathrm{t}}-{\theta }_{\mathrm{a}}\text{，}{d}_{\mathrm{a}}=\sqrt{{w}_{\mathrm{a}}^{2}+{l}_{\mathrm{a}}^{2}}\end{array}\right.$

(5)

其中：gt表示真值框；a表示锚框。位置回归损失函数如式（6）所示：

$\begin{array}{l}{L}_{\mathrm{l}\mathrm{o}\mathrm{c}}=\sum\limits_{p\in (x, y, z, w, l, h)}{\mathrm{S}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{L}}1({\Delta }_{p}^{\rm{pre}}-{\Delta }_{p}^{\rm{gt}})+\\ \ \ \ \ \ \ \ \ \ \ \ {\mathrm{S}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{L}}1\left(\mathrm{s}\mathrm{i}\mathrm{n}\right({\Delta }_{\theta }^{\mathrm{p}\mathrm{r}\mathrm{e}}-{\Delta }_{\theta }^{\mathrm{g}\mathrm{t}}\left)\right)\end{array}$

(6)

其中：pre表示预测值。对于角度回归，这种减少角度损失的方法解决了0和π方向的冲突问题。为解决该损失函数将方向相反的边界框视为相同的问题，本文在离散方向上使用交叉熵损失函数，使网络能够区分目标的正反方向。方向分类损失函数定义为${L}_{\mathrm{d}\mathrm{i}\mathrm{r}}$。本文使用Focal Loss定义物体分类损失，如式（7）所示：

${L}_{\mathrm{c}\mathrm{l}\mathrm{s}}=-\alpha (1-{p}^{\mathrm{a}}{)}^{\gamma }\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{a}}{p}^{\mathrm{a}}$

(7)

其中：${p}^{\mathrm{a}}$表示模型预测的锚框类别概率；$\alpha$和$\gamma$表示Focal Loss的参数。

该检测网络总的损失函数如式（8）所示：

$\begin{array}{l}{L}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}={\beta }_{\mathrm{c}\mathrm{l}\mathrm{s}}{L}_{\mathrm{c}\mathrm{l}\mathrm{s}}^{\mathrm{C}}+\frac{{\beta }_{\mathrm{l}\mathrm{o}\mathrm{c}}}{{N}_{\mathrm{p}\mathrm{o}\mathrm{s}}^{\mathrm{C}}}{L}_{\mathrm{l}\mathrm{o}\mathrm{c}}^{\mathrm{C}}+{\beta }_{\mathrm{d}\mathrm{i}\mathrm{r}}{L}_{\mathrm{d}\mathrm{i}\mathrm{r}}^{\mathrm{C}}+\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \lambda \left({\beta }_{\mathrm{c}\mathrm{l}\mathrm{s}}{L}_{\mathrm{c}\mathrm{l}\mathrm{s}}^{\mathrm{D}}+\frac{{\beta }_{\mathrm{l}\mathrm{o}\mathrm{c}}}{{N}_{\mathrm{p}\mathrm{o}\mathrm{s}}^{\mathrm{D}}}{L}_{\mathrm{l}\mathrm{o}\mathrm{c}}^{\mathrm{D}}+{\beta }_{\mathrm{d}\mathrm{i}\mathrm{r}}{L}_{\mathrm{d}\mathrm{i}\mathrm{r}}^{\mathrm{D}}\right)\end{array}$

(8)

其中：上标C和D分别表示粗回归模块和检测头模块；${N}_{\mathrm{p}\mathrm{o}\mathrm{s}}^{\mathrm{C}}$表示粗回归框的正锚框数目；${N}_{\mathrm{p}\mathrm{o}\mathrm{s}}^{\mathrm{D}}$表示细回归框的正锚框数目；${\beta }_{\mathrm{c}\mathrm{l}\mathrm{s}}$、${\beta }_{\mathrm{l}\mathrm{o}\mathrm{c}}$和${\beta }_{\mathrm{d}\mathrm{i}\mathrm{r}}$表示用于平衡类别损失、位置回归损失和方向损失的权重参数；$\lambda$表示用于平衡粗回归模块和检测头模块的权重。

2 实验结果与分析 2.1 实验数据集

本文在KITTI数据集上进行实验，该自动驾驶数据集是目前在三维目标检测和分割领域中使用最广泛的数据集。该数据集包含7 481个训练样本，本文按大约1∶1的比例将训练样本分为训练集和测试集，其中训练集包含3 712个样本数据，测试集包含3 769个样本数据。本文在测试集上对模型训练的汽车、行人和骑行者这3个类别进行评估。对于每个类别，本文根据3D对象的大小和遮挡程度分为简单、中等、困难3个级别。平均精度均值（mean Average Precision，mAP）作为实验结果的评估度量。本文采用官方评估建议，将汽车的交并比（Intersection Over Union，IOU）阈值设置为0.7，将行人和骑行者的IOU阈值设置为0.5。

2.2 实验环境与对比实验

本文实验的模型训练部分选用的设备信息：一台运行系统为Ubuntu18.04、显卡为NVIDIA RTX 8000的服务器，算法由python3.7和pytorch1.4框架实现，使用Adam优化器训练100轮，批尺寸设置为6，学习率设置为0.003。

不同算法的三维检测结果对比如图 4所示，检测的阈值均设置为0.5。在场景1中，PointPillars存在不同程度的误检，将环境中的噪点或者路灯杆检测为行人或骑行者。在场景2中，PointPillars仍存在不同程度的误检和漏检，将道闸的立柱检测为行人，把并排行走或靠近的两个人检测为一个人。

鸟瞰视角下不同算法的检测结果对比如图 5所示，图中边为白色的矩形框说明预测的边界框与实际真值框未完全重合。

本文选择VoxelNet、SECOND、PointPillars、3D-GIoU^[23]、$\mathrm{P}\mathrm{a}\mathrm{r}\mathrm{t}$-${A}^{2}$^[24]、PointRCNN^[25]、Point-GNN和TANet^[26]作为对比算法。表 1、表 2和表 3分别表示在KITTI测试集上汽车、行人和骑行者类别下本文算法与其他算法的mAP对比。3D mAP是3种难度类别的平均精度均值。从表 1~表 3可以看出，当检测行人和骑行者类别时，本文算法相较于其他算法具有较优的平均精度均值。

本文算法与现有执行速度表现优异算法的推理速度对比如表 4所示。从表 4可以看出，本文算法在提高平均精度均值的同时，推理速度平均加快了0.535 8 frame/s。

2.3 消融实验 2.3.1 t值的选择

由于注意力矩阵$\mathit{\boldsymbol{{A}}}$与查询向量$\mathit{\boldsymbol{{Q}}}$、关键向量$\mathit{\boldsymbol{{K}}}$有关，因此t值的大小与系数$k$和关键向量$\mathit{\boldsymbol{{K}}}$的长度相关。本文1.2节中$t=k\times {l}_{\mathit{\boldsymbol{{K}}}}$，${l}_{\mathit{\boldsymbol{{K}}}}$是关键向量$\mathit{\boldsymbol{{K}}}$的长度，也是注意力矩阵的列数。本文选取$k$={0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0 }进行实验。实验设备的显卡为RTX 2080，批尺寸设置为1。在KITTI测试集上汽车类别下本文算法的实验结果如图 6所示，以系数$k$为横坐标表示选择不同的t对本文算法检测精度的影响。

从图 6可以看出，随着k值的增加，mAP逐渐升高，当k=0.3时，mAP达到最高，然后开始大幅度降低。其原因为本文的稀疏注意力模块对特征学习和去除噪点是有效的。在k=0.3之前，原始的注意力同样会注意到除目标以外的无关成分，对检测难度为中等和困难的目标产生的影响较大。在k=0.3之后，由于过多地过滤了目标的有用特征，因此检测精度明显下降。虽然稀疏注意力模块对检测精度的提升幅度比较微小，但是对推理速度的提升却十分显著。从图 6（d）可以看出，相较于原始的Transformer，当k=0.3时，本文算法的平均推理速度加快了约0.54 frame/s。

2.3.2 稀疏Transformer模块的作用

由于在KITTI数据集中噪点数目无法得知，因此本文在每个目标物的真值框内添加相同数量的噪点，模拟实际场景中噪点对模型的负影响，以测试该模块对模型鲁棒性和检测精度的贡献。基于2.3.1节的实验结果，本文将$k$值设置为0.3，在不改变其他模块的情况下，在KITTI测试集上汽车类别下本文算法（稀疏Transformer模块）与PointPillars算法（普通Transformer模块）的mAP对比如表 5所示。手动在每个目标物真值框内随机添加100个噪点，本文算法的mAP仅下降1.60%，优于PointPillars算法。

2.3.3 粗回归模块对结果的影响

在不改动其余模块的情况下，本文去掉粗回归模块的回归分支，以验证粗回归模块的有效性。本文算法1不包含粗回归模块，本文算法2包含粗回归模块。本文算法在KITTI测试集上汽车、行人和骑行者类别下的实验结果分别如表 6、表 7和表 8所示。从表中可以看出，相比不包含粗回归模块算法的测试结果，在不同检测难度下有粗回归模块算法的mAP分别提升了0.61、1.01和0.95个百分点。因此，包含粗回归模块的算法能够更精确地回归目标物体的坐标。

3 结束语

本文提出基于稀疏Transformer的点云三维目标检测算法。通过稀疏Transformer模块显示选择与注意力相关的信息，以学习点云的全局上下文特征，从而提高模型的精确度。设计基于空间特征的粗回归模块，将其生成的初始锚框作为后续回归精确操作的边界框。在KITTI数据集上的实验结果表明，本文算法具有较优的检测精度和鲁棒性。下一步将在点云处理阶段引入点云关键点的采样信息，结合基于关键点和基于体素点云处理算法的优点，设计一种融合特征提取与体素关键点的目标检测算法，以扩大检测网络的感受野并提高定位精度。