开放科学（资源服务）标志码（OSID）：

0 概述

场景分割是指对图像中的所有像素进行分类，是自动驾驶和机器人感知领域中一项重要的前置任务。受现有阈值分割算法^[1-2]启发，基于阈值的二值分割方法被大量应用于移动服务机器人，如文献[3]设计一种基于直方图的阈值分割方法用于足球机器人，文献[4]利用阈值提取边缘并基于边缘信息对图像进行分割，文献[5]利用Otsu阈值和炭疽孢子的连通特性及形状特征实现对炭疽孢子的分割，文献[6]设计一种YUV色彩空间下的阈值分割方法用于番茄机器人。然而，基于传统图像处理技术的分割方法存在较大的局限性，适用的分割场景也较为简单。因此，研究者提出基于聚类的方法，如文献[7]通过结合mean-shift和Ncut算法减少计算量和噪声的干扰，使分割速度大幅提升，文献[8]使用mean-shift算法结合深度信息实现复杂度较高的场景分割。

近年来，随着GPU算力增长，基于深度学习的语义分割算法飞速发展，图像分割技术水平得到大幅提高。文献[9]提出了全卷积网络（Fully Convolutional Network，FCN）用于实现端到端的逐像素分类，后续深度学习语义分割算法大都以该网络结构为基础改进。SegNet^[10]在解码器部分使用上池化操作进行上采样，保留了高频细节的完整性，实现了更精细的分割。UNet^[11]在编/解码器间加入了若干跳跃连接，融合了编/解码器不同层次的特征，通过减少信息丢失来提升精度。文献[12]在FCN的特征提取网络的输出端添加了条件随机场（Conditional Random Field，CRF）模块，进而提出了DeepLab方法，也大幅提高了分割的精度。上述算法虽然都有效提升了精度，但由于特征提取网络的感受野是固定的，因此没有获得图像全局的一些特征。文献[13]提出了DeepLab-V2网络，通过引入空洞空间金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）模块增加了感受野，提高了针对小目标的分割精度。文献[14]对DeepLab-V2中的ASPP模块进行改进，提出了DeepLabV3+网络。该网络融合了更多尺度特征，大幅提升了细节分割准确率。PSPNet^[15]网络则选用大量的池化金字塔获得更多的全局信息。文献[16]考虑样本不均衡因素设计了焦点约束损失（Constrained Focal Loss，CFL）函数，大幅提升了样本量不均衡时模型的分割精度。后续高准确度的分割算法大多致力于增加模型参数量和复杂度，如HRNet^[17]。该网络在特征提取时不压缩特征图尺寸，利用巨大的模型参数量和计算量换来了很大的图像感受野，并且充分融合了多尺度特征，在多项任务上都能达到较高的精度。但对于实际工程应用而言，部署算法不仅要考虑精度，同时也要考虑算力成本，自动驾驶无人车、服务机器人的移动端嵌入式计算设备应价格、功耗低且体积小，因此，参数量大且计算复杂度高的分割算法不适合部署在此类设备上。

对于室内服务机器人的应用场景，在算力有限的平台完成高准确度且快速的室内场景分割是一项重要任务。本文在现有语义分割模型的基础上，参考轻量化网络设计方法，提出一种基于轻量级串联特征提取网络的实时语义分割算法。通过深度可分离卷积、膨胀卷积和通道注意力机制设计轻量级的高准确度特征提取瓶颈结构模块，以此为基础构建轻量特征提取骨干网络，使用2个轻量型的网络级联增加网络深度，同时融合多尺度、多层次的语义特征，在保证算法高精度的前提下，基于TensorRT技术在NVIDIA Jetson XavierNX嵌入式平台实现实时室内场景分割。

1 基本原理

设计高准确率的轻量化特征提取网络，需要考虑如何在减少模型参数量的前提下提升精度。本文通过深度可分离卷积、感受野控制和注意力机制来提升准确率并降低模型复杂度。

1.1 深度可分离卷积

深度可分离卷积是很多轻量级网络的关键技术，其将常规的卷积计算分解成两步操作：首先对各个通道进行卷积提取特征，然后使用1×1卷积进行特征层融合或者特征层的扩充，从而有效地减少卷积计算中的参数量并保留常规卷积相似的性能。

对卷积核的参数量进行分析。如图 1所示，假设输入图像的尺寸为$w \times h \times c$，w、h、c分别表示图像的宽、高和通道数。若卷积后想要得到b个通道的特征图，使用原始卷积方法，卷积核的参数量为$k×k×c×d$，其中k为卷积核的边长。深度可分离卷积则先单独对通道卷积，参数量为$k×k× c$，再使用逐点卷积法将特征图通道扩张到b个，参数量为$c×d$。因此，总参数量为$k×k× c+c×d $。

相比传统卷积，深度可分离卷积的参数量大幅减少。传统卷积的计算量为$w×h×c×d×k×k$，深度可分离卷积的计算量为$w×h×c×k×k+w×h×c×d$，这2种方法的参数量之比和计算量之比均为$\frac{{k×k×c×d}}{{k×k×c+c×d}}=\frac{{w×h×c×d×k×k}}{{w×h×c×k×k+w×h×c×d}}=\frac{{k^2×d}}{{k^2+d}}$，可见无论是参数量还是计算量，通过可分离卷积都得到了很大幅度的压缩，使网络更加轻量化。对于边缘计算设备及无GPU的移动设备，深度可分离卷积可使CPU在不需要庞大算力的情况下完成卷积计算。因此，轻量级网络设计大多使用深度可分离卷积，如Xception^[18]、GhostNet^[19]等，本文也使用深度可分离卷积来实现轻量级的特征提取网络。

1.2 感受野控制

感受野直接影响着网络精度，网络的感受野越大，获取到的图像的全局特征也就越多，这在HRNet上得到了充分验证。HRNet精度之所以很高，就是因为它有一个固定的、具有极大感受野的特征提取分支。在该分支上，特征图尺寸不会缩小，在特征提取过程中几乎没有丢失信息。但是这种提升感受野的方式会带来巨大的参数量，使模型推理时间大幅增加，对于速度优先级较高的网络并不适用，而膨胀卷积在提升感受野的同时并不会增加参数量，适合用于轻量级网络设计。

膨胀卷积是指在常规的卷积核中添加空洞，此操作可以在计算量不变的情况下增大卷积核的大小和卷积操作的感受野。如图 2所示，对于一个3×3的卷积核，当设置膨胀率为2时，会在每一对相邻卷积核之间添加一个值为0的点，从而使卷积核大小变为5×5。

膨胀后卷积核大小的计算公式如下：

$ {k_{{\rm{dw}}}}{\rm{ = }}r \times \left( {{k_{\rm{c}}} - 1} \right) + 1 $

(1)

其中：${k_{{\rm{dw}}}}$为膨胀后卷积核的边长；r为膨胀率；k_c为未膨胀卷积核的边长。卷积核膨胀后感受野范围得到了扩大，而更大感受野的卷积操作能够提取出更大尺度的图像特征，这对准确的场景理解和分割精度提升非常有效。高精度的分割算法如DeepLab也大量使用了膨胀卷积，并且并联不同膨胀率的特征图设计了ASPP模块，以此融合不同尺度的空间特征。但是，膨胀卷积存在特征图稀疏的问题：膨胀率变大，卷积核之间的空洞随之增大，而当膨胀率过大时，卷积核会变得非常离散，也就不能提取到更多全局特征的信息，从而导致特征图非常稀疏，提取到的特征会缺少细节信息，影响图像分割精度。

1.3 注意力机制

随着SE-Net^[20]尝试使用基于通道的注意力机制，在图像分类中实现了较好的分割性能，注意力机制便成为深度神经网络的有力工具^[21]。它可以利用特征图的通道特征和空间特征约束网络训练，从而学习到有效特征，提升对于细节的分割精度。由于通道注意力机制在提升特征有效性的同时几乎不增加参数量，因此本文在设计编码模块时使用通道注意力机制模块提升模型的准确率。

2 场景分割方法优化 2.1 残差瓶颈结构设计

为减少模型的参数计算量同时达到高分割精度，本文在网络中添加一个残差瓶颈结构作为网络的基础模块。残差瓶颈结构如图 3所示。

瓶颈编码模块包括2个调整特征通道的1×1卷积、1个深度可分离卷积、1个通道注意力模块和1条残差连接，具体设计目的和思路如下：

1）为降低模型的计算量和参数量，使用降维-升维的瓶颈结构。先使用1×1卷积对通道数进行压缩，压缩后使用3×3深度可分离卷积提取特征，再使用1×1卷积进行特征升维。为提升感受野，提取不同尺度的特征信息，3×3深度可分离卷积带有膨胀系数。

2）进行深度可分离卷积操作后，在升维卷积操作前加入SE-Net网络使用的通道注意力机制模块。该模块的计算过程如图 4所示。首先对特征通道进行全局平均池化操作，然后连接全连接层学习每个通道的权重值，并利用sigmoid函数归一化到[0, 1]，最后对特征层进行通道加权，从而筛选特征的每个通道的信息，以此进一步提高分割准确度。

3）为缓解膨胀卷积引起的稀疏化问题，在瓶颈结构中加入残差边连接，将特征层的输入和提取后的特征层相加，从而补充因膨胀卷积稀疏化而在特征提取时丢失的信息，同时残差连接也可以有效避免由网络深度增加带来的梯度消失问题。

2.2 网络结构设计

本文网络模型使用的是编码器-解码器网络框架，在编码器端获取上下文信息和语义信息，在解码器端对提取的特征进行上采样和图像分割。为实现实时分割，本文没有对解码器进行复杂设计，而是使用高效的特征上采样模块。此外，由于网络越深获取的语义特征越丰富，但是空间信息丢失也越多，因此本文设计的网络在解码阶段对不同层次的特征进行重利用，以高级语义特征融合低级图像特征，从而丰富模型特征，提高模型分割精度。

本文模型结构如图 5所示，其中，c代表concat操作，模型输入图像尺寸为512像素×512像素。为有效提取深层语义特征，编码器级联2个特征提取网络。第1级主干网络使用7个残差瓶颈结构模块作为基础单元构成特征提取的主干网络，每一个瓶颈结构模块的参数不同，相同通道数的瓶颈结构模块的膨胀率不同，以此获得不同感受野与不同尺度的特征。经实验验证，当膨胀率在8以上时，特征图的稀疏化非常严重，严重影响精度。因此，设置膨胀率为2、4或8。经过7个瓶颈结构模块提取深层特征以后，对特征图进行上采样送入第2级特征提取网络，第2级特征提取网络由4个瓶颈结构模块和1个平均池化层构成，4个瓶颈结构模块在提取特征的同时融合第1个主干网络特征提取时相同尺度的特征图，减小特征提取时丢失的信息，之后使用平均池化对特征进行多尺度融合，再送入解码器模块。在解码过程中，融合第2个特征提取网络中相同层次的特征，补充特征图细节，最后进行场景分割结果输出。

3 实验 3.1 数据集及训练平台

使用NYUDv2数据集^[22]对本文提出的网络模型进行训练和评估。NYUDv2是针对室内场景专门制作的语义分割数据集，最细分类可以达到895类。为简化分类任务、增大类间距离以降低分类难度，本文使用的为类别缩减映射后的40类数据集。该数据集共包括1 448张精细标注的样本，图像尺寸为640像素×480像素。为模拟室内环境变化，本文对1 348张室内场景图像进行数据增强，对原始图像做小幅度的随机色相和明度偏移，在随机裁剪、缩放、翻转、平移数据增强后进行模型训练，使用400张未预处理的原始图像进行验证测试。为进一步测试本文模型性能，在CamVid数据集上进行测试，CamVid数据集是针对道路街景制作的分割数据集，其中采集了50个城市不同天气的行车视角街景，包括行人、车辆、道路等11个类别，共1 402幅精细标注的复杂街景图像。本文使用1 169幅图像进行训练，在233张的测试集上进行验证测试。

本文实验的软件环境为Ubuntu18.04 64 bit操作系统，深度学习软件框架为Pytorch，硬件环境为Intel^Ⓡ Xeon^Ⓡ CPU E5-2620 v4 2.1 GHz处理器，64 GB内存，GPU为NVIDIA GTX TITAN XP 12G。

3.2 训练策略与超参数设置

为使网络模型达到较高的准确率，目前在训练网络时一般会使用该模型在ImageNet数据集训练的参数初始化网络。但是本文网络为自己设计，如果使用迁移学习，需要在ImageNet数据集上做预训练。考虑到ImageNet数据集庞大，如果没有大型GPU集群，训练耗时会非常长，并且Facebook的AI实验室的验证^[23]表明，即使不做预训练，最终模型精度也会达到接近预训练效果的水平，因此，本文使用多阶段参数调整的训练策略，如图 6所示。

在第1个阶段，随着迭代次数的上升，学习率降低，模型较好地收敛，之后加大学习率进入第2个阶段的训练，反复这个过程，能够使模型跳出前一训练阶段损失收敛的局部最小值，使模型找到一个更大范围内的最优参数。训练的损失值变化曲线如图 7所示。可以看出，损失值的4次波动下降状态分别代表着4个阶段的训练过程，损失值的大小在经历4个阶段的训练后比第1个阶段结束时降低较多。

对于优化器，选择Adam^[24]优化器来优化模型参数，批样本量设置为16，Dropout失活率设置为0.5。对于损失函数，使用像素级交叉熵函数作为目标函数，其函数定义如下：

$ L = \frac{1}{n}\sum\limits_i {{L_i}} = \frac{1}{n}\sum\limits_i {\left( { - \sum\limits_{c = 1}^M {\left( {{y_{ic}}\ln {p_{ic}}} \right)} } \right)} $

(2)

其中：M为类别数量；y_ic为指示变量，若样本i的分类结果与标签类别c相同，则为1，否则为0；p_ic代表样本i属于类别c的概率。

3.3 评价指标

为全面地评价模型性能，本文使用像素准确率（Accuracy，ACC）、平均交并比（Mean Intersection over Union，MIoU）和频率加权交并比（Frequency Weight Intersection over Union，FWIoU）这3个指标来体现分割精度。像素准确率的计算公式如下：

$ A = \frac{{{p_{\rm{t}}}}}{{{p_{{\rm{sum}}}}}} $

(3)

其中：p_t代表分类正确的像素数；p_sum代表像素总数。在平均交并比指标中，IoU表示预测结果与真实值交集的面积比上他们并集的面积，MIoU为所有类别IoU的平均值。频率加权交并比即使用每一类像素出现的频率对IoU加权计算得到的值，其评价样本分布不均衡的数据更科学，计算公式如式（4）所示：

$ {F_{\rm{F}}}_{{\rm{WIoU}}} = \sum\limits_0^r {\frac{{{P_r}}}{{{P_{{\rm{sum}}}}}}} \times {I_{{\rm{IoU}}}}_r $

(4)

其中：r为类别数；p_n为第n个类别所有的像素数，将其比上p_sum即可求出该类别样本数量在数据集中的比例，再与该类别的交并比I_IoUn相乘即完成加权。

同时，为更全面地评价模型的复杂度，本文使用模型参数衡量模型的空间复杂度，并且使用每秒浮点计算次数（Floating Point Operations，FLOPs）与帧率（FPS）这2个指标衡量模型的时间复杂度。FLOPs的计算公式^[25]如式（5）所示：

$ F = \left[ {\left( {{K_H} \times {K_W} \times {C_{{\rm{in}}}}} \right) \times {C_{{\rm{out}}}}} \right] \times \left( {H \times W} \right) = {p_{{\rm{params}}}} \times W \times H $

(5)

其中：H、W为卷积输入特征图的高和宽；K_H、K_W为卷积核的长和宽；C_in和C_out为卷积层输入和输出的通道数；p_params为该卷积层的所有参数。

3.4 实验结果与分析 3.4.1 NYUDv2数据集上的实验结果分析

本文在NYUDv2数据集上使用40类分类标准进行训练及测试，并对比了经典、常用的分割算法，精度对比结果如表 1所示。可以看出：本文算法总体分割精度，大幅领先于SegNet和UNet，略低于DeepLabv3+和PSPNet，这主要是因为UNet和SegNet网络的感受野固定而本文网络使用膨胀卷积，提升了感受野，并且本文多层次特征融合较多，而UNet与SegNet较少，而PSPNet与DeepLabv3+则使用不同的金字塔结构获得了更大的感受野，从而融合了更多全局特征，使得分割更为精准。

为更全面地对比5种算法分割准确度，统计各算法针对NYUDv2数据集不同类别的IoU，结果如表 2所示。从表 2可知，本文算法在各类别的分割精度上均处在一个较高的水平，在一些UNet与SegNet分割效果不好的类别（windows、bookshelf、mirror等）上得到了很高的准确率，并且与DeepLabV3+和PSPNet精度差距不大，充分验证了感受野提升和特征融合对精度提升的效果，并且各类之间的分割精准度总体也比较均衡，鲁棒性较好。

5种算法的复杂度对比如表 3所示，可以看出，本文算法无论是计算复杂度、参数量还是推理速度（即帧率）都大幅优于其他算法，再次证明使用深度可分离卷积构建轻量级主干网络可降低参数量与计算复杂度。对比DeepLabV3+与PSPNet这2个高精度、高模型复杂度的算法，本文算法计算力仅为其1%，而在PC端GPU推理速度是它们的10倍以上。

综上所述，本文提出算法在保证较高分割精度的同时，对设备计算力要求不高，十分利于边缘计算设备部署。

5种算法室内场景分割的视觉效果如图 8所示。由图 8（c）~图 8（d）可以看出：UNet与SegNet对于大目标的分割还是出现了一些类别混淆，如门、橱柜、镜子等，其他3个算法对大目标分割都比较精准，得到的大目标的边缘轮廓部分也十分清晰；而对于小目标分割，DeeplabV3+的效果是最好的。对比图 8第4行图像中橱柜上杯子的真实标签及分割效果可知，除了DeepLabV3+外，其他算法都出现了程度不一的分类混淆。对于小目标的边缘轮廓，如图 8中第1行、第2行图像的床头灯、盥洗台等物品，各个算法的分割效果均不太理想，主要原因是数据集小目标样本分布不均衡会导致模型分割效果偏向样本量更多的类别，另外一个原因就是小尺度目标在图像中占像素量少，提取特征时经过几次下采样后，小目标的特征图尺寸已经被压缩到非常小了，提取的特征较为有限，从而导致小目标及其边缘的分割效果不佳。

结合表 2所示的精度指标和图 8所示的分割效果可知，本文算法对复杂室内场景的分割准确度较高，非常接近PSPNet及DeepLabV3+的分割精度和效果，可满足室内服务机器人场景理解的基础要求。

3.4.2 CamVid数据集上的实验结果分析

在CamVid数据集上的精度分割实验结果如表 4所示。可以看出，在非室内场景下，本文算法的分割准确度也是相对较高的，FWIoU和MIoU差异相较于NYUDv2的结果大一些，这是由CamVid的数据分布不均衡造成的，仅道路、天空、建筑和树等4个类别样本量就占了数据集的73%，所以，各个算法的加权IoU都处于较高的水平。从MIoU的指标可以看出，面对样本分布不太均衡的数据集，本文算法即使不针对均衡样本做处理，分割准确度也优于SegNet和UNet算法。

各个类别的详细分类IoU如表 5所示。可以看出各算法在建筑、天空、道路等大目标上的分割准确度都较高。在车辆这类中型目标上，本文算法大幅领先于SegNet和UNet，与DeepLabV3+和PSPNet精度非常接近。在标志牌，电线杆这类小目标的分割精度上，本文算法也与DeepLabV3+和PSPNet在同一水平。

在CamVid数据集上5种算法分割的视觉效果如图 9所示。可以看出，本文算法的分割效果较好，车辆、建筑的边缘清晰。从图 9（g）第1行可以看出，即使在光照效果不佳的情况下，本文算法的分割效果也很好，而Unet和Segnet在同场景时，右下角的车辆出现了类别混淆。

综上，本文算法相较常用的先进分割算法取得了较优的效果，从而再次验证了算法的优秀性能，其能有效地学习到图像的语义特征，并准确地表达物体的语义信息，从而大幅提升了场景解析的效果。

3.5 机器人嵌入式端部署

本文使用机器人平台计算核心板为NVIDIA Jetson XavierNX。XavierNX为NVIDIA发布的嵌入式GPU平台，在15 W的低功耗环境下，可以有6.8 TFLOPs的单精度计算能力，如果以INT8模式进行计算，则有高达21 TOPs的计算能力。在PC端训练模型后，将模型导出并使用NVIDIA的推理加速引擎TensorRT对模型进行合并层、并行优化等操作，将其序列化为TensorRT的引擎，将模型从FP32量化为FP16，从而既压缩了模型大小，又避免了INT8量化时精度损失较多的问题。在未量化及TensorRT加速时，模型在嵌入式端对512像素×512像素的图像推理速度为19 frame/s，经过TensorRT加速和量化后，嵌入式端的推理速度提升到42 frame/s，加速比约为2.2，加速后可实现在嵌入式平台上的实时室内场景分割。

4 结束语

本文针对室内服务机器人的场景分割任务，提出一种基于轻量级网络的实时语义分割算法，结合深度可分离卷积、膨胀卷积和通道注意力机制，设计以残差瓶颈结构为基础模块的级联特征提取网络。该网络的参数量较少，能够在保证低时间复杂度的同时提取到更深层的语义信息，并融合多尺度特征得到较高的MIoU分割精度。实验结果表明，与SegNet、UNet、PSPNet等先进分割算法相比，本文算法具有优异的预测速度，对移动设备的算力要求不高，可实现实时准确的室内场景分割，满足实际的机器人场景理解需求。然而该算法存在小目标分割和边缘分割不准确的问题，下一步将对此进行改进，通过结合多尺度及边缘分割方法，实现对室内场景更高准确率的精准分割。