开放科学（资源服务）标志码（OSID）：

0 概述

绝缘子是输电线路中的重要组成部分，在长期自然环境以及恶劣条件作用下，绝缘子可能发生故障，影响电力系统的稳定运行^[1]，因此定期巡检输电线路绝缘子，及时发现并处理故障绝缘子对电力系统的稳定性与可靠性具有重要意义。目前，我国主要的输电线路巡检方式是无人机巡检^[2]，它在一定程度上弥补了传统人工巡检的不足，有效降低了巡检人员登杆检查的工作强度并提高了安全性，能快速且准确地判断缺陷情况^[3]，显著提高巡检效率以及线路维护的响应速度。无人机巡检主要通过采集海量航拍图像进行检测，因此航拍图像中的绝缘子自动检测研究就显得十分重要。

最初的图像识别算法主要通过搜集图像，再对图像进行处理以实现绝缘子检测。文献[4]采用边缘检测方法实现对绝缘子的检测。文献[5]利用自适应形态学算法实现可见光图像中绝缘子的检测。文献[6]通过图像的灰度信息计算绝缘子和背景区域的形状特征值，设计分类决策条件进行绝缘子检测。文献[7]提出基于可见光图像的绝缘子识别与故障检测方法。文献[8]利用阈值分割进行分步定位提取绝缘子。文献[9]通过结合形态学、Lab彩色空间与最大类间方差法来实现绝缘子“掉串”故障检测。文献[10]提出基于最优阈值的改进型Canny算子电力设备图像检测算法。上述方法能实现简单目标的绝缘子检测，但局限于某一类别，在现实应用中受到环境等因素的影响，导致检测结果不理想。随后，基于机器学习方法的绝缘子识别成为研究人员关注的热点问题。文献[11]利用目标建议算法与结构搜索对绝缘子进行识别定位。文献[12]采用支持向量机（Support Vector Machine，SVM）算法实现对高压输电线路故障的识别与分类。机器学习技术可在一定程度上提高识别可靠性，但在识别时间和准确率上仍有进一步提升的空间。

近年来，深度卷积神经网络（Convolutional Neural Network，CNN）在目标检测^[13]任务中表现突出并得到广泛应用。文献[14]运用Faster RCNN网络实现多种类别的小部件识别定位。文献[15]结合深度学习和随机森林对电力设备图像进行检测。文献[16]利用深度迁移学习提出一种单阶段多框检测器的目标检测算法，并采用软性惩罚非极大值抑制等方法进行优化，实现电力小部件检测。上述方法相较传统识别方法在识别时间和准确率方面均有较大的性能提升，但其研究主要集中于绝缘子识别和故障检测，对于复杂背景下的绝缘子检测研究较少。本文针对航拍图像中的输电线路绝缘子检测问题，通过多尺度训练提升系统鲁棒性，优化区域生成网络（Region Proposal Network，RPN）候选框比例使检测结果更贴合目标，改进Faster RCNN^[17]模型并引入遮挡掩膜生成困难样本，通过不断检测学习提升遮挡情况下的绝缘子检测精确度。

1 绝缘子检测方法

在RCNN^[18]和Fast RCNN^[19]的基础上，2015年微软研究院的任少庆等人提出了Faster RCNN算法，该算法将特征提取、建议框提取、边框回归、分类回归整合于一个网络中，使得整体性能得到大幅提升，尤其在检测速度方面，真正实现了端到端的目标检测框架。

在海量航拍图像中，绝缘子形态不一且目标检测鲁棒性差。为提高目标检测准确性和检测速度并降低漏检率，本文选用Faster RCNN为基础模型进行航拍绝缘子检测，在此基础上结合多尺度训练、候选区域比例微调和遮挡样本的对手生成策略，解决目标尺寸不一、遮挡等因素对绝缘子检测的影响，进一步提高绝缘子检测的精确度。航拍绝缘子检测流程如图 1所示。

1.1 航拍图像处理及数据集建立

本文中的绝缘子数据集涵盖了不同地点、不同时期的6 500张无人机巡检航拍绝缘子图像。航拍图像中部分图像拍摄角度视野过大，检测目标不明显，于是对部分图像进行预处理以减少非目标信息，并对训练集中每张图像出现的绝缘子进行标记。为更好地识别出测试集中的绝缘子，在标注时尽量减少标注框内的其他物体信息，同时较好地贴合航拍图像中的绝缘子，如图 2所示。对于测试样本，本文选用400张图像作为测试集，并且测试集中不使用训练样本中的图像。在识别测试集时，标记出航拍图像中的绝缘子，包括残缺和遮挡的绝缘子，表示实现一次成功的识别。

1.2 Faster RCNN检测方法

Faster RCNN检测方法的基本流程如图 3所示，检测过程具体如下：1）输入需要测试的图像；2）通过一组基础的CNN网络对输入的整张图像进行特征提取；3）每张图像通过RPN网络生成300个建议窗口；4）将建议窗口映射到CNN网络的最后一层卷积特征图上；5）通过感兴趣区域（Region of Interest，RoI）池化层使每个RoI生成固定尺寸的特征图；6）对分类概率和边框回归进行联合训练。

Faster RCNN检测方法包括提取候选框的RPN网络和检测目标的分类回归网络两部分。RPN的本质是基于滑窗的无类别目标检测器，作用是提供高质量的目标候选框，结构如图 4所示，特征图中每个像素点都配备了k种锚点作为初始检测框，判断该锚点是否成功覆盖目标以及为物体锚点进行坐标修正。由于RPN网络对输入样本数据的分类为二分类问题，使得分类层可得到2k个评分，并且坐标修正为4个值（x，y，w，h），因此回归层可得到4k个参数化坐标。

在训练RPN时，对交并比（Intersection over Union，IoU）大于0.7的候选框分配正标签，IoU小于0.3的候选框分配负标签。损失函数计算公式为：

$ \begin{array}{l}L({p}_{i}\mathrm{ }, {\boldsymbol{t}}_{i})=\frac{1}{{N}_{\mathrm{c}\mathrm{l}\mathrm{s}}}\sum\limits_{i}{L}_{\mathrm{c}\mathrm{l}\mathrm{s}}({p}_{i}\mathrm{ }, {p}_{i}^{\mathrm{*}})+\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\lambda \frac{1}{{N}_{\mathrm{r}\mathrm{e}\mathrm{g}}}\sum\limits_{i}{p}_{i}^{\mathrm{*}}{L}_{\mathrm{r}\mathrm{e}\mathrm{g}}({\boldsymbol{t}}_{i}\mathrm{ }, {\boldsymbol{t}}_{i}^{\mathrm{*}})\end{array} $

(1)

其中，$ {p}_{i}^{\mathrm{*}} $是锚预测为目标的概率，$ {p}_{i}^{\mathrm{*}} $为每一个锚的预测类别，$ {\boldsymbol{t}}_{i}=\{{t}_{x}, {t}_{y}, {t}_{w}, {t}_{h}\} $是表示预测矩形边界框4个参数化坐标的向量，$ {\boldsymbol{t}}_{i}^{\mathrm{*}} $是正锚对应的真值包围盒的坐标向量，$ {L}_{\mathrm{c}\mathrm{l}\mathrm{s}}({p}_{i}, {p}_{i}^{\mathrm{*}}) $是目标与非目标这两类的对数损失，$ {L}_{\mathrm{r}\mathrm{e}\mathrm{g}}({\boldsymbol{t}}_{i}, {\boldsymbol{t}}_{i}^{\mathrm{*}}) $是回归损失，$ {p}_{i}^{\mathrm{*}}{L}_{\mathrm{r}\mathrm{e}\mathrm{g}} $表示只有前景锚才有回归损失，其余情况均没有。在式（1）中，$ \frac{1}{{N}_{\mathrm{c}\mathrm{l}\mathrm{s}}}\sum\limits_{i}{L}_{\mathrm{c}\mathrm{l}\mathrm{s}}({p}_{i}, {p}_{i}^{\mathrm{*}}) $为分类损失值，$ \lambda \frac{1}{{N}_{\mathrm{r}\mathrm{e}\mathrm{g}}}\sum\limits_{i}{p}_{i}^{\mathrm{*}}{L}_{\mathrm{r}\mathrm{e}\mathrm{g}}({\boldsymbol{t}}_{i}, {\boldsymbol{t}}_{i}^{\mathrm{*}}) $为回归损失值，其中分类损失值函数和回归损失函数计算公式为：

$ {L}_{\mathrm{c}\mathrm{l}\mathrm{s}}({p}_{i}, {p}_{i}^{\mathrm{*}})=-\mathrm{l}\mathrm{o}{\mathrm{g}}_{a}[{p}_{i}^{\mathrm{*}}{p}_{i}+(1-{p}_{i}^{\mathrm{*}}\left)\right(1-{p}_{i}\left)\right] $

(2)

$ {L}_{\mathrm{r}\mathrm{e}\mathrm{g}}=R({\boldsymbol{t}}_{i}-{\boldsymbol{t}}_{i}^{\mathrm{*}}) $

(3)

其中：

$ R\left(x\right)=\left\{\begin{array}{l}0.5{x}^{2}, \left|x\right|<1\\ \left|x\right|-0.5, \left|x\right|\ge 1\end{array}\right. $

(4)

1.3 改进的Faster RCNN网络模型

为使Faster RCNN网络模型更好地应用于绝缘子检测，本文在原始Faster RCNN网络模型的基础上结合多尺度训练、候选区域比例微调和对手生成策略增强模型性能。

1.3.1 多尺度训练

在输电线路中，绝缘子尺寸差异较大，原始Faster RCNN模型通常会对所有训练图像采用恒定的尺寸，在这种情况下会使尺寸不同的目标检测效果较差。本文采用多尺度训练，在保持绝缘子图像原有比例不变的前提下，将图像大小进行随机调整，将图像较短一边的像素设置为480、600和750，并在这3种条件下进行网络训练。实验结果证明，多尺度训练使Faster RCNN网络对绝缘子尺寸具有一定鲁棒性。

1.3.2 候选区域比例微调

Faster RCNN网络的主要优势为选用提取候选RPN网络代替耗时较多的选择性搜索过程。在原始Faster RCNN网络中RPN共使用128×128、256×256、512×512这3种缩放比例以及1∶2、1∶1、2∶1这3种候选区域比例，因此每个锚位置产生了9个锚框。由于航拍图像中绝缘子尺寸与公共数据集中多数目标不同，因此为了得到更好的识别结果，需要微调候选区域比例。对航拍绝缘子图像训练集中6 500张图像进行统计，图像中多数绝缘子候选区域比例为1∶1、1∶2、1∶3、1∶4和1∶5，绝缘子数量分别为552张、981张、1 877张、1 789张和751张。将RPN网络中原有3种候选区域比例进行扩展，寻找最适宜的比例，如图 5所示。

1.3.3 对手生成策略

由于航拍中的不确定因素以及输电线路结构的复杂多样，因此导致航拍图像中出现了背景物件过多且绝缘子被遮挡的情况，如图 6所示，在图 6（a）中中间绝缘子颜色与杆塔近似且大部分与杆塔重叠，在图 6（b）中左上角两个绝缘子也出现了类似情况。

基于上述情况，如果直接对绝缘子进行检测，则将会导致识别率大幅降低。借鉴A-Fast-RCNN^[20]网络模型中使用对抗网络生成遮挡来训练检测网络的思想，本文将对手生成策略引入Faster RCNN网络中解决遮挡样本的检测问题。改进的Faster RCNN网络框架如图 7所示。

将RoI池化层之后的部分称为CO网络，它将原始的一个网络扩展为两个共享网络。网络1的输入是Faster RCNN中RoI池化后的特征图，通过全连接层生成遮挡掩膜，判断在特征图中哪些部分应丢弃后生成困难样本，并且所有操作都是向前的。网络2中包含向前和向后操作，它的输入是网络1所产生的困难样本，输出的损失函数能使网络1中的掩膜进行自动调整。在整个过程中会训练一个对手网络，产生检测困难的遮挡样本。经过训练的检测网络会检测出某个区域被遮挡，从而遮挡此区域特征，以便使检测网络对困难遮挡情况进行充分分析，最终得到更高的检测准确率。

网络1的输入是特征图，而掩膜会丢弃特征图某一部分的特征，从而使特征对象更难检测。特征X的尺寸为$ d\times d\times c $，其中，d是空间维度，c是通道数。掩膜Y会输出$ d\times d $个值，这些值为0或1。若$ {Y}_{ij} $是第i行、第j列的掩膜值，则$ {X}_{ij} $是第i行、第j列的k通道特征值，其中$ \forall K $表示任意的$ k $通道。当$ {Y}_{ij}=1 $时，丢弃特征图上的所有通道值，计算公式为：

$ {X}_{ijk}=0, \forall K $

(5)

在训练过程中，使用$ d/3\times d/3 $的滑窗丢弃滑框内的特征值，生成候选区域中的新特征向量。在所有滑窗中选取损失最高的滑窗，利用该滑窗生成单一掩膜，对于n个候选区域生成n个训练样$ \left\{\right({X}^{1}, {Y}^{1})\mathrm{ }, $本$ ({X}^{2}, {Y}^{2}), \cdots , ({X}^{n}, {Y}^{n})\} $。假设O是CO网络的生成器，那么O（X）就是生成的困难样本，训练CO网络的损失函数计算公式为：

$ {L}_{O}=-{L}_{\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}}\left(F\right(O\left(X\right))\mathrm{ }, C) $

(6)

其中，$ F $是检测器，$ X $是候选目标。式（6）表明在对生成特征进行分类时，若过程较顺利，则产生的损失较大，反之产生的损失较小，目的是生成使网络具有高损失值的掩膜，其交叉熵损失函数计算公式为：

$ L=-\frac{1}{n}\sum\limits_{e}^{n}\sum\limits_{i, j}^{d}[{\tilde{Y}}_{ij}^{e}{O}_{ij}\left({X}^{e}\right)+(1-{\tilde{Y}}_{ij}^{e})(1-{O}_{ij}({X}^{e}\left)\right)] $

(7)

其中，$ Y $表示困难样本中的生成掩膜，$ {O}_{ij}\left({X}^{ε }\right) $表示输入特征图$ {X}^{ε } $的$ （i, j） $位置中的网络输出。

2 实验结果与分析

本文实验运行在配置为Inter Core i7-9700F@4.50 GHz、8 GB内存、RTX2070 Super Ultra OC GPU的计算机上，选取含有绝缘子的航拍图片共6 500张，其中，6 100张为训练集，400张为测试集，航拍图像示例如图 8所示。

为评估本文实验的有效性，使用精确度（Precision）和召回率（Recall）^[21]来衡量模型检测结果，计算公式为：

$ {P}_{\mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}=\frac{{T}_{\mathrm{T}\mathrm{P}}}{{T}_{\mathrm{T}\mathrm{P}}+{F}_{\mathrm{F}\mathrm{P}}} $

(8)

$ {R}_{\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}=\frac{{T}_{\mathrm{T}\mathrm{P}}}{{T}_{\mathrm{T}\mathrm{P}}+{F}_{\mathrm{F}\mathrm{N}}} $

(9)

其中，$ {T}_{\mathrm{T}\mathrm{P}} $表示正值正样本，$ {F}_{\mathrm{F}\mathrm{P}} $表示负值正样本，$ {F}_{\mathrm{F}\mathrm{N}} $表示负值负样本。

2.1 网络训练对检测结果的影响

在训练时设置批次大小为128，即每次输入128张航拍图像进行训练，权值衰减为0.000 5，初始学习率为0.001。通过损失值来判断网络训练效果，如图 9所示。可以看出，损失值随着迭代次数增多逐渐呈现下降趋势，在迭代次数达到一定值时，无限收敛于0，说明随着迭代次数的增加，训练效果越来越好。

平均准确率与迭代次数的关系如图 10所示。获取额外100张图像作为验证集，在模型迭代4 000次后，验证集中绝缘子识别的平均准确率接近80%并逐渐上升，在迭代次数为14 000次时达到87%的最大值。本文将迭代14 000次后的网络模型作为目标检测模型，并使用不同方法进行检测。

2.2 候选区域比例对检测结果的影响

通过调整RPN网络中候选区域的比例数量，对本文建立的数据集进行检测，得到的检测结果平均精度（Average Precision，AP）如表 1所示。

由表 1可知，最优的候选区域比例为1∶4、1∶3、1∶2、1∶1、2∶1、3∶1、4∶1。随着候选区域比例数量的增加，会使检测精度降低，微调后的模型精度比初始模型提升了8.16%。微调候选区域比例前后的实验结果如图 11所示，在图 11（a）中两串绝缘子被单独识别，在图 11（b）中识别框更贴合绝缘子目标，说明微调候选区域比例后，改进的Faster RCNN网络模型能更准确地识别绝缘子区域，减少识别区域内的非绝缘子信息。

2.3 改进Faster RCNN网络模型的检测结果

Fast RCNN、YOLOv3^[22]、Faster RCNN和改进的Faster RCNN网络模型的检测结果如图 12所示。可以看出，本文改进的Faster RCNN网络模型相较Fast RCNN、YOLOv3和Faster RCNN网络模型，能更完整地识别出被杆塔遮挡的绝缘子部分，且能识别出微小的绝缘子目标，同时识别框更贴合目标绝缘子。

本文使用不同网络模型对400张测试集进行检测，若能准确标识出图像中的所有绝缘子，包括残缺以及遮挡绝缘子，且标识框能较好地贴合绝缘子，则将其视为能正确标识测试图片，得到的检测结果如表 2所示。可以看出，改进的Faster RCNN网络模型的精确度相较Fast RCNN、YOLOv3和Faster RCNN网络模型分别提升了5.10、3.58和4.33个百分点，召回率分别提升了9.75、5.75、7.75个百分点。从表 3可以看出，改进的Faster RCNN网络模型的平均检测时间相比YOLOv3和Faster RCNN网络有少许增加，但仍能满足巡检要求。

本文采用5种策略对网络进行训练和测试，进一步验证改进的Faster RCNN网络模型的有效性。策略内容具体如下：1）未改进候选区域比例，未使用多尺度训练和对手生成策略；2）改进候选区域比例，未使用多尺度训练和对手生成策略；3）改进候选区域比例，使用多尺度训练和未使用对手生成策略；4）改进候选区域比例，未使用多尺度训练和使用对手生成策略；5）改进候选区域比例、使用多尺度训练和对手生成策略。如表 4所示，策略2相比策略1调整了候选区域比例，使得检测精确度提升了0.67个百分点，可以更精确地检测多尺寸绝缘子，策略3相比策略2采用多尺度训练，使得检测精确度提升了2.15个百分点，具有更好的鲁棒性，策略4相比策略2将对手生成机制引入网络模型中，使得检测精确度提升了2.92个百分点。综上所述，改进候选区域比例，使用多尺度训练和对手生成策略这3种方法均能提升改进的Faster RCNN网络模型的检测精确度。

3 结束语

本文提出一种基于改进的Faster RCNN网络模型的输电线路航拍绝缘子检测方法，引入多尺度训练提升目标检测鲁棒性，通过微调RPN候选区域比例，使得检测结果更精确且检测框更贴合绝缘子，并设计对手生成策略提高困难样本的检测精确度。实验结果表明，改进的Faster RCNN网络模型的检测精确度相比Faster RCNN网络模型提升了4.33个百分点，但平均检测时间有所增加，并且实验数据集中的图像均为理想环境下拍摄得到，因此后续将通过添加红外、缺陷等绝缘子图像扩充实验数据集，并进一步优化Faster RCNN网络模型，从而减少测试时间及提升检测准确性。