0 概述

能见度是指视力正常的人能从背景中识别出目标物的最大距离^[1], 是反映大气透明程度的一个重要指标。低能见度天气对交通安全和军事行动等影响较大^[2], 因此, 准确、高效的能见度检测方法是地面气象观测重要的研究内容之一。近年来, 能见度自动检测方法以及相关仪器的研究取得了一定进展, 但由于能见度的定义具有较强的主观性, 其本身受诸多因素的影响。与人工观测相比, 各类方法的精确性与稳定性均存在较大差距, 因此, 对能见度的自动检测与估计已成为当前大气科学领域研究的热点之一。为学习可有效反映能见度的视觉特征, 解决能见度数据集样本量少且分布不均匀的问题, 本文提出一种基于迁移学习的能见度检测方法, 迁移已有的深度神经网络来进行图像抽象特征的提取, 并通过回归模型和子区域图像估计值融合实现能见度检测。

1 相关工作

现有能见度检测方法主要包括目测法、器测法和基于图像视频的检测方法等。目测法通过人工观测来估计所在场景的能见度^[3], 其准确程度受观测人员主观经验、视力情况和目标物选取的影响, 且检测频次受限。器测法主要利用透视式或散射式能见度仪进行检测^[4], 两者均以采样空间数据代表大气全程范围能见度, 检测精度易受局部空间大气状况的影响, 且检测仪器较昂贵, 难以满足能见度检测的实际应用需求。

近年来, 摄像机因其覆盖范围广、信息内容丰富等优点, 被广泛用于交通、安全等领域^[5-6]。其中, 模型驱动法根据大气对图像的衰减效应建立光传播物理模型, 估计模型参数, 以此反推能见度。文献[7]利用暗原色先验原理计算大气光传播模型的透射率, 根据CIE能见度公式计算能见度。文献[8]提取图像的平均Sobel梯度, 构建能见度估计模型。该方法的估计精度与物理模型定义、参数设置紧密相关, 而大气中影响光传播的悬浮粒子种类较多, 粒子分布不均匀, 难以准确定义光传播的物理模型。

数据驱动法主要针对低能见度天气造成的图像模糊和退化, 通过历史数据来训练图像特征与能见度的关系模型^[9-10]。该方法无须建立精确的光传播物理模型, 可充分利用累积的先验数据获得相对较高的检测精度。例如:文献[11]拟合能见度与Lip对比度的多元线性函数; 文献[12]训练能见度和兴趣域窗格灰度均方差的线性回归模型。这类方法需要提取一种或多种特征, 然而, 特定的视觉特征通常不能完全反映能见度衰减对图像的各类影响, 因此该类方法的能见度检测精度较低。随着数据规模的扩大和计算机的快速发展, 深度学习在机器视觉领域取得重大突破, 其可提取到更具表征能力的图像特征。深度神经网络需要海量数据进行训练, 但大规模能见度标注样本集通常难以构建, 其主要原因是:

1) 能见度标注易受观测员主观因素的影响, 标注精度难以保证且标注工作量较大。

2) 能见度受天气情况影响较大, 恶劣天气出现频次较低, 低能见度样本数量较少。

为解决上述问题, 本文提出一种基于迁移学习的能见度检测方法, 将已有的深度神经网络迁移至能见度检测领域, 通过深度神经网络提取能见度图像的抽象特征, 修改网络分类层并构建能见度检测模型。由于图像的部分区域易受内容单一、遮挡物多、镜面反射等因素影响, 能见度估计结果会产生显著误差。本文将样本图像划分为多个子区域, 利用预训练的VGG-16网络对其进行编码。用支持向量回归(Support Vector Regression, SVR)替换网络分类层构建各子区域图像特征编码结果与能见度的回归模型, 并通过训练得到回归模型参数。最后, 将各回归模型的预测分布方差和预测拟合方差作为融合权重, 按权重融合各子区域估计值, 得到该图像场景的最终能见度检测结果。

2 能见度检测模型

利用历史图像或视频数据训练能见度检测模型时, 定义:已知训练样本图像集X={x₁, x₂, …, x_N}, 其对应的能见度标注集为Y={y₁, y₂, …, y_N}, 建立训练图像与能见度检测值的回归函数f(x), 得到检测样本图像x与能见度检测值的映射关系。为降低部分区域估计误差对整体能见度检测结果的影响, 本文将样本图像划分为n个大小相同的子区域, 则训练样本集可表示为:

$ \begin{array}{l} X' = \left\{ {{{X'}_1},{{X'}_2}, \cdots ,{{X'}_n}} \right\} = \left\{ {\left\{ {x_1^1,x_2^1, \cdots ,x_N^1} \right\},} \right.\\ \;\;\;\;\;\;\;\;\left. {\left\{ {x_1^2,x_2^2, \cdots ,x_N^2} \right\}, \cdots ,\left\{ {x_1^n,x_2^n, \cdots ,x_N^n} \right\}} \right\} \end{array} $

对应的能见度标注集为:

$ \begin{array}{l} Y' = \left\{ {{{Y'}_1},{{Y'}_2}, \cdots ,{{Y'}_n}} \right\} = \left\{ {\left\{ {y_1^1,y_2^1, \cdots ,y_N^1} \right\},} \right.\\ \;\;\;\;\;\;\left. {\left\{ {y_1^2,y_2^2, \cdots ,y_N^2} \right\}, \cdots ,\left\{ {y_1^n,y_2^n, \cdots ,y_N^n} \right\}} \right\} \end{array} $

本文方法流程如图 1所示。首先, 将输入图像划分成n个子区域, 本文将n值设为9, 并利用预训练VGG-16网络对各子区域图像进行编码, 得到编码特征集。然后, 以编码特征集作为输入, 训练相应支持向量回归模型并估计子区域能见度值。最后, 根据支持向量误差计算各子区域融合权重, 并按权重融合子区域能见度估计值, 得到最终检测结果。

3 VGG-16网络迁移 3.1 网络编码

大气能见度变化对成像的影响主要体现在其对图像亮度、对比度、颜色和景深等视觉特征的退化效果上。然而, 只利用特定几种视觉特征难以准确、全面地反映大气对成像衰减的影响。为此, 本文将经过预训练的深度神经网络迁移至能见度检测领域, 通过网络提取特征对图像进行编码。作为一种典型的深度神经网络, VGG-16网络已广泛应用于图像分类、目标识别等计算机视觉任务中^[13]。同时, 由于VGG-16网络可有效提取不同层次的抽象特征, 其逐渐被迁移并应用到无参考图像的质量评估领域^[14-15]。与图像质量评估问题相似, 本文也侧重考察外部环境对图像衰减的影响, 因此, 将预训练的VGG-16网络迁移至能见度检测模型中, 以有效提取图像抽象特征, 即网络编码。

VGG-16网络共有13个卷积层、5个最大池化层、3个全连接层和1个分类层, 卷积滤波器大小均为3×3, 输入为224×224的RGB图像, 其网络结构如图 2所示。为训练能见度检测模型, 本文将子区域样本图像集X′作为输入, 将网络第3个全连接层1 000维向量作为编码特征集M′={M′₁, M′₂, …, M′_n}={{m₁¹, m₂¹, …, m_N¹}, {m₁², m₂², …, m_N²}, …, {m₁ⁿ, m₂ⁿ, …, m_Nⁿ}}, 即为子区域图像编码结果。

3.2 支持向量回归机训练

为建立图像特征与能见度值间的关系, 本文采用SVR建立回归模型^[16]。SVR可解决小样本条件下的非线性回归问题^[17], 能有效改善“维数灾难”和“过拟合”等缺点, 提高泛化能力。本文将训练样本集中第i幅图像的第q个子区域编码特征m_i^q映射到高维特征空间φ(m_i^q)中, 并将其作为自变量, 对应的能见度标注值y_i作为因变量, 建立高维特征空间下的线性回归模型:

$ {y_i} = f\left( {m_i^q} \right) = \mathit{\boldsymbol{\omega \varphi }}\left( {m_i^q} \right) + b $

(1)

其中, ω为权向量, b为偏置项。依据结构风险最小化原则, 回归模型权重ω与偏差b可通过最小化目标函数得到, 具体如下:

$ R\left( {m_i^q} \right) = \frac{1}{2}{\left\| \mathit{\boldsymbol{\omega }} \right\|^2} + \frac{1}{N}\sum\limits_{i = 1}^N {{{\left| {f\left( {m_i^q} \right) - {y_i}} \right|}_\varepsilon }} $

(2)

其中, N为训练样本集中的图像数量, 损失函数设为|f(m_i^q)－y_i, ε为回归函数误差限值。为使‖ω‖²欧拉范数最小并控制拟合误差, 引入松弛变量{ξ_i}_i=1^N、{ξ_i^*}_i=1^N和惩罚因子C, 将式(2)中的最优化问题转化为约束最小化问题, 即:

$ \left\{ \begin{array}{l} \min \frac{1}{2}{\mathit{\boldsymbol{\omega }}^{\rm{T}}}\mathit{\boldsymbol{\omega }} + C\sum\limits_{i = 1}^N {{\xi _i}} + C\sum\limits_{i = 1}^N {\xi _i^ * } \\ {\rm{s}}.\;{\rm{t}}.\;{\mathit{\boldsymbol{\omega }}^{\rm{T}}}\mathit{\boldsymbol{\varphi }}\left( {m_i^q} \right) + b - {y_i} \le \varepsilon + \xi _i^ * \\ \;\;\;\;\;{y_i} - {\mathit{\boldsymbol{\omega }}^{\rm{T}}}\mathit{\boldsymbol{\varphi }}\left( {m_i^q} \right) - b \le \varepsilon + {\xi _i}\\ \;\;\;\;\;{\xi _i},\xi _i^ * \ge 0,i = 1,2, \cdots ,N \end{array} \right. $

(3)

为便于求解, 分别引入拉格朗日乘子α_i、α_i^*、η_i、η_i^*, 将式(3)转化为对偶问题, 通过求解约束化问题的对偶凸二次规划, 可得SVR模型:

$ f\left( m \right) = \sum\limits_{i = 1}^N {\left( {{\alpha _i} - \alpha _i^ * } \right)Q\left( {m_i^q,m} \right)} + {b^ * } $

(4)

其中, Q(m_i^q, m)为核函数, m为输入的子区域图像编码特征, f(m)为其能见度估计值。式(4)即为图像编码特征与能见度的回归模型。常用的核函数有线性核函数、多项式核函数和高斯径向基核函数^[18]等, 本文采用高斯径向基核函数建模。

在上述SVR模型中, ε控制SVR模型对样本数据的不敏感程度, 其值与样本噪声密切相关。ε过大则模型精度低, ε过小则模型泛化能力差。C为惩罚因子, 反映模型对样本数据的惩罚程度, C过大则模型泛化能力差, C过小则模型误差大。基于上述分析, 本文选取回归函数误差限值ε和惩罚因子C作为子区域融合权重的一部分。为保证模型精度与泛化能力, 将k折-交叉验证和网络搜索相结合来训练模型参数。

4 子区域估计值融合

当图像部分区域受内容单一、遮挡物多、镜面反射等因素影响时, 其能见度估计结果易产生较大误差。为降低单一图像对能见度检测的影响, 本文按权重融合图像中所有子区域的能见度估计值, 从而获得更稳定的检测结果, 融合公式如下:

$ V = \sum\limits_{q = 1}^n {{v^q}} \times {\omega ^q} $

(5)

其中, V为单幅图像融合后的能见度检测值, n为子区域数量, v^q为图像第q个子区域的能见度估计值, ω^q为其融合权重, 其数值反映该子区域能见度估计值的可信度。考虑到回归模型预测方差σ^q是刻画数据扰动对模型拟合能力的影响的重要因素, 本文子区域融合权重ω^q表示为归一化的预测方差倒数, 即:

$ {\omega ^q} = \frac{{\frac{1}{{{\sigma ^q}}}}}{{\sum\limits_{p = 1}^n {\frac{1}{{{\sigma ^q}}}} }} $

(6)

根据文献[19]提出的SVR回归误差分析方法, 本文将第q个子区域图像的预测方差σ^q定义为预测分布方差δ^q和预测拟合方差β^q 2个部分。其中, 预测分布方差由数据联合分布的不确定性产生, 可通过训练集数据和测试数据的协方差矩阵K计算得到, 即:

$ {\delta ^q} = {K_{\left( {l,l} \right)}} - \mathit{\boldsymbol{K}}_{\left( {Z,l} \right)}^{\rm{T}}\mathit{\boldsymbol{K}}_{\left( {Z,Z} \right)}^{ - 1}{\mathit{\boldsymbol{K}}_{\left( {Z,l} \right)}} $

(7)

其中, Z={{m₁^q, y₁}, {m₂^q, y₂}, …, {m_N^q, y_N}}为训练样本集第q个子区域编码特征与其能见度标注值构成的集合, l为测试图像第q个子区域编码特征与其能见度预测值构成的样本点, K_{(l, l)}为l点的自协方差, K_{(Z, l)}为集合Z与l点的协方差矩阵, K_{(Z, Z)}^－1为集合Z的协方差矩阵逆矩阵, 其中, 协方差矩阵K_{(A, B)}如下:

$ {\mathit{\boldsymbol{K}}_{{{\left( {A,B} \right)}_u}}} = \left[ {\begin{array}{*{20}{c}} {{k_{11}}}&{{k_{12}}}& \cdots &{{k_{1u}}}\\ {{k_{21}}}&{{k_{22}}}& \cdots &{{k_{2u}}}\\ \vdots & \vdots &{}& \vdots \\ {{k_{u1}}}&{{k_{u2}}}& \cdots &{{k_{uu}}} \end{array}} \right] $

(8)

$ {k_{or}} = Cov\left( {{h_o},{h_r}} \right),o,r = 1,2, \cdots ,u $

(9)

其中, u表示集合A与集合B构成新集合H的样本点数量, h_o和h_r分别表示集合H中第o个和第r个样本点, Cov(h_o, h_r)为样本点o与样本点r的协方差。

预测拟合方差β^q表示由训练集数据中的固有噪声导致的拟合误差, 本文采用训练SVR模型时得到的惩罚因子和误差限值计算预测拟合方差, 即:

$ {\beta ^q} = \frac{2}{{{{\left( {{C^q}} \right)}^2}}} + \frac{{{{\left( {{\varepsilon ^q}} \right)}^2}\left( {{\varepsilon ^q}{C^q} + 3} \right)}}{{3\left( {{\varepsilon ^q}{C^q} + 1} \right)}} $

(10)

其中, 惩罚因子C^q和误差限值ε^q通过第3.2节SVR模型训练得到。综合式(7)和式(10), 测试图像第q个子区域预测方差σ^q可表示为:

$ \begin{array}{l} {\sigma ^q} = {\delta ^q} + {\beta ^q} = \\ \;\;\;\;\;\;\;{\mathit{\boldsymbol{K}}_{\left( {l,l} \right)}} - \mathit{\boldsymbol{K}}_{\left( {Z,l} \right)}^{\rm{T}}\mathit{\boldsymbol{K}}_{\left( {Z,Z} \right)}^{ - 1}{\mathit{\boldsymbol{K}}_{\left( {Z,l} \right)}} + \frac{2}{{{{\left( {{C^q}} \right)}^2}}} + \frac{{{{\left( {{\varepsilon ^q}} \right)}^2}\left( {{\varepsilon ^q}{C^q} + 3} \right)}}{{3\left( {{\varepsilon ^q}{C^q} + 1} \right)}} \end{array} $

(11)

5 实验结果与分析 5.1 实验数据集与设备

为验证本文方法的有效性, 在CPU为Intel i7-6700k 4.00 GHz、内存为16 GB的PC机上基于Matlab进行实验。实验数据为固定地点主动摄像机采集的图像集, 采集时间为2014年1月—12月, 从5时—18时每小时采集一次数据, 每次采集均通过摄像机获取3个无重叠视角的图像, 图像分辨率为640像素×480像素, 样本图像标注值为能见度的人工观测值, 选取5 511帧图像作为样本数据集, 其中, 4 078帧作为模型训练样本集, 其余1 433帧作为测试样本集, 并将9个子区域的图像分辨率缩放至224像素×224像素。为分析本文方法在不同能见度范围下的有效性, 根据能见度等级划分规范^[1], 将所有能见度样本分为4个区间, 区间样本数量分布如表 1所示, 其中, 不同能见度下视角1和视角2的示例图像分别如图 3(a)、图 3(c)和图 3(b)、图 3(d)所示。表 1中选取的数据样本覆盖了不同能见度的值域范围, 但低能见度的样本数量相对较少。

5.2 结果分析

本文首先对图 3中的示例图像检测结果进行分析, 然后对测试集能见度检测值的分布、标注值与检测值的均值和方差、检测结果的平均误差和正确率进行分析。通过对比不同融合策略来验证本文权重融合方法的有效性。最后, 将本文方法与光传播模型(Light Propagation Model, LPM)^[7]、平均Sobel梯度(Average Sobel gradient, AS)方法^[8]、对比度学习(Contrast Learning, CL)方法^[11]和兴趣窗格拟合(Interest pane Fitting, IF)方法^[12]进行对比分析。

应用本文方法检测图 3图像的能见度。图 3(a)、图 3(c)的检测结果分别为14.119 km和1.128 km, 与标注值的误差分别为0.881 km和0.072 km; 图 3(b)、图 3(d)的检测结果分别为7.328 km和0.466 km, 与标注值的误差分别为0.328 km和0.016 km, 检测结果均接近标注值。

为对检测结果的正确性进行量化, 本文设定当检测误差小于标注值的10%时, 判定检测结果正确, 否则为错误。测试样本集能见度检测结果分布如图 4所示, 其中3条直线由上至下分别表示检测值为标注值的110%、100%和90%, 即当检测值位于上下2条直线之间时, 检测结果正确。从图 4可以看出, 测试结果基本正确。

在量化检测分布的基础上, 分别对标注值与检测值的均值、标准差等统计量进行分析, 并对检测正确率进行统计, 结果如表 2所示。从表 2可以看出, 检测结果与标注值的均值、标准差相差较小, 表明检测结果的集中趋势和离散程度与实际能见度基本一致。检测结果的平均误差均在标注值平均值的10%以内, 检测结果总体较好。在正确率方面, 除0.0 km~0.5 km区间的正确率较低外, 其他区间的正确率均接近或超过90%, 效果较好, 其主要原因是当能见度过低时, 图像衰退较严重, 所提取的抽象特征的表征能力较弱, 但总体仍能达到78.36%。

为验证本文权重融合策略的有效性, 将随机选取子区域、图像整体缩放、估计值平均等方法与本文权重融合方法进行对比。其中, 图像整体缩放是将测试图像按模型输入分辨率进行整体缩放后输入, 估计值平均是将所有子区域估计值取平均作为检测值, 实验结果对比如表 3所示。从表 3可以看出, 随机选取子区域的正确率最差。图像整体缩放的正确率较低, 主要是由于该方法图像部分区域内容单一, 对检测结果有影响。各子区域估计值平均方法的效果较好, 其在一定程度上避免了部分区域估计误差过大而影响整体检测效果, 但当能见度较低时, 检测误差较大, 且稳定性低。本文权重融合策略能够有效避免图像局部对整体检测效果的影响, 在各能见度范围内的正确率均达到较高水平, 且稳定性较好。

将本文方法与LPM、AS、CL和IF等方法进行对比, 其中LPM和AS为模型驱动方法, CL和IF为数据驱动方法, 对比结果如表 4所示。由表 4可知, 数据驱动方法的实验结果总体上优于模型驱动法, 但在能见度较低时, LPM方法表现较好。这主要是因为大气中不同粒子对光的折射和散射不同, LPM方法和AS方法计算的大气透射率存在误差, 根据单一物理模型估计能见度, 难以准确反映不同粒子对能见度的影响, 同时CL方法和IF方法因训练样本数量多且图像特征明显, 检测效果较好。当能见度较低时, CL方法和IF方法检测效果较差, 这是由于训练样本数量少, 模型训练不充分而产生过拟合现象。此外, LPM利用暗原色先验理论计算透射率, 由于该理论对于大雾图像的去雾效果较好, 因此在低能见度区间, LPM的检测正确率较高。本文方法在各能见度范围内的检测正确率均优于其他方法, 其原因是该方法利用同构空间下的特征迁移, 虽然能见度样本较少, 但其仍可通过预训练的深度神经网络提取到有效的抽象特征, 以解决低能见度样本检测效果差的问题。同时, 本文提出的区域融合策略使整体正确率有了较大提升, 达到91.67%。综上, 通过对比5种检测方法可以发现, 本文方法优于传统的模型驱动方法和数据驱动方法, 更适用于能见度检测的应用。

6 结束语

本文提出一种基于迁移学习的能见度检测方法, 利用迁移的VGG-16网络提取子区域图像特征, 训练能见度与特征向量的支持向量回归机并计算融合权重, 按权重融合各子区域的能见度估计值。实验结果表明, 该方法具有较高的检测正确率和稳定性, 可有效避免图像局部对整体检测效果的影响。该方法无须定义精确的影响因子和物理模型, 同时解决了难以构建大规模能见度标记数据集的问题, 可降低计算复杂度和模型训练时间。下一步将利用检测结果对深度神经网络进行微调, 以训练更适合能见度检测的图像特征编码模型。