开放科学（资源服务）标志码（OSID）：

0 概述

在目标检测、目标跟踪等计算机视觉领域进行下一步处理的关键是有高质量的输入图像。但是，在低光照条件下拍摄的图像通常对比度较低，大量细节难以识别，不但降低了人眼的视觉感知，而且难以满足更高级的计算机视觉系统中的算法对输入图像的要求。因此，低照度图像增强技术是当前图像处理和计算机视觉的研究热点之一。

近年来，低照度图像增强的常用算法分为直方图均衡法、基于反转图像去雾的方法、基于Retinex的方法以及基于深度学习的增强法4类。直方图均衡法通过一种灰度映射使像素均匀地分布在更多的灰度级上，从而提高图像的对比度。这种灰度映射虽然扩大了像素的动态范围，但也增大了量化间隔，导致灰度级合并，出现伪轮廓现象，致使图像细节丢失。基于光照-反射模型的Retinex理论最早由美国物理学家LAND^[1]提出，其核心思想是：反射分量决定物体本质信息，准确估计出光照分量，是实现图像增强的关键步骤。JOBSON等提出单尺度Retinex（SSR）^[2]多尺度Retinex（MSR）^[3]以及带颜色恢复的MSR算法（MSRCR）^[4]。FU等^[5]提出加权变分模型（SRIE），运用一种亮度阶次误差度量，既增强了图像的细节，又保持了图像的自然度。DONG等^[6]对低光照图像进行反转后，发现非天空区域至少有一个颜色通道具有低强度，类似于有雾图像，因此将去雾算法应用于反转的低光图像以进行图像增强。LI等^[7]提出一种新的结合对比度增强和去噪的低光图像增强框架，将低光图像分割成超像素进行自适应降噪，进一步提高了视觉质量。近年来，刘超等^[8]提出利用卷积自编码网络的方法，该方法运用自建数据训练集学习图像特征复原低照度图像，但增强的图像在细节及色彩方而有所欠缺。CHEN等^[9]基于FCN模型结构采用端到端训练模式，提出了一种在黑暗中也能快速生成清晰的成像系统，此方法直接使用原始传感器数据，改善了大量的传统图像处理流程，但是仅在构建的数据集上表现良好。

本文提出一种基于光照图估计的Retinex低照度图像增强算法，旨在通过估计其光照图来增强低光图像。通过找到三颜色通道中每个像素通道的最大值并利用L₂范数^[10]构建照明图，利用照明结构细化光照图，运用基于相对总变差（Relative Total Variation，RTV）形式的改进模型对亮通道进行平滑处理，并提取亮通道的结构图像。最终对细化光照图进行自适应Gamma校正，利用Retinex模型合成增强图。

1 基本模型 1.1 Retinex模型

根据文献[1]提出的Retinex模型，一幅给定的图像可分解为光照图像和反射图像，表达式如下：

$ I(x, y)=R(x, y)\times T(x, y) $

(1)

其中：$ I(x, y) $为原图像；$ R(x, y) $为反射图像，其反映物体本身的颜色信息，不受入射光的影响，对应图像的局部细节和高频分量；$ T(x, y) $为光照图像，表示入射光，其大小决定了一幅图像像素所能达到的动态范围，对应图像的全局自然性和低频信息^[11]。由于不易直接获得反映物体本质信息的反射分量$ R(x, y) $，需要通过估计入射分量$ T(x, y) $来消除其对原始图像的影响，还原出物体的本来面貌，进而达到图像增强的目的。因此，对光照图像的准确估计对还原图像十分重要。

1.2 相对总变差模型

XU等^[12]在全变差理论的基础上提出了基于相对总变差模型，该模型可以有效地分解图像中的结构信息和纹理，并且无需特别指定纹理是否规则或者对称。构造的目标函数如下：

$ \begin{array}{*{20}{c}} {S = \mathop {{\rm{argmin}}}\limits_S {{\sum\limits_p {\left( {{S_p} - {I_p}} \right)} }^2} + }\\ {\lambda \left( {\frac{{{D_x}\left( p \right)}}{{{L_x}\left( p \right) + \varepsilon }} + } \right.\left. {\frac{{{D_y}\left( p \right)}}{{{L_y}\left( p \right) + \varepsilon }}} \right)} \end{array} $

(2)

其中：

$ \left\{ {\begin{array}{*{20}{l}} {{D_x}\left( p \right) = \sum\limits_{q \in R\left( p \right)} {{g_{p,q}}} \cdot \left| {{{({\partial _x}S)}_q}} \right|}\\ {{D_y}\left( p \right) = \sum\limits_{q \in R\left( p \right)} {{g_{p,q}}} \cdot \left| {{{({\partial _x}S)}_q}} \right|} \end{array}} \right. $

(3)

$ \left\{ {\begin{array}{*{20}{l}} {{L_x}\left( p \right) = \left| {\sum\limits_{q \in R\left( p \right)} {{g_{p,q}}} \cdot {{({\partial _x}S)}_q}} \right|}\\ {{L_y}\left( p \right) = \left| {\sum\limits_{q \in R\left( p \right)} {{g_{p,q}}} \cdot {{({\partial _x}S)}_q}} \right|} \end{array}} \right. $

(4)

$ g{}_{p.q}\propto \mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}(x, y)}{2{\sigma }^{2}}\right) $

(5)

其中：式（2）中$ {I}_{p} $为输入图像，$ {S}_{p} $为输出的结构图像，$ p $为二维图像像素索引，$ \lambda $是一个自定义的控制参数，用于控制图像平滑程度；式（3）中$ {D}_{x}\left(p\right) $、$ {D}_{y}\left(p\right) $分别为任意像素点$ p $在$ x $方向和$ y $方向的窗口全变差，即在窗口$ R\left(p\right) $内的空间绝对差分，窗口全变差衡量的是图像区域中结构的强度和显著性，引入窗口全变差可以强化图像中的主要结构；式（4）中$ {L}_{x}\left(p\right) $、$ {L}_{y}\left(p\right) $捕获整体空间变化，是像素点在$ x $、$ y $两个方向的窗口固有变分，含有大量纹理信息区域的窗口固有变差值比含有主要结构边缘区域要小，所以窗口固有变差成为保留图像主要结构并去除纹理信息的关键；式（5）中$ g{}_{p.q} $为高斯核函数，函数$ \mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}(x, y) $用于测量位置$ x $和$ y $之间的空间欧几里得距离。

2 本文算法

本文算法流程如图 1所示。

2.1 初始光照图估计

MAX-RGB是传统Retinex图像增强所采用的算法，它通过寻找R、G、B 3个颜色通道的最大值来估计光照分量，但这种估计只能增强全局照明。为了处理非均匀照明，本文首先采取以下初始估计，认为三通道图像都是共享同一个光照图：

$ {T}^{c0}(x, y)=\underset{c\in \left\{R, G, B\right\}}{\mathrm{m}\mathrm{a}\mathrm{x}}{I}^{c}(x, y) $

(6)

在低照度情况下，因为局部光照非恒定，所以观察到的原始图像的光照分量是变化的。因此，照度较低的区域受相邻高像素值的影响会导致所估计的照度较高，在亮度相差较大的边缘处会产生光晕伪影并传播到MAX-RGB中。本文利用L₂范数来平滑光照分量，定义初始光照图为：

$ {T}^{c}(x, y)=\underset{c\in \left\{\mathrm{R}, \mathrm{G}, \mathrm{B}\right\}}{\mathrm{m}\mathrm{a}\mathrm{x}}{‖{I}^{c}\left(x, y\right)‖}_{2} $

(7)

其中：$ {I}^{c} $为R、G、B通道输入图像的颜色分量；$ {‖\cdot ‖}_{2} $表示L₂范数。L₂范数会产生较小的权重，考虑更多的模型特征，使数据偏移对结果造成较小的影响，从而增强模型的泛化能力，防止过拟合。

2.2 细化光照图求解

在低照度图像中，由于光线较暗，图像主结构的边界不是很清晰，整体梯度较小，因此很难与周围的细节部分区分开。为了保证照度分量的整体结构、平滑纹理细节和大小范围3个约束条件，本文提出一种基于RTV的改进模型对初始光照图进行细化处理，优化的目标函数如下：

$ \begin{array}{*{20}{c}} {T = {\rm{argmin}}\sum\limits_p {{{\left\| {T - {T^c}} \right\|}_2}} + }\\ {\lambda \left( {\frac{{{g_{p,q}}}}{{\left| {{{\left( {{\partial _x}T} \right)}_q}} \right| + \varepsilon }} + \frac{{{g_{p,q}}}}{{\left| {{{\left( {{\partial _y}T} \right)}_q}} \right| + \varepsilon }}} \right)} \end{array} $

(8)

其中：$ {T}^{c} $是初始光照图；$ T $是细化光照图；$ p $为二维图像像素索引，第1项为使用L₂范数的图像相似性约束项，考虑初始光照图$ {T}^{c} $与细化后光照图$ T $之间的保真度，第2项为梯度约束项，是用于主结构和纹理分离模型的正则项，考虑平滑度；$ \lambda $是自定义的控制参数，用于平衡第1项和梯度约束项，$ \lambda $越大，梯度的相对总变差的权重越大，输出图像中的梯度就越稀疏，意味着图像越平滑，但是过度增加$ \lambda $也会造成图像模糊，并且纹理反而保留下来；$ g{}_{p.q} $与RTV中所代表的含义相同，是由具有标准偏差$ \sigma $的高斯核产生，为高斯核函数。

运用式（8）模型，使得梯度约束项可以拟合大范围的显著边缘并提高图像对比度，将显著边缘部分全局锐化，更有利于提取图像的主要结构。

根据XU等^[12]的描述，在$ x $方向上式（8）可以分解如下：

$ \begin{array}{*{20}{l}} {\sum\limits_p {\frac{{{g_{p,q}}}}{{{{({\partial _x}T)}_q} + \varepsilon }}} \approx }\\ {\sum\limits_q {\sum\limits_{p \in R\left( q \right)} {\frac{{{g_{p,q}}}}{{{{({\partial _x}T)}_q} + \varepsilon }}} } \frac{1}{{\left| {{\partial _x}{T_q}} \right| + {\varepsilon _s}}}({\partial _x}T)_q^2 \approx }\\ {\sum\limits_q {{u_{xq}}} {w_{xq}}({\partial _x}T)_q^2} \end{array} $

(9)

其中：

$ {u_{xq}} = \sum\limits_{p \in R\left( q \right)} {\frac{{{g_{p,q}}}}{{{{({\partial _x}T)}_q} + \varepsilon }}} $

(10)

$ {w}_{xq}=\frac{1}{\left|{\left({\partial }_{x}T\right)}_{q}\right|+{\epsilon }_{s}} $

(11)

在$ y $方向上求解类似，将目标函数式（8）分解成非线性项和二次项的形式，最后转化为矩阵形式：

$ {\left({\boldsymbol{v}}_{T}-{\boldsymbol{v}}_{{T}^{c}}\right)}^{\mathrm{T}}\left({\boldsymbol{v}}_{T}-{\boldsymbol{v}}_{{T}^{c}}\right)+\lambda \left({\boldsymbol{v}}_{T}^{\mathrm{T}}{\boldsymbol{C}}_{x}^{\mathrm{T}}{\boldsymbol{U}}_{x}{\boldsymbol{W}}_{x}{\boldsymbol{C}}_{x}{\boldsymbol{v}}_{T}+\\ {\boldsymbol{v}}_{T}^{\mathrm{T}}{\boldsymbol{C}}_{\boldsymbol{y}}^{\mathrm{T}}{\boldsymbol{U}}_{y}{\boldsymbol{W}}_{y}{\boldsymbol{C}}_{y}{\boldsymbol{v}}_{T}\right)={\boldsymbol{v}}_{T} $

(12)

其中：$ {\boldsymbol{v}}_{T} $和$ {\boldsymbol{v}}_{{T}^{c}} $分别是$ T $和$ {T}^{c} $的2个列矢量；$ {\boldsymbol{C}}_{x} $、$ {\boldsymbol{C}}_{y} $是前向差分离散梯度算子的托普利兹矩阵；$ {\boldsymbol{U}}_{x} $、$ {\boldsymbol{W}}_{x} $、$ {\boldsymbol{U}}_{y} $、$ {\boldsymbol{W}}_{y} $是对角矩阵，对角线上的值分别为$ {U}_{x}\left[i, i\right]={U}_{xi} $、$ {U}_{y}\left[i, i\right]={U}_{yi} $、$ {W}_{x}\left[i, i\right]={W}_{xi} $、$ {W}_{y}\left[i, i\right]={W}_{yi} $。对式（12）求导得到如下线性方程：

$ \left(\boldsymbol 1+\lambda {\boldsymbol{L}}^{t}\right)\cdot {{\boldsymbol{v}}_{T}}^{t+1}={\boldsymbol{v}}_{{T}^{c}} $

(13)

其中：$ \boldsymbol 1 $是单位矩阵；$ {\boldsymbol{L}}^{t}={\boldsymbol{C}}_{x}^{\mathrm{T}}{\boldsymbol{U}}_{x}{\boldsymbol{W}}_{x}{\boldsymbol{C}}_{x}+{\boldsymbol{C}}_{\boldsymbol{y}}^{\mathrm{T}}{\boldsymbol{U}}_{y}{\boldsymbol{W}}_{y}{\boldsymbol{C}}_{y} $是基于结构向量$ {\boldsymbol{v}}_{T}^{\mathrm{T}} $计算的权重矩阵；$ \left(1+\lambda {\boldsymbol{L}}^{t}\right) $是对称正定拉普拉斯矩阵。式（13）可以用预处理共轭梯度法来求解。

2.3 Gamma校正

Gamma变换通过使用2个变化参数$ \gamma $和c来控制图像的整体亮度^[13]。伽马函数如下：

$ {I}_{\mathrm{o}\mathrm{u}\mathrm{t}}=c{I}_{\mathrm{i}\mathrm{n}}^{\gamma } $

(14)

其中：$ {I}_{\mathrm{i}\mathrm{n}} $表示输入图像强度；$ {I}_{\mathrm{o}\mathrm{u}\mathrm{t}} $表示输出图像强度；$ \gamma $和c都用于调整伽马函数的形状，在c=1的情况下，输入和输出图像的值范围为$ \left[\mathrm{0, 1}\right] $。不同的$ \gamma $会产生不同的拉伸效果。

经反复实验，本文改进自适应的Gamma校正因子^[13]，该因子可以较好地校正细化光照图，使得增强后的图像视觉效果更佳。校正因子如下：

$ \gamma ={\left(\frac{1}{2}\right)}^{1-\left(\mu +\sigma \right)} $

(15)

其中：$ \sigma $为图像标准差；$ \mu $为图像均值。

根据得到的$ \gamma $值对细化光照图进行伽马校正：

$ L\left(x, y\right)={T}^{\gamma } $

(16)

其中：$ T $为细化光照图。

2.4 基于Retinex增强

为避免出现分母为零和增强后的图像过饱和的情况，基于Retinex模型，本文加入一个非常小的参数$ \epsilon $（$ \epsilon $=0.001）对低光图像的光照分量进行非均匀地增强：

$ R\left(x, y\right)=\frac{I\left(x, y\right)}{L\left(x, y\right)+\epsilon } $

(17)

3 实验与结果分析 3.1 本文算法实验效果

本文所有算法统一在Matlab软件平台下实现，计算机配置是英特尔酷睿i7 4 GHz处理器、8 GB RAM、Windows 7操作系统。

经多次实验，本文算法所采用的自定义控制参数设置为$ \lambda =0.03 $，$ \epsilon =0.001 $时效果最佳。

本文算法处理的步骤及效果如图 2所示。图 2（d）为经过本文改进模型处理后的细化光照图，它将低光照图像的主结构完整地提取出来，平滑了不必要的纹理细节，有助于得到高质量增强图像；图 2（e）提升了光照图像的亮度，使最后增强结果颜色更加鲜艳自然；图 2（f）为最终得到的增强图像，图像对比度及清晰度相较于原始低光图像明显提高，图像细节也较好地保留下来。总之，每个中间步骤都有其自身的重要性，有助于提高视觉质量。

3.2 本文算法的有效性验证

为验证对RTV模型改进的有效性，将RTV算法与本文算法实现的图像增强效果进行主观和客观的对比分析。实验结果对比如图 3所示。

处理效果的主客观评价如下：

1）处理效果的主观评价

图 3（a）、图 3（d）、图 3（g）、图 3（j）分别为选取的4幅低光照图像，从图 3可以看出，经本文算法处理后的视觉效果比RTV算法的更好。部分细节对比分析如下：图 3（c）是本文算法的处理效果，其调色盘中的各种颜色比图 3（b）RTV算法的对比度更高，色彩更鲜亮，区分更明显；对比图 3（f）本文算法的天空部分紫色闪电颜色更加鲜艳，云朵细节更突出，窗户及灯光的对比度更加明显；而图 3（i）本文算法的岩石细节更突出；图 3（l）本文算法的路灯照亮路面区域，明暗对比更加明显等。

2）处理效果的客观评价

本文选用的5个客观评价指标如下：

（1）峰值信噪比（PSNR）^[14]。能够表明增强后的图像相对于真实正常光照图像的失真程度，其值越大，说明增强后的图像质量越高，即失真越少。

（2）结构相似性（SSIM）^[15]。是一种衡量两幅图像相似度的指标，其值越大，表明增强后的图像与真实正常光照图像的结构特征越相似。

（3）色阶映射图像质量评价系数（TMQI）^[16]。源于SSIM，是衡量增强图像的色彩与原始图像色彩一致性的指标。TMQI值越大，图像质量越好。

（4）自然图像质量评价指标（NIQE）^[17]。是一种基于空间自然场景统计（NSS）模型构建的质量感知统计特征集合。NIQE值越低，说明图像质量越高，越符合人眼的主观评价标准。

（5）基于块的对比度质量指数（PCQI）^[18]。是一种基于局部块的客观质量评估方法，它能够生成局部对比度质量图。PCQI值越高，增强后的图像对比度越大，图像质量更好。

本文算法与RTV算法处理效果的客观评价指标如表 1所示。

从表 1可以看出，本文算法处理4幅图像的PSNR值、SSIM值、PCQI值、TMQI值和NIQE值均优于RTV模型算法。

3.3 算法对比

为验证本文算法的性能优势，仍然用上述4幅低照度图像，选用文献[19]的Retinex-Net、文献[20]的LIME、文献[21]的SRIE、文献[22]的TIAN等算法分别对其进行增强处理，然后与本文算法处理的效果进行性能评价。

1）实验结果的主观评价

本文算法与4种算法的实验结果如图 4所示。

从图 4可以看出，经本文算法增强后的图像在对比度上有明显的提升，且图像还原度高，没有过度增强或者增强不足的现象，色彩鲜艳自然，其视觉质量较好。

2）实验结果客观评价

本文算法与其他4种算法的5个客观评价指标如表 2~表 6所示。

从表 2~表 6的分析可以看出，本文算法的5个指标要好于其他算法。

4 结束语

本文针对低照度图像的低信噪比、低对比度、低分辨率等问题，提出一种基于光照图估计的Retinex低照度图像增强算法。采用L₂范数对光照进行近似，并对RTV模型的梯度约束项进行优化，使得在保留图像自然性的前提下给出图像的整体结构，并在MATLAB仿真实验中确定适用于低照度图像的GAMMA校正因子的取值。经Retinex模型进行增强后的实验结果表明，本文算法图像处理的效果在视觉上及客观评价指标方面都优于RTV算法。下一步将对本文算法在单幅低照度图像增强方面进行优化，减少算法时间复杂度，并应用于视频处理，以实现硬件系统中的视频图像增强处理。