0 概述

图像超分辨率重建技术借助退化的一幅或多幅低分辨率(Low Resolution, LR)观测图像恢复原始图像中缺失的高频细节信息, 从而使重建的高分辨率(High Resolution, HR)图像呈现出更好的视觉效果。在重建时, 仅需要一幅LR观测图像就可以重建出相同场景下的HR图像, 这对于实际应用具有重要意义^[1-2]。

随着彩色成像和显示设备的快速发展, 彩色图像超分辨率重建的需求日益增长。彩色图像相比于灰度图像具有更强的信息表达能力, 在卫星遥感监测、医学影像处理、文物保护与展示等领域具有广阔的应用前景^[3-4]。彩色图像的超分辨率重建已成为一个亟待解决的问题^[5-6]。

基于学习方法的彩色图像超分辨率重建是当前研究的重点, 具有代表性的主要有基于机器学习的方法^[7-8]、基于稀疏正则模型的方法^[9-10]和基于锚定领域回归的方法^[11-12]等。基于稀疏正则模型的重建方法具有图像信息表征效果好、计算复杂度低等优点, 因此得到了广泛应用。根据处理各通道色彩信息方式的不同, 该重建方法主要分为2类:基于联合色彩通道的重建方法和基于转换色彩空间的重建方法。

在基于联合色彩通道的重建方法方面, 文献[13]将RGB三通道看成一个整体, 并通过新定义的内积强化通道之间的联系, 保证重建的图像块能够维持原始三通道颜色的平均值信息。文献[14]构建彩色图像稀疏字典, 每个字典原子由RGB通道对应的3个原子叠加而成。然而, 该方法得到的稀疏字典可能含有较多的灰度原子, 导致重建彩色图像中存在一定的色彩伪影。

在基于转换色彩空间的重建方法方面, 文献[15]将彩色图像转换到YCbCr色彩空间中, 对Y通道进行联合稀疏重建, 而对Cb、Cr进行简单的插值。文献[16]提出基于自适应组合色彩通道的超分辨率方法, 通过RGB色彩通道的自适应组合, 获取不同通道内的显著纹理信息并整合到Y通道, 再将彩色图像转换回RGB色彩空间进行总变差(Total Variation, TV)正则等相关处理。该方法对彩色通道进行分离, 可能存在色彩信息在重建过程中不能有效恢复的情况。

此外, 基于图像块的稀疏编码是一个相对独立的过程, 在超分辨率重建过程中可能会造成相似图像块之间的全局相似性丢失, 出现细节模糊的情况。

针对以上问题, 本文在转换色彩空间的基础上, 构建彩色图像亮度通道的非局部稀疏模型, 将RGB色彩通道间的边界相似性约束引入到色彩伪影的消除过程中, 从而使重建彩色图像呈现出更好的视觉效果。

1 非局部稀疏表示

图像的非局部稀疏表示模型将局部图像块中存在的冗余信息和非局部图像块间存在的结构自相似性统一在同一框架下^[17-18]。该模型综合考虑了图像中所有相似块之间的全局相似性, 从图像块结构稀疏层次上尽可能提升重建算法的性能。

假设在图像块x_i位置利用欧式距离寻找与其纹理结构相似的所有图像块x_{i, q}, 并构建一个结构组S_xi。求解每个相似图像块对应的稀疏系数α_i, 并利用权重δ_i将稀疏系数加权平均, 可得到非局部估计值β_i, 具体如下:

$ {\mathit{\boldsymbol{\beta }}_i} = \sum\limits_{q \in {\mathit{\boldsymbol{S}}_{{\mathit{\boldsymbol{x}}_i}}}} {{\mathit{\boldsymbol{\delta }}_{i,q}}{\mathit{\boldsymbol{\alpha }}_{i,q}}} $

(1)

其中, ${{\mathit{\pmb{\delta}} }_{i, q}} = \frac{1}{w}\exp \left( {\frac{{ - \left\| {{{\mathit{\pmb{x}}}_i} - {{\mathit{\pmb{x}}}_{i, q}}} \right\|_2^2}}{h}} \right)$, w是归一化因子, h是前定参数。

从理论上讲, α_i与β_i应具有一致性。因此, 本文通过最小化二者的误差, 构建图像的非局部稀疏表示模型, 即||α_i－β_i||_p。

2 非局部稀疏的彩色图像超分辨率重建

本文基于非局部稀疏模型提出彩色图像超分辨率重建算法, 然后应用色彩通道约束方法对重建彩色图像进行色彩伪影消除。

2.1 非局部稀疏模型

基于块的稀疏表示模型如式(2)所示, 其实质是求解每个图像块y_i对应的稀疏系数α_i。

$ {\mathit{\boldsymbol{\alpha }}_k} = \mathop {\text{argmin}}\limits_\mathit{\boldsymbol{\alpha }} \left\{ {\left\| {{\mathit{\boldsymbol{y}}_k} - \mathit{\boldsymbol{D\alpha }}} \right\|_2^2 + \lambda {{\left\| \mathit{\boldsymbol{\alpha }} \right\|}_1}} \right\} $

(2)

其中, ${\mathit{\pmb{y}}} = \left[ {\begin{array}{*{20}{c}} {\frac{{{{\mathit{\pmb{Y}}}^1}}}{{\sqrt N }}}\\ {\frac{{{{\mathit{\pmb{Y}}}^{\rm{h}}}}}{{\sqrt M }}} \end{array}} \right], {\mathit{\pmb{D}}} = \left[ {\begin{array}{*{20}{c}} {\frac{{{{\mathit{\pmb{D}}}^1}}}{{\sqrt N }}}\\ {\frac{{{{\mathit{\pmb{D}}}^{\rm{h}}}}}{{\sqrt M }}} \end{array}} \right]$, N、M分别表示LR和HR图像块的维数, Y^l、Y^h分别为LR、HR图像样本集, D^l、D^h分别为LR、HR图像的非局部稀疏字典。然而, 式(2)在稀疏编码过程中相对独立地考虑每个图像块, 忽略了图像块之间的非局部相关性, 导致最终求解的稀疏表示系数不够稳定。因此, 找到一个能将自然图像固有的局部稀疏性与非局部自相似性相结合的模型, 是提升稀疏表示性能的关键。本文在上述稀疏表示模型的基础上, 利用非局部约束方法构建非局部图像块稀疏表示模型。在强化稀疏性的同时, 降低稀疏重建的误差, 计算过程如下:

$ {\mathit{\boldsymbol{\alpha }}_k} = \mathop {\text{argmin}}\limits_\mathit{\boldsymbol{\alpha }} \left\{ {\left\| {{\mathit{\boldsymbol{y}}_k} - \mathit{\boldsymbol{D\alpha }}} \right\|_2^2 + \lambda {{\left\| {{\mathit{\boldsymbol{\alpha }}_k}} \right\|}_1} + \gamma {{\left\| {{\mathit{\boldsymbol{\alpha }}_k} - {\mathit{\boldsymbol{\beta }}_k}} \right\|}_{\rm{p}}}} \right\} $

(3)

其中, β_k表示图像块y_k间的纹理结构相似性, 将其值作为权重自适应选择重建邻域块稀疏系数α_{k, q}的加权和值, 以保证α_k的稀疏性。由于重建图像块与期望图像块之间存在误差, 导致α_k≠β_k, 因此需要通过最小化两者误差来提升稀疏表示的稳定性。非局部稀疏重建模型可记为:

$ {\mathit{\boldsymbol{\tilde \alpha }}_k} = \mathop {\text{argmin}}\limits_\mathit{\boldsymbol{\alpha }} \left\{ {\left\| {{\mathit{\boldsymbol{y}}_k} - \mathit{\boldsymbol{D\alpha }}} \right\|_2^2 + \lambda {{\left\| {{\mathit{\boldsymbol{\alpha }}_k} - {\mathit{\boldsymbol{\beta }}_k}} \right\|}_{\rm{p}}}} \right\} $

(4)

为降低图像结构组的复杂度, 提高稀疏表达能力, 本文通过K-means算法^[19]对图像块进行分类, 进而对每个聚类进行针对性的稀疏重建, 最终实现整个图像的重建。

在非局部稀疏字典求解过程中, 首先通过K-means聚类算法将LR、HR图像样本集Y^l、Y^h分为K个聚类$\left. {\left\{ {{{\mathit{\pmb{Y}}}^1}, {{\mathit{\pmb{Y}}}^{\rm{h}}}} \right\}} \right|_{k = i}^K$, 该聚类中心为$\left. {{{\mathit{\pmb{c}}}_k}} \right|_{k = i}^K = \left| {{\mathit{\pmb{d}}}_k^{\rm{T}}{\mathit{\pmb{y}}}_i^1} \right|$, 其中, d_k表示字典D_k的第k个原子, y^l_i表示在样本图像块对集{y^l_i, y^h_i}中的LR样本图像块。值得注意的是, 该聚类过程得到的所有图像块都具有相似的纹理结构, 即K个聚类对应K个图像块结构组。为进一步提高稀疏重建字典的表达能力, 利用图像块间的非局部自相似性约束进行联合字典学习, 得到如下非局部稀疏字典对{D^l, D^h}:

$ \begin{array}{l} \left\{ {\mathit{\boldsymbol{D}}_k^{\rm{h}},\mathit{\boldsymbol{D}}_k^{\rm{l}},{\mathit{\boldsymbol{\alpha }}_k}} \right\} = \mathop {\arg \min }\limits_{\left\{ {\mathit{\boldsymbol{D}}_k^{\rm{h}},\mathit{\boldsymbol{D}}_k^{\rm{l}},{\mathit{\boldsymbol{\alpha }}_k}} \right\}} \left\{ {\left\| {\mathit{\boldsymbol{Y}}_k^1 - \mathit{\boldsymbol{D}}_k^{\rm{l}}{\mathit{\boldsymbol{\alpha }}_k}} \right\|_2^2 + } \right.\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left. {\left\| {\mathit{\boldsymbol{Y}}_k^{\rm{h}} - \mathit{\boldsymbol{D}}_k^{\rm{h}}{\mathit{\boldsymbol{\alpha }}_k}} \right\|_2^2 + \lambda {{\left\| {{\mathit{\boldsymbol{\alpha }}_k} - {\mathit{\boldsymbol{\beta }}_k}} \right\|}_1}} \right\} \end{array} $

(5)

其中, D^l_k和D^h_k分别表示第k个聚类$\left.\left\{\boldsymbol{Y}^{1}, \boldsymbol{Y}^{\mathrm{h}}\right\}\right|_{k=i} ^{K}$所对应的LR/HR子字典对, 矩阵α_k表示第k个结构组的稀疏表示向量。本文采用交替方向乘子算法^[20]对式(5)进行求解。首先固定字典对D, 求解LR/HR图像样本集在字典对上的稀疏表示α, 然后根据稀疏表示α更新字典对D。

为提高重建算法的有效性和鲁棒性, 对具有相似纹理结构的LR/HR图像样本集{Y^l, Y^h}进行特征提取, 以实现字典学习。为确保LR/HR字典对{D^l, D^h}间的稀疏共生先验, 在图像样本集{Y^l, Y^h}的构造过程中, LR图像y^l由HR图像y^h降采样得到。

在得到LR/HR稀疏字典对和对应的稀疏表示系数矩阵${\tilde {\mathit{\pmb{\alpha}}} _k}$后, 针对任意输入的LR图像块y_k利用欧式距离作为度量标准, 寻找其与所有聚类中心$ {{{\mathit{\pmb{c}}}_k}|\begin{array}{*{20}{l}} K\\ {k = i} \end{array}} $最相似的聚类。然后将该聚类对应的LR/HR子字典对$\left\{\boldsymbol{D}_{k}^{1}, \boldsymbol{D}_{k}^{\mathrm{h}}\right\}$应用于彩色图像的超分辨率重建过程中, 重建后的HR图像块x_k为:

$ {\mathit{\boldsymbol{x}}_k} = \mathit{\boldsymbol{D}}_k^{\rm{h}}{{\mathit{\boldsymbol{\tilde \alpha }}}_k} $

(6)

2.2 伪影消除

由于第2.1节中提出的算法仅对彩色图像的Y通道信息进行重建, 并未考虑色彩通道间的相关性, 因此重建图像中易出现色彩伪影的问题。考虑到大多数自然图像的高频成份, 例如边界、轮廓等特征, 在RGB色彩通道中具有很强的相关性, 因此在利用高通滤波方法得到各色彩通道边界信息的基础上, 通过RGB色彩通道边界一致性约束强化色彩通道间的相关性, 以消除重建图像的色彩伪影。

本文参考文献[21]提出的RGB色彩通道间边界相似性模型, 其色彩通道约束如下:

$ {\left\| {{\mathit{\boldsymbol{S}}_\mu }{\mathit{\boldsymbol{x}}_{{R_\mu }}} - {\mathit{\boldsymbol{S}}_\nu }{\mathit{\boldsymbol{x}}_{{R_\nu }}}} \right\|_2} < {\varepsilon _{\mu \nu }} $

(7)

其中, μ、ν∈{r, g, b}, μ≠ν, r、g、b分别表示RGB色彩通道, 矩阵S表示高通滤波器, S_ry_Rr表示在高分辨率图像r通道中的边界信息。

将上述色彩通道约束对应于每个独立色彩通道的稀疏表示向量, 具体如下:

$ \left\{ {{\mathit{\boldsymbol{x}}_{{R_r}}} = {\mathit{\boldsymbol{D}}_{{R_r}}}{\mathit{\boldsymbol{\alpha }}_r};{\mathit{\boldsymbol{x}}_{{R_g}}} = {\mathit{\boldsymbol{D}}_{{R_g}}}{\mathit{\boldsymbol{\alpha }}_g};{\mathit{\boldsymbol{x}}_{{R_b}}} = {\mathit{\boldsymbol{D}}_{{R_b}}}{\mathit{\boldsymbol{\alpha }}_b}} \right\} $

(8)

其中, D_Ri(i=r, g, b)表示各色彩通道对应的稀疏字典。

文献[21]将交叉通道色彩约束应用于彩色图像超分辨率重建任务中。本文在该模型的基础上, 将色彩通道约束应用于彩色图像的色彩伪影消除过程中。在字典训练阶段, 只训练高分辨率色彩约束稀疏字典, 并借助该字典完成重建彩色图像的优化处理。彩色图像联合通道约束的色彩伪影消除模型可表示为:

$ \begin{array}{l} \left\{ {{\mathit{\boldsymbol{\alpha }}_r},{\mathit{\boldsymbol{\alpha }}_g},{\mathit{\boldsymbol{\alpha }}_b}} \right\} = {\text{argmin}}\sum\limits_{\mathit{\boldsymbol{c}} \in \left\{ {{\mathit{\boldsymbol{\alpha }}_r},{\mathit{\boldsymbol{\alpha }}_g},{\mathit{\boldsymbol{\alpha }}_b}} \right\}} {\left\{ {\left\| {{\mathit{\boldsymbol{y}}_c} - {\mathit{\boldsymbol{D}}_R}{\mathit{\boldsymbol{\alpha }}_c}} \right\|_2^2 + } \right.} \\ \;\;\;\;\;\;\left. {\lambda {{\left\| {{\alpha _\mathit{\boldsymbol{c}}}} \right\|}_{\rm{p}}}} \right\} + \gamma \left[ {\left\| {{\mathit{\boldsymbol{S}}_r}{\mathit{\boldsymbol{D}}_{{R_r}}}{\mathit{\boldsymbol{\alpha }}_r} - {\mathit{\boldsymbol{S}}_g}{\mathit{\boldsymbol{D}}_{{R_g}}}{\mathit{\boldsymbol{\alpha }}_g}} \right\|_2^2 + } \right.\\ \left. {\;\;\;\;\;\;\left\| {{\mathit{\boldsymbol{S}}_g}{\mathit{\boldsymbol{D}}_{{R_g}}}{\mathit{\boldsymbol{\alpha }}_g} - {\mathit{\boldsymbol{S}}_b}{\mathit{\boldsymbol{D}}_{{R_b}}}{\mathit{\boldsymbol{\alpha }}_b}} \right\|_2^2 + \left\| {{\mathit{\boldsymbol{S}}_b}{\mathit{\boldsymbol{D}}_{{R_b}}}{\mathit{\boldsymbol{\alpha }}_b} - {\mathit{\boldsymbol{S}}_r}{\mathit{\boldsymbol{D}}_{{R_r}}}{\mathit{\boldsymbol{\alpha }}_r}} \right\|_2^2} \right] \end{array} $

(9)

其中, p=1表示范数约束。为简化运算, 对每个边缘差异项和色彩通道假定相同的正则化参数γ和λ。

最小化式(9)所建立的损失函数能量, 得到式(10)。

$ \begin{array}{l} \mathit{\boldsymbol{\hat \alpha }} = {\text{arg}}\mathop {\text{min}}\limits_\alpha {\mathit{\boldsymbol{\alpha }}^{\rm{T}}}\left[ {\frac{1}{2}\mathit{\boldsymbol{D}}_R^{\rm{T}}{\mathit{\boldsymbol{D}}_R} + 2\lambda \mathit{\boldsymbol{D}}_R^{\rm{T}}{S^{\rm{T}}}\left( {\mathit{\boldsymbol{I}} - \mathit{\boldsymbol{P}}_S^{\rm{T}}} \right)\mathit{\boldsymbol{S}}{\mathit{\boldsymbol{D}}_R}} \right]\mathit{\boldsymbol{\alpha }} - \\ \;\;\;\;\;{\mathit{\boldsymbol{y}}^{\rm{T}}}{\mathit{\boldsymbol{D}}_R}\mathit{\boldsymbol{\alpha }} + \frac{1}{2}{\mathit{\boldsymbol{y}}^{\rm{T}}}\mathit{\boldsymbol{y}} + \lambda {\left\| \mathit{\boldsymbol{\alpha }} \right\|_1} \end{array} $

(10)

其中, $\hat{\boldsymbol{\alpha}}$表示由r、g、b通道联合稀疏编码得到的α_r、α_g、α_b耦合链接得到的稀疏系数矩阵。然后采用快速迭代收敛算法^[22]求解式(10)。

2.3 超分辨率重建

本文联合非局部稀疏模型与色彩通道约束模型, 将LR、HR图像块间的非局部相似性约束与彩色图像色彩通道间的相关性约束进行有效结合, 具体步骤如下:

1) 输入{D^l, D^h}、D_R以及待重建的LR彩色图像X_l。

2) 通过双三次插值对X_l采样。

3) 在YCbCr色彩空间内分离出图像X_l的亮度图像y, 对y分块并提取与图像块y_k(k=1, 2, …, N)具有相似纹理结构的所有图像块, 组成图像块结构组S_yk。

4) 利用y_k和D^l求得图像块非局部稀疏系数$\tilde{\boldsymbol{\alpha}}_{k}$。

5) 重建彩色图像块的Y通道分量$\tilde{\boldsymbol{x}}_{k}: \tilde{\boldsymbol{x}}_{k}=$$\boldsymbol{D}_{k}^{\mathrm{h}} \tilde{\boldsymbol{\alpha}}_{k}$。通过逐个像素叠加得到重建彩色图像的Y分量信息, 对X_l的Cb和Cr通道分量采用双三次插值方式进行重建。

6) 将步骤5)重建得到的图像通过式(9)求出色彩联合通道约束表示的系数$\hat{\boldsymbol{\alpha}}$。

7)输出最终HR彩色图像$\hat{\boldsymbol{X}}_{\mathrm{h}}=\boldsymbol{D}_{R} \hat{\boldsymbol{\alpha}}$。

3 实验结果与分析

本文从标准图像处理数据库中挑选5幅图片进行测试, 如图 1所示。利用峰值信噪比(Peak Signal to Noise Ratio, PSNR)和结构相似性(Structural Similarity Index Measurement, SSIM)对重建图像的质量进行客观评价, 并与双三次插值算法(Bicubic Interpolation, BI)、ScSR算法^[15]、NCSR算法^[18]、MCcSR算法^[21]进行对比。

为验证本文算法的有效性, 采用文献[15]提供的训练样本库进行实验。在训练和测试时, LR图像块大小为6像素×6像素, 图像块之间重叠4像素, 上采样因子为2, 迭代次数为20, 字典大小为512。图 2和图 3分别为测试图像蝴蝶和车辆通过不同重建方法得到的实验结果。表 1、表 2分别为5种算法的PSNR、SSIM结果对比。

从图 2可以看出, BI算法得到的重建图像质量较差, 特别是翅膀部位的纹理边缘区域不够平滑, 存在较明显的锯齿和伪影现象。ScSR算法的重建结果较好, 但整体细节较为模糊且存在一定的色彩伪影。NCSR算法对于图像平滑区域可实现很好的重建, 但其对细节较为丰富的区域过度平滑, 导致细节信息丢失。MCcSR算法可对色彩信息实现较好的重建, 但对于图像细节的恢复表现较差。本文算法在增强重建图像边缘细节信息的同时, 可有效去除伪影, 使HR图像的视觉效果较好。

从图 3可以看出, BI算法存在很明显的模糊问题。ScSR算法重建得到的图像细节部分比较清晰, 但在边缘区域存在锯齿现象。NCSR算法的重建图像中存在一定的色彩伪影。MCcSR算法对重建图像的色彩信息实现了较好的重建, 但对局部细节信息, 如头盔部位的文字区域恢复效果不够理想。本文算法在重建图像色彩保持及图像细节恢复方面取得了更好的效果。

在利用稀疏表示方法对彩色图像进行超分辨率重建时, 重建图像的质量与稀疏字典的尺寸有直接关系。以蝴蝶图像作为实验样本, 图 4和图 5分别给出4种算法在不同字典尺寸下取得的重建图像的PSNR与SSIM的对比结果。

4 结束语

本文提出一种非局部稀疏与色彩约束方法相结合的彩色图像超分辨率重建算法。利用基于非局部稀疏模型对彩色图像亮度通道进行超分辨率重建, 以实现较好的细节恢复效果。通过色彩相关性约束模型进行通道约束以消除重建图像的色彩伪影。实验结果表明, 该算法能提升重建图像视觉质量并消除重建色彩伪影。下一步将把四元稀疏表示理论应用于非局部稀疏模型, 提高彩色图像的重建质量。