2. 广州工商学院 计算机科学与工程系, 广州 510850;
3. 长江大学 信息与数学学院, 湖北 荆州 434023
2. Department of Computer Science and Engineering, Guangzhou College of Technology and Business, Guangzhou 510850, China;
3. School of Information and Mathematics, Yangtze University, Jingzhou, Hubei 434023, China
开放科学(资源服务)标志码(OSID):
数字图像在产生、传输和保存的过程中通常会受到各种噪声的干扰,噪声严重影响图像的视觉效果,因此对数字图像进行噪声处理显得尤其重要。脉冲噪声分为固定值脉冲噪声和随机值脉冲噪声。固定值脉冲噪声也称椒盐噪声,其灰度以等概率取最大值或最小值。为了去除固定值脉冲噪声,JIANG等[1-3]和VILLAR等[4]分别提出均值滤波算法和中值滤波算法,但是均值滤波算法因低通滤波特性而不能有效恢复和保持图像的边缘和细节信息,中值滤波算法因非线性处理而具有较好的去噪性能。为了更好地体现图像邻域像素的相关性,从而提高噪声像素灰度估计的准确性,HANHOON等[5-7]提出加权中值滤波算法与中心加权中值滤波算法。然而,由于这些算法不会区分处理像素,因此破坏了噪声图像中的信号像素。为解决该问题,MUKHOPADHYAY等[8-9]提出开关中值滤波算法。MÚJICA-VARGAS等[10]提出一种有效的去除脉冲噪声的非线性方法ENA,该方法使用绝对离差中位数对噪声进行检测,采用M估计器增强的最近邻滤波器进行去噪处理。为适应不同密度的噪声,AKKOUL等[11-12]提出自适应的开关中值滤波算法,该算法使用小邻域和大邻域分别去除低密度和高密度的噪声。BALASUBRAMANIAN等[12]提出一种快速的自适应重叠中值滤波算法FAHPF,该算法同时使用不同大小邻域的标准中值滤波算法对图像进行去噪处理,有效利用了各种中值滤波算法的去噪结果,以优化算法的整体去噪效果。
均值滤波算法因为其低通滤波特性,所以不适合去除脉冲噪声。然而,江巨浪等[13-14]指出:在高密度噪声的条件下,均值滤波算法比中值滤波算法性能更优,如选择性自适应均值滤波算法ASMF[14]。自适应加权中值/均值滤波算法[15-16]作为对自适应开关滤波算法的改进,赋予邻域像素不同的加权系数,然后取其中值/均值作为中心像素的灰度估测值,以体现邻域像素对中心像素的不同影响和相关性。FARAGALLAHAC等[16]提出自适应开关加权中值滤波(Adaptive Switching Weighted Median Filtering,ASWMF)算法,通过反比于空间距离的加权算子对邻域的信号像素进行加权,然后取其中值作为中心噪声像素的灰度。鉴于模糊理论的广泛适用性,万丰丰等[17]将其引入图像去噪算法。ROY等[18]提出一种基于模糊支持向量机的直方图模糊滤波(Fuzzy SVM-based Histogram Fuzzy Filtering,FSVMHFF)算法,将k均值聚类与模糊支持向量机分类器相结合用于噪声检测,并使用自适应的直方图模糊滤波算法进行去噪。与利用局部的冗余信息对噪声像素进行估测的滤波算法不同,李伟伟[19]提出非局部中值/均值滤波算法,WANG等[20]提出去除脉冲噪声的非局部均值滤波算法INLM。在一般情况下,非局部滤波算法的计算复杂度较高,且从实验结果可看出其对于脉冲噪声的去除效果并不理想。为提升脉冲噪声去除算法的鲁棒性和高效性,本文提出一种结合修剪均值与高斯加权中值滤波的图像去噪算法TMGWM。
1 图像去噪算法 1.1 局部统计的噪声检测根据脉冲噪声的灰度取最小值和最大值的特点进行噪声检测通常会产生误检。经过观察发现,图像中取最小灰度值和最大灰度值的信号像素都不是孤立的,与邻域的信号像素具有相关性和灰度相似性。噪声通常是孤立的,与邻域像素的灰度差别很大。令f(i,j)为图像f中处于位置(i,j)处的像素,N(i,j)(k)表示以像素f(i,j)为中心、大小为k×k的邻域;令
1)将取最小灰度值或最大灰度值的像素识别为候选噪声像素。根据脉冲噪声的特征,灰度一般取最小值或最大值。
2)对每一个候选噪声像素f(i,j),分别统计其N(i,j)(k)(k取3,5,7)中灰度为0和255的数量
3)如果f(i,j)=0,并且
根据自然图像的灰度直方图,图像的灰度分布可看作近似地服从正态分布,并且得到以下结论:1)一张自然图像往往是由边缘分隔的区域组成的;2)对于平滑区域,其中的像素灰度具有高度的相似性,使得其相关性非常高,其局部地近似服从标准差较小的正态分布,如图 1中σ=3对应的曲线,其对应的灰度值绝大部分集中于(40,60);3)对于细节区域,像素的离散度往往较大,以致灰度偏差较大,相关性较弱,其局部地近似服从标准差较大的正态分布,如图 1中σ=15对应的曲线,其对应的灰度值离散于(0,100)。在图 1中,横坐标X为像素的灰度值,纵坐标PDF为X的概率密度函数值。
![]() |
Download:
|
图 1 不同标准差的正态分布 Fig. 1 Normal distributions with different standard deviations |
根据结论2的分析,平滑区域的像素灰度相差较小,像素个体与区域的像素均值之间相差较小,且具有高度相关性。对于一个具有高度相似性和高度相关性的集合,集合的均值最能体现个体特征。因此,对于平滑区域的噪声像素,灰度估测宜采用线性化处理。线性化处理采用自适应的修剪均值滤波算法ATMF。根据结论3的分析,细节区域的像素灰度差别大,相关性较弱,相比线性化处理,中值滤波处理等非线性化处理更能体现像素之间的关系。因此,对于处于细节区域的噪声像素的灰度估测,本文采用自适应的高斯加权中值滤波算法GWMF,高斯加权算子更能体现像素之间的不同影响和相关性。在对噪声像素进行去噪处理时,当邻域中存在信号像素时,ATMF输出信号像素的均值,否则扩大去噪邻域,以使其包含信号像素。GWMF采用加权算子对信号像素进行加权复制,然后输出加权后的中值。
加权中值滤波处理的目的是体现各邻域像素对中心像素的不同影响和相关性,使得对噪声像素的灰度估测更加准确,其效果取决于所采用的加权算子。因为邻域像素局部地近似服从正态分布,所以本文采用基于高斯曲面的加权算子。令Wk表示大小为k×k的加权算子,3×3、5×5和7×7高斯曲面灰度图及其对应的加权算子如图 2、图 3和图 4所示。
![]() |
Download:
|
图 2 3×3高斯曲面灰度图及其对应的加权算子 Fig. 2 3×3 Gaussian surface grayscale and its corresponding weighted operator |
![]() |
Download:
|
图 3 5×5高斯曲面灰度图及其对应的加权算子 Fig. 3 5×5 Gaussian surface grayscale and its corresponding weighted operator |
![]() |
Download:
|
图 4 7×7高斯曲面灰度图及其对应的加权算子 Fig. 4 7×7 Gaussian surface grayscale and its corresponding weighted operator |
高斯加权算子的计算步骤如下:
1)将图 3中的高斯系数升序排序,得到:
$ S=\left\{S\left(i\right)|S\left(i\right)\le S\left(i+1\right), i=\mathrm{1, 2}, \cdots , 2k\right\} $ | (1) |
2)参照序列S中元素序号i的相对大小关系,根据式(2)按顺序地赋予对应元素加权系数:
$ \begin{array}{l}{W}_{k}=\left\{{W}_{k}\right(i\left)\right|{W}_{k}\left(1\right)=1, {W}_{k}(i+1)={W}_{k}\left(i\right)+1, \\ \qquad\quad S\left(i\right)<S(i+1), \mathrm{ }i=\mathrm{1, 2}, \cdot \cdot \cdot , 2k\}\end{array} $ | (2) |
值得注意的是:加权算子中各个位置上的数字只是对应于该位置上信号像素的加权系数,当该位置上的像素为噪声时,该位置的加权系数为0。
基于高斯加权算子Wk,将高斯加权中值去噪处理定义如下:
$ \begin{array}{l}f(i, j)=&\mathrm{m}\mathrm{e}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{n}\left(\mathrm{ }f\right(i+q, j+t)\otimes \\ &{W}_{k}\left(\right(k+1)/2+q, (k+1)/2+t)), \\& -(k-1)/2\le q, t\le (k-1)/2\end{array} $ | (3) |
其中:median表示中值运算函数;
$ f(i, j) \otimes n=\overbrace{f(i, j), f(i, j), \cdots, f(i, j)}^{n \uparrow}$ | (4) |
以上对于平滑区域与细节区域的区分,依据9×9邻域中信号像素的标准差σ9与阈值T的大小关系。对于阈值T的选取,在特征不同的图像上运用试错法进行实验得到T=6为最优结果。令f为含噪图像,g为去噪图像,gs(i,j)和gn(s,t)分别表示图像g中的信号像素和噪声像素。
算法1 结合修剪均值与高斯加权中值滤波的图像去噪算法
输入 f
输出 g
g←f
For each gn(i,j)
If exist gs(s,t)in N(i,j)(9)
If σ9≤T
Call ATMF
Else
Call GWMF
EndIf
EndIf
EndFor
For each unprocessed gn(i,j)
gn(i,j)←median(N(i,j)(5))
EndFor
Return g
算法2 ATMF算法
If exist gs(s,t)in N(i,j)(3)
gn(i,j)←mean of all gs(s,t)
ElseIf exist gs(s,t)in N(i,j)(5)
gn(i,j)←mean of all gs(s,t)
ElseIf exist gs(s,t)in N(i,j)(7)
gn(i,j)←mean of all gs(s,t)
EndIf
算法3 GWMF算法
If exist gs(s,t)in N(i,j)(3)
gn(i,j)←median(gs(s,t)⊗W3(2+(s-i),2+(t-j)))
ElseIf exist gs(s,t)in N(i,j)(5)
gn(i,j)←median(gs(s,t)⊗W5(3+(s-i),3+(t-j)))
ElseIf exist gs(s,t)in N(i,j)(7)
gn(i,j)←median(gs(s,t)⊗W7(4+(s-i),4+(t-j)))
EndIf
2 实验与结果分析以Intel® CoreTM i7-7700 CPU @ 3.60 GHz、8 GB RAM和Matlab R2019a为实验平台,使用数据集SET12中的Lena、Barbara、Hill和Boat作为实验图像,将本文TMGWM算法与ENA[10]、FAHPF[12]、ASMF[14]、ASWMF[16]、FSVMHFF[18]和INLM[20]算法在视觉效果、峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(Structural SIMilarity,SSIM)[21]、计算时间这4个方面进行性能评估。
2.1 去噪图像的视觉效果分析脉冲噪声密度为80%时7种算法对Lena图像的去噪结果如图 5所示。为在视觉上便于比较,仅显示放大后的一部分图像。从图 5可以看出:ASWMF算法去噪不彻底,图像残留噪声斑块;FAHPF算法得到的去噪图像清晰度较差;ASMF和INLM算法的去噪图像中锯齿现象严重,边缘未得不到有效恢复;TMGWM算法可彻底去除噪声,边缘线条较柔和,且能够更好地保持图像的纹理细节和边缘结构。各算法的PSNR和SSIM指标值与视觉效果得出的结论是一致的,证实了TMGWM算法具有更好的去噪性能和边缘细节保持能力。
![]() |
Download:
|
图 5 脉冲噪声密度为80%时7种算法对Lena图像的去噪结果 Fig. 5 Denoising results of seven algorithms on Lena image when the impulse noise density is 80% |
脉冲噪声密度为90%时7种算法对Barbara图像的去噪结果如图 6所示。从图 6可以得出:1)ASWMF算法去噪不彻底,图像明显残留噪声斑块;2)FAHPF算法得到的去噪图像清晰度较差;3)ASMF、INLM和ENA算法得到的去噪图像锯齿现象严重,边缘和细节部分未得到有效恢复;4)TMGWM算法的去噪图像清晰度较高,更好地保持了图像的纹理细节和边缘结构。各算法的PSNR和SSIM指标值与视觉效果得出的结论是一致的,证实了TMGWM算法具有更好的去噪性能和边缘细节保持能力。
![]() |
Download:
|
图 6 脉冲噪声密度为90%时7种算法对Barbara图像的去噪结果 Fig. 6 Denoising results of seven algorithms on Barbara image when the impulse noise density is 90% |
图像去噪算法对具有不同脉冲噪声密度(d)的Hill图像的去噪结果如表 1所示,其中最佳指标值用加粗字体标示。PSNR值结果显示了TMGWM算法相对现有算法具有更好的去噪性能,能够彻底地去除噪声,更有效地恢复像素的原始灰度。SSIM值结果显示了TMGWM算法在纹理细节和边缘结构保持方面的优越性,其在去除噪声的同时,能够更好地保持原始图像的纹理细节和边缘结构。另外,从SSIM值的变化趋势可以看出,随着脉冲噪声密度的增大,TMGWM算法在细节保持能力上的优势更明显。这主要得益于TMGWM算法的噪声检测能更准确地区分噪声与信号像素,尤其是能将噪声与具有相同灰度的信号像素区分开,并且高斯加权算子可灵活有效地反映邻域信号像素的不同影响和相关性。
![]() |
下载CSV 表 1 7种算法对Hill图像去噪的PSNR和SSIM对比结果 Table 1 Comparison results of PSNR and SSIM of seven algorithms for Hill image denoising |
图像去噪算法对具有不同脉冲噪声密度的Boat图像的去噪结果如表 2所示。可以看出,TMGWM算法与ENA、FAHPH等算法在PSNR值上的差距验证了其在去噪和图像恢复方面的有效性。TMGWM算法与ENA、FAHPH等算法在SSIM值上的差距验证了其具有较强的纹理细节和边缘结构保持能力。另外,从SSIM值随脉冲噪声密度的变化趋势验证了TMGWM算法在纹理细节和边缘结构保持方面的能力,并且随着脉冲噪声密度的增大而愈加明显。
![]() |
下载CSV 表 2 7种算法对Boat图像去噪的PSNR和SSIM对比结果 Table 2 Comparison results of PSNR and SSIM of seven algorithms on Boat image denoising |
将以上4张图像作为实验图像,分别计算各算法对图像进行去噪处理的平均计算时间,结果如表 3所示。可以看出:1)各算法的计算时间随脉冲噪声密度的增大不断增加;2)FSVMHFF、INLM和ASWMF算法的计算时间较长,FAHPF和ENA算法的计算时间较短;3)TMGWM算法的计算时间与多数算法相当,相比FSVMHFF、INLM和ASWMF算法更短。
![]() |
下载CSV 表 3 7种算法的平均计算时间比较 Table 3 Comparison of average calculation time of seven algorithms |
本文提出一种结合修剪均值与高斯加权中值滤波的图像去噪算法,根据脉冲噪声的灰度与统计特征进行噪声检测,并使用自适应的修剪均值或高斯加权中值滤波算法进行去噪处理。实验结果表明,与ENA、FAHPF、ASMF等去噪算法相比,该算法能更好地保留图像的边缘细节,并且提升了图像的可视化效果。后续可将本文算法应用于随机值脉冲噪声和高斯噪声滤除处理,进一步提升噪声像素灰度估计的准确性和鲁棒性。
[1] |
JIANG X. Iterative truncated arithmetic mean filter and its properties[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1537-1547. DOI:10.1109/TIP.2011.2172805 |
[2] |
ZOU B Y, LIU H, SHANG Z H, et al. Non-local mean denoising algorithm based on local Hu moment[J]. Computer Engineering, 2018, 44(3): 241-244. (in Chinese) 邹滨益, 刘辉, 尚振宏, 等. 基于局部Hu矩的非局部均值去噪算法[J]. 计算机工程, 2018, 44(3): 241-244. DOI:10.3969/j.issn.1000-3428.2018.03.040 |
[3] |
WANG B, HU L L, CAO J J, et al. Impulse noise removal method based on Moreau envelope smoothing l1/TV norm model[J]. Acta Optica Sinica, 2014, 34(12): 83-89. (in Chinese) 王斌, 胡辽林, 曹京京, 等. 基于Moreau包络平滑l1/全变差范数模型的图像脉冲噪声去除方法[J]. 光学学报, 2014, 34(12): 83-89. |
[4] |
VILLAR S A, TORCIDA S, ACOSTA G G. Median filtering: a new insight[J]. Journal of Mathematical Imaging & Vision, 2016, 58(1): 1-17. DOI:10.1007%2Fs10851-016-0694-0 |
[5] |
HANHOON P. Making joint-histogram-based weighted median filter much faster[J]. IEICE Transactions on Information and Systems, 2015, E98.D(3): 721-725. DOI:10.1587/transinf.2014EDL8144 |
[6] |
CHARALAMPIDIS D. Steerable weighted median filters[J]. IEEE Transactions on Image Processing, 2010, 19(4): 882-894. DOI:10.1109/TIP.2009.2038823 |
[7] |
LIN T C. A new adaptive center weighted median filter for suppressing impulsive noise in images[J]. Information Sciences, 2007, 177(4): 1073-1087. DOI:10.1016/j.ins.2006.07.030 |
[8] |
MUKHOPADHYAY S, MANDAL J K. A Fuzzy Switching Median Filter of impulses in digital imagery(FSMF)[J]. Circuits, Systems, and Signal Processing, 2014, 33(7): 2193-2216. DOI:10.1007/s00034-014-9739-z |
[9] |
DENG X F, PENG X R, ZHANG J L, et al. Long-term object tracking algorithm based on correlation filtering[J]. Semiconductor Optoelectronics, 2019, 40(5): 742-748. (in Chinese) 邓雪菲, 彭先蓉, 张建林, 等. 基于相关滤波的长时目标跟踪算法[J]. 半导体光电, 2019, 40(5): 742-748. |
[10] |
MUJICA-VARGAS D, RUBIO J D, KINANI J M V, et al. An efficient nonlinear approach for removing fixed-value impulse noise from grayscale images[J]. Journal of Real-Time Image Processing, 2018, 14(3): 617-633. DOI:10.1007/s11554-017-0746-8 |
[11] |
AKKOUL S, LEDEE R, LECONGE R, et al. A new adaptive switching median filter[J]. IEEE Signal Processing Letters, 2010, 17(6): 587-590. DOI:10.1109/LSP.2010.2048646 |
[12] |
BALASUBRAMANIAN G, CHILAMBUCHELVAN A, VIJAYAN S, et al. An extremely fast adaptive high-performance filter to remove salt and pepper noise using overlapping medians in images[J]. Imaging Science Journal, 2016, 64(5): 241-252. DOI:10.1080/13682199.2016.1168144 |
[13] |
JIANG J L, ZHANG H, ZHU Z, et al. Polydirectional weighted mean filter for high-density salt & pepper noise[J]. Computer Engineering and Applications, 2016, 52(6): 204-208. (in Chinese) 江巨浪, 章瀚, 朱柱, 等. 高密度椒盐噪声的多方向加权均值滤波[J]. 计算机工程与应用, 2016, 52(6): 204-208. DOI:10.3778/j.issn.1002-8331.1501-0332 |
[14] |
FAREED S B S, KHADER S S. Fast adaptive and selective mean filter for the removal of high-density salt and pepper noise[J]. IET Image Processing, 2018, 12(8): 1378-1387. DOI:10.1049/iet-ipr.2017.0199 |
[15] |
SHI Z F, XU Z H, PANG K, et al. A random-value impulse noise removal method based on switching weighted median filter[J]. Acta Scientiarum Naturalium Universitatis Nankaiensis, 2018, 51(4): 63-67. (in Chinese) 史再峰, 许泽昊, 庞科, 等. 一种基于开关型加权中值滤波的随机脉冲噪声去除方法[J]. 南开大学学报(自然科学版), 2018, 51(4): 63-67. |
[16] |
HE B F, SHEN L, HE J, et al. Denoising algorithm for finger vein images based on sparse structure noise detection[J]. Computer Engineering, 2021, 47(5): 236-243. (in Chinese) 何必锋, 沈雷, 何晶, 等. 基于稀疏结构噪声检测的指静脉图像去噪算法[J]. 计算机工程, 2021, 47(5): 236-243. |
[17] |
WANG F F, ZHOU G M, ZHOU X. An adaptive fuzzy median filtering algorithm for salt and pepper noise removal[J]. Journal of Zhejiang University(Science Edition), 2019, 46(4): 445-453. (in Chinese) 万丰丰, 周国民, 周晓. 一种去除椒盐噪声的自适应模糊中值滤波算法[J]. 浙江大学学报(理学版), 2019, 46(4): 445-453. |
[18] |
ROY A, SINGHA J, LASKAR R H. Removal of impulse noise from gray images using fuzzy SVM based histogram fuzzy filter[J]. Journal of Circuits Systems and Computers, 2018, 27(9): 1-23. |
[19] |
LI W W. Method for removing salt and pepper noise from non-local switchable filter image[J]. Journal of Jilin University(Science Edition), 2019, 57(4): 910-916. (in Chinese) 李伟伟. 非局部的可切换滤波图像椒盐噪声去除方法[J]. 吉林大学学报(理学版), 2019, 57(4): 910-916. |
[20] |
WANG X T, SHEN S S, SHI G M, et al. Iterative non-local means filter for salt and pepper noise removal[J]. Journal of Visual Communication and Image Representation, 2016, 38: 440-450. DOI:10.1016/j.jvcir.2016.03.024 |
[21] |
WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. DOI:10.1109/TIP.2003.819861 |