Processing math: 1%
«上一篇 下一篇»
  计算机工程  2022, Vol. 48 Issue (4): 223-230, 239  DOI: 10.19678/j.issn.1000-3428.0060758
0

引用本文  

赵秀锋, 魏伟一, 陈金寿, 等. 基于自适应四元数奇异值分解的图像拼接检测[J]. 计算机工程, 2022, 48(4), 223-230. DOI: 10.19678/j.issn.1000-3428.0060758.
ZHAO Xiufeng, WEI Weiyi, CHEN Jinshou, et al. Image Splicing Detection Based on Adaptive Quaternion Singular Value Decomposition[J]. Computer Engineering, 2022, 48(4), 223-230. DOI: 10.19678/j.issn.1000-3428.0060758.

基金项目

甘肃省科技计划项目“基于语义分割和混合特征匹配的彩色图像取证研究”(20JR5RA518)

作者简介

赵秀锋(1996—),女,硕士研究生,主研方向为图像取证;
魏伟一,副教授、博士;
陈金寿,硕士;
陈帼,硕士研究生

文章历史

收稿日期:2021-02-01
修回日期:2021-04-23
基于自适应四元数奇异值分解的图像拼接检测
赵秀锋1 , 魏伟一1 , 陈金寿2 , 陈帼1     
1. 西北师范大学 计算机科学与工程学院, 兰州 730070;
2. 石河子大学 信息科学与技术学院, 新疆 石河子 832000
摘要:图像拼接将来源不同的图像合并成一幅图,由此引起图像中光照方向、噪声等特性出现不一致的情况。目前多数方法根据拼接图像中噪声的不一致性来检测伪造区域,但是普遍对不同大小图像块的噪声估计准确性不高,导致真阳性率较低,且当噪声差异较小时会检测失败。针对该问题,提出一种基于自适应四元数奇异值分解(QSVD)的噪声估计方法。对图像进行超像素分割,利用自适应QSVD估计超像素的噪声,结合图像亮度并利用多项式拟合建立图像噪声-亮度函数,得到各超像素到该函数曲线的最小距离测度。为提高检测精确率,利用色温估计算法提取超像素的色温特征,将距离测度与色温特征相融合作为最终的特征向量,利用FCM模糊聚类定位拼接区域。在Columbia IPDED拼接图像数据集上进行实验,结果表明,该方法在未经后处理图像集上的检测TPR值较对比方法至少提升8.21个百分点,且对高斯模糊、JPEG压缩和伽马校正表现出较好的鲁棒性。
关键词拼接篡改检测    自适应四元数奇异值分解    噪声水平    色温估计    FCM聚类    
Image Splicing Detection Based on Adaptive Quaternion Singular Value Decomposition
ZHAO Xiufeng1 , WEI Weiyi1 , CHEN Jinshou2 , CHEN Guo1     
1. College of Computer Science and Engineering, Northwest Normal University, Lanzhou 730070, China;
2. College of Information Science and Technology, Shihezi University, Shihezi, Xinjiang 832000, China
Abstract: Image splicing combines images from different sources into one image, resulting in inconsistencies in the illumination direction, noise, and other characteristics of the image.Currently, most methods detect forged areas based on the inconsistency of noise in stitched images; however, the accuracy of noise estimation for image blocks of different sizes is generally not high, resulting in a low True Positive Rate(TPR), and the detection fails when the noise difference is small.To solve this problem, a noise estimation method based on adaptive Quaternion Singular Value Decomposition(QSVD) is proposed.The image is segmented by super-pixels, and the noise of these super-pixels is estimated by adaptive QSVD.Combined with image brightness, the image noise-brightness function is established by polynomial fitting, and the minimum distance measure from each super-pixel to the function curve is obtained.To improve detection accuracy, the color temperature feature of the super-pixel is extracted using a color temperature estimation algorithm.The distance measure and color temperature feature are fused as the final feature vector.The stitching region is located by FCM fuzzy clustering.Experiments on the Columbia IPDED splicing image dataset demonstrate that the detection TPR value of this method on the unprocessed image set is at least 8.21 percentage points highter than that of the comparison method.The method is robust to Gaussian blur, JPEG compression, and Gamma correction.
Key words: splicing tamper detection    adaptive Quaternion Singular Value Decomposition(QSVD)    noise level    color temperature estimation    FCM clustering    

开放科学(资源服务)标志码(OSID):

0 概述

图像拼接是一种常见的图像伪造手段,其将多幅图像合并成一张图像[1],这种图像合成往往会造成整幅图像某些特性(如光照方向[2]、噪声[3]、光源颜色等)的不一致,从而为图像拼接篡改检测研究提供了思路。YU等[4]较早利用光源颜色不一致来检测图像拼接篡改,虽然取得了一定的效果,但其阈值选择依赖于先验经验。SUN等[5]根据篡改图像中的色偏不一致来检测拼接区域,该方法采用顺序分块策略划分图像并根据先验知识人工地选取未篡改块作为参考区域,丢失了图像块的语义信息,导致边缘检测效果较差且无法自动定位拼接区域。WU等[6]以篡改图像中噪声不一致为检测依据,在单尺度超像素中估计噪声方差,排除不符合正态分布的超像素,并将剩余区域与阈值进行比较以定位可疑区域。PUN[7]在多尺度超像素分割中利用噪声差异来检测拼接区域,首先在单个尺度中计算噪声水平和亮度信息并建立两者之间的多项式函数,将不受函数约束的块标记为该尺度下的可疑区域,然后将相邻尺度的检测结果进行合并,得到最终的篡改区域,由于该方法使用多尺度超像素分割,因此其时间消耗较大。

为了提高检测准确性,研究人员提出了使用主成分分析(Principal Component Analysis,PCA)[8]和奇异值分解(Singular Value Decomposition,SVD)[9]来估计噪声的方法。ZENG等[10]提出一种基于PCA的拼接图像检测方法,首先将可疑图像进行规则分块,然后采用PCA算法逐块估计噪声,最后利用K均值聚类确定拼接区域,虽然该方法在噪声估计时具有良好的性能,但其仅提取单一特征导致误检率较高。WANG等[11]将图像划分为顺序块,在彩色空间中利用PCA算法估计噪声。文献[12]在RGB三通道中分别利用PCA算法估计噪声,再将3个噪声值取平均作为最终特征检测拼接区域。文献[13]在超像素块中提取局部噪声水平和噪声分布特征,以实现篡改检测。文献[14]利用PCA算法提取图像的噪声特征,然后采用聚类算法定位拼接区域,该方法对拼接区域检测效果良好,但对复杂篡改手段抗鲁棒性不强。文献[15]利用奇异值分解和拉普拉斯算子计算噪声特征,利用模糊聚类检测拼接区域,该方法采用顺序分块策略,在一定程度上丢失了语义信息,因此,对拼接区域边缘的检测效果较差。文献[16]提出利用自适应奇异值分解来估计局部噪声的方法,该方法首先对图像进行分割,其次利用奇异值分解将每个区域分解为多个级别的噪声图像以得到局部噪声特征,同时提出邻域噪声描述符来减小区域间的波动,最后通过支持向量机确定拼接区域。该方法在大多数情况下检测效果较好,但是如果篡改图像中噪声差异较小,则其检测精度将降低。

尽管上述方法在图像拼接区域检测方面表现出一定的可行性,但大多在单个颜色通道或灰度空间中进行检测,忽略了彩色图像的颜色信息。另外,为了定位图像中被篡改的区域,通常需要对待检测图像进行分割,但现有方法采用顺序分块的方式易将篡改区域与原始区域的边缘部分划分在同一个子块中,降低了噪声估计的准确性。为充分利用图像的颜色信息并提高不同大小图像块的噪声估计准确性,本文提出一种基于自适应四元数奇异值分解(Quaternion SVD,QSVD)的噪声估计算法,以对图像拼接进行检测。

1 本文方法

LIU等[9]证明图像能量主要集中在前部分较大奇异值所对应的特征图像,而尾部奇异值主要表示图像噪声。本文验证了不同图像尺寸下噪声估计σ与尾部奇异值均值PM间的相关性,如图 1所示。当图像尺寸较大时,如512×512和256×256,线性相关性很明显,而在较小尺寸(16×16和32×32)图像中,线性相关性不稳定。

Download:
图 1 不同尺寸图像的尾部奇异值均值与噪声的关系 Fig. 1 Relationship between tail singular value mean and noise of images with different sizes

在检测拼接伪造时,为了更准确地定位拼接,往往要对图像进行分割,这必然会引入不同尺寸的图像块。为提高噪声估计的精度,本文提出一种基于自适应四元数奇异值分解的噪声估计方法,以在不同大小的超像素中自适应地估计噪声。首先采用SLIC算法分割图像,并针对每个超像素,利用自适应QSVD算法估计噪声;其次计算超像素的亮度信息以构建噪声-亮度函数,得到各超像素块到该函数曲线的最小距离,将该距离测度作为表征噪声水平的特征向量。同时,为避免图像噪声差异较小时无法检测的情况,本文根据色温估计算法提取超像素的色温特征,将噪声描述符与色温估计相结合作为最终特征向量,并利用FCM聚类算法确定初始可疑拼接篡改区域。最后,结合超像素上下文信息进行后处理,得到最终的拼接伪造区域。本文方法流程如图 2所示。

Download:
图 2 本文方法流程 Fig. 2 Procedure of the proposed method
1.1 SLIC图像分割

为量化描述不同区域特征的差异,本文采用SLIC算法将具有相似性的像素分组形成超像素块。与规则分块相比,超像素分割包含一定的语义信息,图像块的形状均匀且边缘轮廓更为清晰。另外,在超像素块中提取图像特征能大幅降低后续算法的时间复杂度。分割后的超像素满足式(1):

\underset{k=1}{\overset{K}{\cup }}{k}_{j}=\boldsymbol{I}\text{,}\underset{k=1}{\overset{K}{\cap }}{k}_{j}=0, k=\mathrm{1, 2}, \cdots , K (1)

其中: \boldsymbol{I} 表示输入图像; {k}_{j} 表示第 k 个超像素中所有的像素点。

1.2 彩色图像的四元数表示

虽然彩色图像的大多数信息包含在亮度分量中,但是从灰度图像中进行拼接篡改检测忽略了颜色信息。为了充分利用彩色图像三通道的颜色及结构信息,本文利用四元数模型表示RGB图像。四元数由1个实部和3个虚部单位组成,用式(2)表示:

q=a+bi+cj+dk (2)

其中: a b c d\in \mathbb{Z} a 是四元数的实部; b c d 分别对应四元数3个虚部 i j k 的系数。如果实部 a=0 ,则 q 称为纯四元数。

用四元数模型表示彩色图像时,可将 \mathrm{R} \mathrm{G} \mathrm{B} 这3个通道分别作为纯四元数3个虚部的系数。给定彩色图像的像素( x y ), \mathrm{R} x y )、 \mathrm{G} x y )、 \mathrm{B} x y )分别表示该像素在 \mathrm{R} \mathrm{G} \mathrm{B} 通道中的值。对于每一个像素,通过式(3)可获得该点的四元数表示:

q(x, y)=\mathrm{R}(x, y)i+\mathrm{G}(x, y)j+\mathrm{B}(x, y)k (3)

将RGB图像中所有像素点通过式(3)表示,则任意大小的 m\times n 图像可以整合为一个 m\times n 的纯四元数矩阵。

1.3 噪声-亮度函数建立

根据篡改图像中噪声不一致性检测并定位拼接区域的方法,大都仅通过提取局部区域的方差来描述噪声,未考虑实际成像过程中周围环境亮度对噪声分布产生干扰的情况,使得所得噪声不准确,并且仅使用方差来检测图像篡改区域会使定位结果含有较多的误检区。为提高噪声估计的准确性和篡改检测的精确率,本文充分考虑亮度与图像噪声之间的关系,在利用自适应QSVD算法估计超像素噪声水平的同时,计算亮度信息并将其作为影响噪声方差的自变量,通过多项式拟合建立亮度与噪声之间的函数关系。

1.3.1 基于自适应QSVD的噪声估计和亮度估计

QSVD无需对彩色图像进行分解,而将3个通道视为一个整体处理,充分保留图像本身的结构及色彩信息。QSVD的分解理论跟奇异值分解类似,对任意大小的四元数矩阵 \boldsymbol{A} ,可以将其分解为式(4)所示的形式[17]

\boldsymbol{A}=\boldsymbol{U}\times \boldsymbol{S}\times {\boldsymbol{V}}^{\mathrm{H}} (4)

其中: \mathrm{H} 表示共轭转置; \boldsymbol{U}=({u}_{1}, {u}_{2}, \cdots , {u}_{m})\in {q}^{m\times m} \boldsymbol{V}=({v}_{1}, {v}_{2}, \cdots , {v}_{m})\in {q}^{n\times n} 分别为 \boldsymbol{A} 的左、右奇异值矩阵; \boldsymbol{S} \boldsymbol{A} 的奇异值,为一个 m\times n 的对角矩阵。假设 R 是矩阵 \boldsymbol{A} 的秩,则奇异值矩阵 \boldsymbol{S} 的值可表示为 {s}_{i}(i=\mathrm{1, 2}, \cdots , R) ,且 {s}_{1} > {s}_{2} > \cdots > {s}_{R}

由于超像素的大小各不相同,因此在重构噪声图像时需要根据图像块的尺寸自适应确定奇异值的有效阶次,重构的噪声图像表示如下:

{\boldsymbol{A}}_{r}={\boldsymbol{U}}_{r}\times \boldsymbol{S}\times {\boldsymbol{V}}^{\mathrm{H}} (5)

其中: {\boldsymbol{U}}_{r}=(\mathrm{0, 0}, \cdots , 0, {u}_{r+1}, {u}_{r+2}, \cdots , {u}_{m})

本文将重构图像的均方误差(Mean Square Error,MSE)作为衡量标准,其计算公式如式(6)所示,自适应为不同大小的超像素确定阶次,确保截取的奇异值有效阶次 r 在保留噪声子空间能量的同时尽可能多地去除图像内容信号子空间能量,从而得到准确的噪声水平图像。

{M}_{\mathrm{M}\mathrm{S}\mathrm{E}}=\frac{\sum \limits_{i=1}^{m}\sum \limits_{j=1}^{n}{\left(f(i, j)-{f}_{0}(i, j)\right)}^{2}}{m\times n} (6)

其中: f(i, j)=({u}_{1}, {u}_{2}, \cdots , {u}_{r}, 0, \cdots , 0)\times \boldsymbol{S}\times {\boldsymbol{V}}^{\mathrm{H}} 为重构的去噪图像的像素值; {f}_{0}(i, j) 为原始图像的像素值。

对于秩为 R 的图像矩阵,可以进行 R 次重构。每次重构使用前 r 个奇异值,则第 r 次重构图像的均方误差变化曲线如图 3所示。

Download:
图 3 重构图像的MSE变化曲线 Fig. 3 MSE change curve of reconstructed image

图 3可以看出,随着 r 的增大, \mathrm{M}\mathrm{S}\mathrm{E} 值减小并逐渐趋于平缓,这是因为 \mathrm{M}\mathrm{S}\mathrm{E} 表示重构图像与原始图像差分后的能量误差,而图像能量主要集中在前部分较大奇异值所对应的特征图像,尾部奇异值主要表示图像噪声,因此其包含的图像能量较少。当 r 增加到一定程度时,前 r 个重构图像已充分包含图像的能量信息,因此, \mathrm{M}\mathrm{S}\mathrm{E} 的下降幅度开始骤减继而趋于平缓,这个最先趋于平缓的点就是合适的截断有效阶次 r 。如式(7)所示,本文利用斜率判断法判断连续多段的斜率,若其均小于1,则将最开始趋于平缓的点作为截断的有效阶次 r

{G}_{\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{d}\mathrm{i}\mathrm{e}\mathrm{n}\mathrm{t}}={M}_{\mathrm{M}\mathrm{S}\mathrm{E}k}-{{M}_{\mathrm{M}\mathrm{S}\mathrm{E}}}_{(k+1)}, k=\mathrm{1, 2}, \cdots , r-1 (7)

在自适应确定 r 值后,对于重构的噪声图像 {\boldsymbol{A}}_{r} ,其噪声估计如下:

{\sigma }_{i}=\sqrt{\frac{1}{n}\sum ({A}_{r}(x, y)-\overline{{A}_{r}}{)}^{2}} (8)

其中: n 是第 i 个超像素中的像素总数; {A}_{r}(x, y) 表示噪声图像中的像素值; \overline{{A}_{r}} 是重构矩阵 {\boldsymbol{A}}_{r} 中所有元素的平均值; {\sigma }_{i} 表示第 i 个超像素的标准偏差。

超像素的平均亮度如下:

{b}_{i}=\frac{\sum q(x, y)}{n} (9)

其中: q(x, y) 表示第 i 个超像素中的四元数值; n 是超像素中的像素总数; {b}_{i} 是第 i 个超像素的平均亮度。

1.3.2 函数建立

由于亮度会对图像噪声产生干扰,因此本文将其作为影响图像噪声分布的自变量,根据式(10)建立噪声与亮度间的函数关系[18]

f\left(b\right)=\sum \limits_{j=0}^{J}{a}_{j}{b}^{j} (10)

其中: a 表示权重系数; b 表示各个超像素块的亮度。所有图像块的噪声残差可以表示为:

{R}_{\mathrm{R}\mathrm{e}\mathrm{s}\mathrm{i}\mathrm{d}\mathrm{u}\mathrm{a}\mathrm{l}}=\sum \limits_{i=1}^{K}\left({\sigma }_{i}^{2}-\sum \limits_{j=0}^{J}{a}_{j}{b}_{i}^{j}\right) (11)

其中: {\sigma }_{i}^{2} 是第 i 个图像块的噪声方差; K 是超像素的总数。利用最小二乘法来获得最优的权重系数 {a}_{j} ,为了防止过拟合,将 J 设置为5[10]

在噪声-亮度函数拟合完成后,根据式(12)计算每个超像素块到该函数曲线的距离:

{D}_{\mathrm{D}\mathrm{i}\mathrm{s}\mathrm{t}}=\sqrt{({b}_{i}{-p)}^{2}+({s}_{i}^{2}-f{\left(p\right))}^{2}} (12)

其中: f\left(p\right) 表示亮度信息影响下的实际噪声水平。遍历超像素块并计算其与噪声-亮度函数曲线间的最小距离,得到每个超像素块受该函数曲线的约束程度,将其定量描述为 d=\mathrm{m}\mathrm{i}\mathrm{n}\left({D}_{\mathrm{D}\mathrm{i}\mathrm{s}\mathrm{t}}\right) ,每个超像素对应的距离如下:

{M}_{\mathrm{M}\mathrm{i}\mathrm{n}\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}}=({d}_{1}, {d}_{2}, \cdots , {d}_{K}) (13)
1.4 色温特征提取

由于来源不同的图像可能存在某些区域噪声水平相似的情况,当噪声差异较小时将无法检测拼接区域。为了提高检测精度,本文利用色温估计算法提取超像素的色温特征。

不同的颜色空间所表示的颜色特性不同,与RGB颜色空间相比,YCbCr色彩空间能够更好地捕获图像光源色温的差异。因此,为了更准确地估计色温,要将图像从RGB空间转换到YCbCr颜色空间。色温估计的目标就是估算出图像的平均色差,文献[19]中的相机自动白平衡算法通过迭代整个图像的像素点来计算平均色差。本文考虑到拼接区在图像中仅占部分区域,因此,将传统的全局平均色差计算算法扩展到局部以提取超像素的色温特征。为降低算法的时间复杂度,在实际计算中选择满足约束条件式(14)的像素参与计算。

Y-\left|Cb\right|-\left|Cr\right| > \varphi (14)

其中: \varphi 为约束因子; |\cdot | 表示绝对值。

对于分割后的超像素块,遍历各个超像素中符合式(14)约束条件的像素并计算平均色差,按照式(15)提取每个超像素块的色温特征:

{Y}_{k}=\frac{\sum \limits_{i=1}^{N}{Y}_{i}}{N}, C{b}_{k}=\frac{\sum \limits_{i=1}^{N}C{b}_{i}}{N}, C{r}_{k}=\frac{\sum \limits_{i=1}^{N}C{r}_{i}}{N} (15)

其中: N 表示第 k 个超像素块中满足约束条件式(14)的像素数量,且 k=\mathrm{1, 2}, \cdots , K {Y}_{i} C{b}_{i} C{r}_{i} 表示像素点 i 在YCbCr空间的值。对每一个超像素块进行色温特征提取,结果记为 IC=\{{Y}_{k}, C{b}_{k}, C{r}_{k}|k=\mathrm{1, 2}, \cdots , K\}

1.5 篡改区域定位

对每一个超像素,将描述噪声估计的最小距离与色温特征相融合作为最终的特征向量,表示为 \boldsymbol{F}=\{{{M}_{\mathrm{M}\mathrm{i}\mathrm{n}\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}}}_{k}, I{C}_{k}|k=\mathrm{1, 2}, \cdots , K\} ,其中: {{M}_{\mathrm{M}\mathrm{i}\mathrm{n}\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}}}_{k} 是噪声的最小距离; I{C}_{k} 是色温特征。本文利用FCM聚类[20]算法将伪造图像分为拼接区域 \mathrm{S}\mathrm{a}\mathrm{r}\mathrm{e}\mathrm{a} 和原始区域 \mathrm{O}\mathrm{a}\mathrm{r}\mathrm{e}\mathrm{a} 这2个部分。由于绝大部分篡改图像中拼接区域所占图像比例小于原始区域,因此本文将聚类结果中包含样本数较少的一类标记为初始可疑拼接区域,定义如下:

\begin{array}{l}{S}_{\mathrm{S}\mathrm{a}\mathrm{r}\mathrm{e}\mathrm{a}}=\mathrm{m}\mathrm{i}\mathrm{n}\{{c}_{1}, {c}_{2}\}\\ {c}_{1}=\mathrm{c}\mathrm{o}\mathrm{u}\mathrm{n}\mathrm{t}\left(\mathrm{i}\mathrm{n}\mathrm{d}\mathrm{e}{\mathrm{x}}_{1}\right), {c}_{2}=\mathrm{c}\mathrm{o}\mathrm{u}\mathrm{n}\mathrm{t}\left(\mathrm{i}\mathrm{n}\mathrm{d}\mathrm{e}{\mathrm{x}}_{2}\right)\end{array} (16)

其中: \mathrm{i}\mathrm{n}\mathrm{d}\mathrm{e}{\mathrm{x}}_{1} \mathrm{i}\mathrm{n}\mathrm{d}\mathrm{e}{\mathrm{x}}_{2} 表示超像素块的分类索引; \mathrm{c}\mathrm{o}\mathrm{u}\mathrm{n}\mathrm{t}(\cdot ) 是相应标记块的总数。

拼接区域通常是连续或具有完整语义信息的,因此,可结合超像素块间的描述对初步标记结果进行后处理。如图 4(a)所示(灰色为原始区,白色为篡改区),首先在集合 \mathrm{S}\mathrm{a}\mathrm{r}\mathrm{e}\mathrm{a} 中寻找最大的连通区域,对不连续的标记块进行第一次错误过滤;其次采用孤立块过滤/空洞填充来降低检测误差。具体步骤为:

Download:
图 4 超像素块级后处理效果 Fig. 4 Super pixel block level post-processing effect

1)如果一个超像素块 k 被检测为拼接块,但其相邻的所有图像块被检测为真实块,则将该块从可疑拼接块集合中去除,如图 4(b)所示。

2)如果一个超像素块 k 被检测为真实块,但其相邻的所有图像块被检测为可疑块,则将该块添加到可疑拼接块集合中,如图 4(b)所示。使用连接区域孤立块过滤/空洞填充方法得到最终的拼接块集合,从而检测到拼接区域。

图 5举例说明了定位拼接区域的上下文后处理过程,并证明了本文所提后处理方法的有效性。

Download:
图 5 后处理定位检测结果 Fig. 5 Post-processing positioning detection results
2 实验结果及分析

本文通过可视化视觉分析及像素级定量评估来验证所提方法的检测性能。首先,将本文方法与其他3种图像拼接篡改检测方法进行比较,并可视化呈现各方法的检测效果,为了使结果更具说服力,同时给出篡改图像像素级的检测精度对比结果;其次,对本文方法在JPEG压缩、高斯模糊和伽玛校正方面进行鲁棒性分析,并与其他相关方法进行实验对比;最后,分析相关方法检测定位篡改区域的时间性能,时间消耗包括图像分割、特征提取和拼接区域检测定位的时间。

2.1 检测结果

为了验证本文方法的有效性,采用哥伦比亚未压缩拼接图像数据集(Columbia IPDED)进行实验。随机选取Columbia IPDED数据集中的4幅图像,分别利用本文方法、文献[10, 12, 7]中的方法进行检测,结果如图 6所示。从图 6可以看出,本文方法对4幅图像均具有较好的检测及定位效果,而文献[10, 12]方法未检测出图像2和图像3中的拼接区域,文献[7]方法虽然定位出了篡改区域,但含有较多的误检测区域,这是因为某些篡改区和原始区之间的噪声差异较小,而文献[10, 12, 7]方法仅使用单一特征噪声进行篡改区域定位,因此,出现了无法检测的情况。本文方法将噪声和色温特征相融合作为混合特征,在噪声差异较小时仍具有较强的检测性能。

Download:
图 6 4种方法的检测结果比较 Fig. 6 Comparison of detection results of four methods
2.2 检测精度比较

为定量分析本文方法的拼接检测性能,根据式(17)计算图 6中4幅图像的像素级真阳性率TPR和假阳性率FPR,其中各变量的具体含义如表 1所示,不同方法的检测精度比较结果如表 2所示。从表 2可以看出,本文方法相较文献[10, 12, 7]方法具有较高的TPR和较低的FPR。文献[10, 12]方法整体优于文献[7]方法,但对图 6(a)中的某些篡改图像,如第2、第3幅图像,文献[7]方法具有更好的检测效果,这可能是因为图像背景复杂度影响了算法对特征提取的准确度,使得检测结果不稳定。虽然表 2的实验结果表明本文方法具有较好的检测性能,但为了验证该方法的鲁棒性,需要进一步分析。

\begin{array}{l}{T}_{\mathrm{T}\mathrm{P}\mathrm{R}}=\frac{{T}_{\mathrm{T}\mathrm{P}}}{{T}_{\mathrm{T}\mathrm{P}}+{F}_{\mathrm{F}\mathrm{N}}}\\ {F}_{\mathrm{F}\mathrm{P}\mathrm{R}}=\frac{{F}_{\mathrm{F}\mathrm{P}}}{{F}_{\mathrm{F}\mathrm{P}}+{T}_{\mathrm{T}\mathrm{N}}}\end{array} (17)
下载CSV 表 1 混淆矩阵 Table 1 Confusion matrix
下载CSV 表 2 像素级精度比较结果 Table 2 Pixel-level accuracy comparison results %
2.3 鲁棒性分析

为了评估各方法对经过后处理变换篡改图像的检测性能,本文随机选取Columbia IPDED数据集中的几幅图像,分别进行不同窗口大小的高斯模糊、不同因子大小的JPEG压缩以及不同校正因子的伽马校正后处理。由于所选图像具有随机性,不能充分展示方法的所有检测性能,因此在整个后处理数据集上进行实验并分析各方法的检测效果。

1)高斯模糊

实验首先对篡改图像进行高斯模糊处理,图 7中第1列为拼接图像,第2列~第4列分别是未处理、高斯模糊3×3、高斯模糊5×5的定位检测结果。

Download:
图 7 高斯模糊的检测结果 Fig. 7 Detection results of Gaussian blur

2)JPEG压缩

实验对数据集中的原始拼接篡改图像分别进行压缩因子为95、85、75的JPEG压缩后处理,各方法对压缩后图像的检测结果如图 8所示,第1列为篡改图像,第2列~第5列分别为未压缩、压缩因子95、压缩因子85、压缩因子75的拼接篡改定位结果。

Download:
图 8 JPEG压缩的检测结果 Fig. 8 Detection results of JPEG compression

3)伽马校正

实验对拼接篡改图像分别进行校正因子为0.8、1.2的伽马校正后处理,各方法对校正后图像的检测结果如图 9所示,第1列为篡改图像,第2列~第4列分别为未处理、伽马校正因子为0.8、伽马校正因子为1.2的检测定位结果。

Download:
图 9 伽马校正的检测结果 Fig. 9 Detection results of Gamma correction

图 7~图 9可以看出,本文方法对高斯模糊,JPEG压缩和伽马校正后处理表现出较好的鲁棒性。由于本文方法采用SLIC超像素分割算法划分图像,因此对图像的边缘划分效果较好,但该分割策略不可避免地会引入一些面积较小的超像素块,如果这些块恰好落在拼接区域的边缘,则无法通过本文所提初始可疑区域后处理办法进行过滤/填充操作,导致边缘出现一些漏检的情况,如图 8(e)所示。尽管如此,与文献[10, 12]方法中采用的顺序分块策略相比,本文方法仍呈现出较好的定位效果。各方法对整个Columbia IPDED图像集的检测精度对比结果如表 3所示。从表 3可以看出,本文方法相较文献[10, 12, 7]方法具有较高的TPR及较低的FPR。对于后处理结果,虽然本文方法的误检率高于预期水平,但与其他方法相比仍具有较高的TPR值,这主要有3个原因:相较单独提取噪声特征的方法,本文提取噪声和色温的混合特征,当一方差异较小时,仍能够检测拼接区域;本文将彩色图像的R、G、B三通道利用四元数整合为一个整体,充分保留图像的颜色信息,并在此基础上利用自适应奇异值分解的方法根据图像块大小自适应确定尾部奇异值的有效截断值,最大程度地将图像内容与噪声分离开来;相较顺序分块,本文采用超像素分割策略划分图像,保留了更清晰平滑的边缘轮廓。

下载CSV 表 3 Columbia IPDED图像集后处理前后检测性能比较 Table 3 Comparison of detection performance before and after post-processing of Columbia IPDED image set  
2.4 运行时间分析

本次实验在2.60 GHz CPU和4 GB RAM的计算机上使用MATLAB进行仿真,测试本文方法对Columbia IPDED中每幅图像的平均运行时间,并与文献[10, 12, 7]方法进行比较,对比结果如表 4所示。从表 4可以看出,文献[7]方法使用多尺度超像素分割方法划分图像,并在每个尺度中定位可疑区域,因此,检测时间较长,本文方法采用超像素分割算法并提取噪声和色温2种特征进行拼接区域检测,因此,花费时间也较大,但本文方法在Columbia IPDED数据集上具有较高的检测精确率。

下载CSV 表 4 图像拼接定位方法运行时间比较 Table 4 Comparison of running time of image splicing positioning methods  
3 结束语

针对拼接图像中噪声分布特性不一致的情况,本文提出一种图像拼接定位检测方法。综合考虑噪声影响因素以及图像噪声差异较小等情况,在超像素中逐块执行自适应四元数奇异值分解以进行局部噪声水平估计,同时计算各个超像素的色温特征,然后将噪声和色温特征进行融合并利用FCM聚类算法分类拼接块和原始块。在Columbia IPDED拼接图像数据集上的实验结果表明,相较对比方法,本文方法能够在大多数情况下表现出更高的检测性能,但对某些背景复杂的图像的误检率高于预期水平。因此,下一步将着重解决复杂背景的干扰问题,研究能够充分表示不同区域纹理特征的提取方法,实现对相似区域的粗过滤并优化噪声估计算法,从而提高图像检测的精确率并降低误检率。

参考文献
[1]
KHALAF R S, VAROL A. Digital forensics: focusing on image forensics[C]//Proceedings of the 7th International Symposium on Digital Forensics and Security. Washington D. C., USA: IEEE Press, 2019: 1-5.
[2]
JOHNSON M K, FARID H. Exposing digital forgeries by detecting inconsistencies in lighting[C]//Proceedings of the 7th Workshop on Multimedia and Security. Washington D. C., USA: IEEE Press, 2005: 1-10.
[3]
PAN X, ZHANG X, LÜ S. Exposing image splicing with inconsistent local noise variances[C]//Proceedings of IEEE International Conference on Computational Photography. Washington D. C., USA: IEEE Press, 2012: 1-10.
[4]
FAN Y, CARRE P, FERNANDEZ-MALOIGNE C. Image splicing detection with local illumination estimation[C]//Proceedings of IEEE International Conference on Image Processing. Washington D. C., USA: IEEE Press, 2015: 2940-2944.
[5]
SUN P, LANG Y, FAN S, et al. Exposing splicing forgery based on color temperature estimation[J]. Forensic Science International, 2018, 289: 1-11. DOI:10.1016/j.forsciint.2018.04.049
[6]
HU W C, DAI J S, JIAN J S. Effective composite image detection method based on feature inconsistency of image components[J]. Digital Signal Processing, 2015, 39: 50-62. DOI:10.1016/j.dsp.2015.01.006
[7]
PUN C M, LIU B, YUAN X C. Multi-scale noise estimation for image splicing forgery detection[J]. Visual Communication and Image Representation, 2016, 38: 195-206. DOI:10.1016/j.jvcir.2016.03.005
[8]
PYATYKH S, HESSER J, LEI Z. Image noise level estimation by principal component analysis[J]. IEEE Transactions on Image Processing, 2013, 22(2): 687-699. DOI:10.1109/TIP.2012.2221728
[9]
LIU W, LIN W. Additive white Gaussian noise level estimation in SVD domain for images[J]. IEEE Transactions on Image Processing, 2013, 22(3): 872-883. DOI:10.1109/TIP.2012.2219544
[10]
ZENG H, ZHAN Y, KANG X, et al. Image splicing localization using PCA-based noise level estimation[J]. Multimedia Tools and Applications, 2017, 76(4): 4783-4799. DOI:10.1007/s11042-016-3712-8
[11]
WANG J, LI Y, LI J, et al. Color image-spliced localization based on quaternion principal component analysis and quaternion skewness[J]. Information Security and Applications, 2019, 47: 353-362. DOI:10.1016/j.jisa.2019.06.004
[12]
熊士婷, 张玉金, 刘婷婷, 等. 基于最优颜色通道的图像拼接检测[J]. 电子科技, 2020, 33(12): 49-53.
XIONG S T, ZHANG Y J, LIU T T, et al. Image splicing detection based on optimal color channel[J]. Electronic Science and Technology, 2020, 33(12): 49-53. (in Chinese)
[13]
ZHANG D, WANG X, ZHANG M, et al. Image splicing localization using noise distribution characteristic[J]. Multimedia Tools and Applications, 2019, 78(16): 22223-22247. DOI:10.1007/s11042-019-7408-8
[14]
李思纤, 魏为民, 楚雪玲, 等. 利用改进的超像素分割和噪声估计的图像拼接篡改定位方法[J]. 华侨大学学报(自然科学版), 2020, 41(2): 237-243.
LI S Q, WEI W M, CHU X L, et al. Image splicing tampered localization method using improved superpixel segmentation and noise estimation[J]. Journal of Huaqiao University(Natural Science), 2020, 41(2): 237-243. (in Chinese)
[15]
张德鹏, 王晓峰, 胡姣姣, 等. 噪声水平不一致性的图像拼接区域检测方法[J]. 计算机系统应用, 2019, 28(2): 132-139.
ZHANG D P, WANG X F, HU J J, et al. Image splicing region detection method of noise level inconsistency[J]. Computer Systems & Applications, 2019, 28(2): 132-139. (in Chinese)
[16]
LIU B, PUN C. Locating splicing forgery by adaptive-SVD noise estimation and vicinity noise descriptor[J]. Neurocomputing, 2020, 387: 172-187. DOI:10.1016/j.neucom.2019.12.105
[17]
ZHANG F. Quaternion and matrices of quaternions[J]. Linear Algebra and Its Applications, 1997, 251: 21-57. DOI:10.1016/0024-3795(95)00543-9
[18]
LIU C, SZELISKI R, BING K S, et al. Automatic estimation and removal of noise from a single image[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2008, 30(2): 299-314.
[19]
周荣政, 何捷, 洪志良. 自适应的数码相机自动白平衡算法[J]. 计算机辅助设计与图形学学报, 2005, 17(3): 529-533.
ZHOU R Z, HE J, HONG Z L. Adaptive algorithm of auto white balance for digital camera[J]. Journal of Computer-Aided Design & Computer Graphics, 2005, 17(3): 529-533. (in Chinese)
[20]
PAL N R, BEZDEK J C. On cluster validity for the fuzzy C-means model[J]. IEEE Transactions on Fuzzy Systems, 2002, 3(3): 370-379.
Download:
图 1 不同尺寸图像的尾部奇异值均值与噪声的关系 Fig. 1 Relationship between tail singular value mean and noise of images with different sizes
Download:
图 2 本文方法流程 Fig. 2 Procedure of the proposed method
Download:
图 3 重构图像的MSE变化曲线 Fig. 3 MSE change curve of reconstructed image
Download:
图 4 超像素块级后处理效果 Fig. 4 Super pixel block level post-processing effect
Download:
图 5 后处理定位检测结果 Fig. 5 Post-processing positioning detection results
Download:
图 6 4种方法的检测结果比较 Fig. 6 Comparison of detection results of four methods
下载CSV 表 1 混淆矩阵 Table 1 Confusion matrix
下载CSV 表 2 像素级精度比较结果 Table 2 Pixel-level accuracy comparison results %
Download:
图 7 高斯模糊的检测结果 Fig. 7 Detection results of Gaussian blur
Download:
图 8 JPEG压缩的检测结果 Fig. 8 Detection results of JPEG compression
Download:
图 9 伽马校正的检测结果 Fig. 9 Detection results of Gamma correction
下载CSV 表 3 Columbia IPDED图像集后处理前后检测性能比较 Table 3 Comparison of detection performance before and after post-processing of Columbia IPDED image set  
下载CSV 表 4 图像拼接定位方法运行时间比较 Table 4 Comparison of running time of image splicing positioning methods  
基于自适应四元数奇异值分解的图像拼接检测
赵秀锋 , 魏伟一 , 陈金寿 , 陈帼