0 概述

图像抠取技术在图像编辑中有着重要的应用, 当前主要的抠图方法可分为基于采样的图像抠取技术与基于传播的图像抠取技术。基于采样的图像抠取技术对每个像素独立进行求解, 因此算法易于并行化实现且耗时少, 是图像抠取技术初期的研究热点, 其典型代表有Knockout方法^[1]、Bayesian方法^[2]以及Ruzon-Tomasi方法^[3]等。但如果三分图中的未知区域较大, 则需要配对采样的前、背景点增加, 错误配对的可能性也随之增大。基于传播的图像抠取技术典型代表有Closed-form方法^[4]、Random-walk方法^[5]和Poisson方法^[6]等。相对于基于采样的图像抠取技术, 基于传播的图像抠取技术可以得到更平滑的结果, 但是需要花费更多时间进行扣取。上述的图像抠取方法都需要人工干预对图像进行标记, 也就是需要对图像进行预处理后才能进行图像扣取。

图像显著区域(即人类感兴趣的区域)的像素点都会映射到人类视觉系统的特殊区域。检测显著性区域就是模拟人类的视觉系统来处理复杂的图像信息, 获得视觉范围内最重要的部分^[7-9]。文献[10]将局部比较法和全局比较法相结合, 提出上下文感知图像显著性检测模型。文献[11]结合角点凸包和贝叶斯推断, 提出BM算法用于显著性检测。文献[12]指出显著目标应该分散分布在背景空间。文献[13]提出HC算法和RC算法。HC算法使用所有像素与其他像素的颜色差值来求解显著值, 进而获得全分辨率的显著图。RC算法将原图像分割, 通过计算一个区域与其余区域的区域像素加权颜色差值和空间距离来确定显著值。HC算法和RC算法对于背景简单的图片的处理效果较好, 但不适用于复杂背景图像。

本文对RC算法及其缺点进行分析, 提出改进的RC算法, 对闭形式软抠取方法进行研究和改进, 根据改进的RC算法得到显著图并求解三分图作为输入进行图像抠取。

1 RC算法分析

视觉显著性检测除了提取颜色特征以外, 还需要关注其空间位置关系。由于计算像素级对比度工作量十分庞大, RC算法引入区域级别的对比度, 在此基础上重新量化颜色模型, 减少色彩的数量级以提高计算效率。

对一幅已分割的图像, 为每个区域建立颜色直方图^[14], 计算区域r_k和其他区域的颜色对比度来确定该区域的显著度, 计算公式如下:

$ S\left( {{r_k}} \right) = \sum\limits_{{r_k} \ne {r_i}} {w\left( {{r_i}} \right){D_r}\left( {{r_k},{r_i}} \right)} $

(1)

其中, w(r_i)为区域r_i的权重系数, D_r(r_k, r_i)表示r_i和r_k 2个区域的颜色距离度量。2个区域r₁和r₂的颜色距离为:

$ {D_r}\left( {{r_1},{r_2}} \right) = \sum\limits_{i = 1}^{{n_1}} {\sum\limits_{j = 1}^{{n_2}} {f\left( {{c_{1,i}}} \right)f\left( {{c_{2,j}}} \right)D\left( {{c_{1,i}},{c_{2,j}}} \right)} } $

(2)

其中, f(c_{k, i})是第i种颜色c_{k, i}在第k个区域r_k中出现的概率, k={1, 2}。

为增加区域的空间影响效果, 在式(1)中引入空间权值。2个区域相距越近, 空间影响就越大, 反之则反。r_k区域的空间加权对比度计算公式如下:

$ S\left( {{r_k}} \right) = \sum\limits_{{r_k} \ne {r_i}} {\exp \left( { - {D_s}\left( {{r_k},{r_i}} \right)/\delta _s^2} \right)\omega \left( {{r_i}} \right){D_r}\left( {{r_k},{r_i}} \right)} $

(3)

其中, D_s(r_k, r_i)表示区域r_k和r_i的空间距离, δ_s表示空间距离的权重值, 其值越大表示空间距离在对比度计算中作用越小, 导致较远区域的对比度会对当前显著区域性值作出较大的贡献。实验结果表明, 当δ_s²=0.4时, 像素坐标归一化为[0, 1]^[14]。

RC算法是目前效果最好的显著性检测算法之一。但由于其是区域对比度方法, 算法执行前先要进行图像分割, 因此分割算法的效果会直接影响最终结果。RC算法使用基于图的分割算法, 分割出的像素块形状不规则, 无法良好地贴合各个区域的边缘, 导致原始图像中的前景与背景分不开。本文使用优化的简单线性迭代聚类(Simple Linear Iterative Clustering, SLIC)算法对RC算法改进。

2 改进的RC算法

RC算法使用基于图的图像分割算法, 将原图像作为一个无向图, 图中的节点是各个像素, 边的权重是2个节点的不相似度。当2个节点在同一区域时, 其边的权重应小于其在不同区域时的权重。该算法速度快, 但获得超像素不够均匀和规则。所以本文选用改进的SLIC算法对RC算法进行优化, 以在图像预处理时获得大小均匀的像素块, 且降低时间复杂度。

2.1 优化的SLIC超像素分割

SLIC是一种时间复杂度低的分割算法, 其分割的轮廓清晰, 满足本文对算法的期望。SLIC算法步骤如下^[15]:

1) 图像分割块的初始化。设图像的像素个数为N, 每一个图像块都是一个聚类, 聚类的中心称为超像素, 聚类的个数为k, 则每个块的大小为S×S。

$ S = \sqrt {\frac{N}{k}} $

2) 聚类中心的初始化。在划分好的图像块里, 随机采样一个点作为聚类中心, 为避免采样的初始点是噪声或在边缘处, 在采样点附近3×3的区域计算临近像素点的梯度, 选择临近点中梯度最小的点为聚类中心。

3) 计算像素点到聚类中心的距离。如图 1(a)所示, K-means聚类算法会计算像素点到每一个聚类中心的距离, 其时间复杂度为O(kNI), 其中I为迭代次数。而SLIC算法只计算每个聚类中心周围2S×2S范围内的像素点与该聚类中心的距离, 其时间复杂度为O(N), 如图 1(b)所示。

4) 更新聚类中心, 迭代计算残差直到误差收敛, 即每个像素聚类中心不再改变。根据图片效果取迭代次数。在聚类过程结束时, 可能保留不属于与其聚类中心相同的连接分量的一些“孤立”像素, 这些像素通常是不希望存在或者不需要的。为了使分割效果更好, 使用连通分量算法将这些像素分配给最近聚类中心进行修正。

在CIELAB五维颜色空间中, SLIC算法分别计算每个像素点与聚类中心的空间距离和颜色距离, 计算公式如下:

$ {d_{\rm{c}}} = \sqrt {{{\left( {{l_j} - {l_i}} \right)}^2} + {{\left( {{a_j} - {a_i}} \right)}^2} + {{\left( {{b_j} - {b_i}} \right)}^2}} $

(4)

$ {d_{\rm{s}}} = \sqrt {{{\left( {{x_i} - {x_j}} \right)}^2} + {{\left( {{y_j} - {y_i}} \right)}^2}} $

(5)

$ D' = \sqrt {{{\left( {\frac{{{d_c}}}{{{N_c}}}} \right)}^2} + {{\left( {\frac{{{d_s}}}{{{N_s}}}} \right)}^2}} $

(6)

其中, d_c是颜色距离, d_s表示空间距离, N_c代表最大颜色距离, N_s表示每个聚类内最大空间距离, 定义为N_s=S=NK。最大颜色距离与图像和聚类有关, 因此使用一个固定常数m来改善这种不定参数的情况, 则式(6)可改写为:

$ D' = \sqrt {{{\left( {\frac{{{d_{\rm{c}}}}}{m}} \right)}^2} + {{\left( {\frac{{{d_{\rm{s}}}}}{S}} \right)}^2}} $

(7)

超像素距离度量值D′越小表示与聚类中心的相似度越高, 则该像素属于这个超像素的可能性越大。由于超像素距离度量值只进行定性比较, 不需要定量的计算结果, 因此式(7)两边平方后乘以系数m²S², 则最终的目标函数为:

$ {S^2}d_{\rm{c}}^2 + {m^2}d_{\rm{s}}^2 $

(8)

其中, S是xy空间内最大的可能值, 由输入图像自动得出, m为1, 40的整数。通过式(8)可直接比较距离的度量, 且避免了浮点型计算, 缩短了显著性检测的处理时间。

优化后的SLIC算法流程如下:

1.初始化聚类中心(种子点)。以相邻像素距离为S均匀分配种子点。

$ {\rm{S}} = \sqrt {\frac{{\rm{N}}}{{\rm{k}}}} $

2.选择在3×3邻域内梯度最小的像素点为聚类中心。

3.for每一个聚类中心do

4.for以2S×2S为搜索范围, 比较区域内每个像素点到其周围聚类中心的相对距离do

5.end for

6.根据搜索到的像素点, 计算比较颜色和空间距离, 取值最小种子点更新为聚类中心。

7.end for

2.2 基于SLIC算法的RC算法

本文引入SLIC超像素分割代替基于图的分割, 改进的RC算法流程如图 2所示。

改进后的SLIC算法根据颜色和距离2种特征对图形进行聚类, 生成的像素块大小均匀紧凑, 解决了原算法将部分前景目标归类到背景区域的问题, 更好地突出了前景物体。且算法运行时间短, 聚类后的边界清晰, 区域划分明确, 最终得到的显著图能够均匀突出显著目标区域, 降低非显著主体区域显著点的噪声干扰, 减少纹理、噪声和块效应所产生的高频率干扰。物体轮廓保持以及超像素形状方面比较符合人们期望的分割效果, 可广泛用于图像分割, 有利于图像的下一步处理。

图 3为显著性检测结果。由图 3可以看出, 本文算法处理的花朵图像中的花蕊部分纳入显著区域与标准结果更相近, 而鞭炮显著区域的边缘也比RC算法更加清晰。

3 系统实现与实验分析 3.1 系统实现

本文设计一种自动生成三分图的方法, 提取图像的显著区域, 并将其细化和修正自动获取三分图来代替人工标记的图像抠取, 从而实现无人工干预的自动抠图。在此基础上, 笔者开发了基于显著性识别的自动抠图系统, 其流程如图 4所示。

图 5为显著性图像抠取系统运行截图。图 5(a)是系统运行截图, 图 5(b)是选择原始图像后的运行截图, 图 5(c)是分割图像的运行截图。

根据显著特征提取后的前景图像, 笔者设计了一个后期图像合成子系统, 其运行截图如图 6所示。图 6(a)是根据显著图抠取得到的图像前景, 图 6(b)是通过下拉图像列表点击更换图像背景的运行截图。

图 7是合成的最终输出图像。在合成过程中用户可以手动调整前景图像的位置得到最终的输出图像。

3.2 实验分析

本文使用的测试图像选取自MSRA1000数据集, 其中包括1 000幅测试图像以及对应的标准显著图。本文分别对1 000幅图像进行抠图处理, 取结果的平均值评价算法的性能。评价指标采用查准率(Precision, 分割结果中准确部分占分割结果部分的比重)、查全率(Recall, 分割结果中准确部分占标准分割结果部分的比重)和F值。

$ F = \frac{{\left( {1 + {\beta ^2}} \right) \cdot \mathit{Precision} \cdot \mathit{Recall}}}{{{\beta ^2} \cdot \mathit{Precision} + \mathit{Recall}}} $

(9)

根据文献[16], 本文取β²=0.3。

本文算法(IRC)与其他经典算法IT^[17]、MZ^[18]、GB^[15]、SR^[2]、AC^[3]、LC^[4]、FT^[19]、RC进行了对比, 其中RC^[14]表示基于频率协调的显著性检测方法, 测试结果如图 8所示。

由图 8可以看出, 本文算法的Precision、Recall和F值分别为0.82、0.85和0.83, 均优于其他算法。

各算法执行的平均时间如表 1所示, 可见本文提出的算法运行时间较快。

本文系统的平均运行时间为10.62 s, 其中生成三分图的平均时间为1.63 s。而正常的需要人工标记的闭形式图像抠取算法平均需要85.87 s^[17]。现有文献涉及自动抠图方法运行时间数据的比较少, 例如, 在文献[20]中自动抠图方法所用时间为12.56 s, 所以本文方法运行速度较快。

4 结束语

本文对基于区域对比度的显著性检测算法进行研究和改进。RC使用基于图的分割算法易出现分割区域不能很好地贴合物体边缘, 将属于前景的区域归入背景。针对上述情况, 本文使用优化的SLIC分割算法, 得到均匀规则的超像素, 使得显著图质量进一步提高, 利于最终抠取精确的前景图, 并在此基础上设计一个自动抠图系统。实验结果表明, 本文算法的Precision、Recall和F值分别为0.82、0.85和0.83, 比IT、MZ、GB、RC等经典算法精确。自动抠图系统能够较快地抠取显著目标并提供图片合成应用。下一步将研究一幅图像中存在多个显著区域的抠图问题。