«上一篇 下一篇»
  计算机工程  2022, Vol. 48 Issue (6): 263-269  DOI: 10.19678/j.issn.1000-3428.0061356
0

引用本文  

张国庭, 陈利霞, 周泽锋. 结合l1/2范数与显著性约束的背景减除[J]. 计算机工程, 2022, 48(6), 263-269. DOI: 10.19678/j.issn.1000-3428.0061356.
ZHANG Guoting, CHEN Lixia, ZHOU Zefeng. Background Subtraction Combining l1/2 Norm and Saliency Constraint[J]. Computer Engineering, 2022, 48(6), 263-269. DOI: 10.19678/j.issn.1000-3428.0061356.

基金项目

国家自然科学基金(11961010);广西自然科学基金(2018GXNSFAA138169)

通信作者

陈利霞(通信作者),教授

作者简介

张国庭(1994—),男,硕士研究生,主研方向为目标检测;
周泽锋,本科生

文章历史

收稿日期:2021-04-02
修回日期:2021-07-09
结合l1/2范数与显著性约束的背景减除
张国庭1 , 陈利霞1,2 , 周泽锋1     
1. 桂林电子科技大学 数学与计算科学学院, 广西 桂林 541004;
2. 桂林电子科技大学 广西高校数据分析与计算重点实验室, 广西 桂林 541004
摘要:传统背景减除模型在背景静止和前景对象移动较快时提取到的前景效果较好,但当背景变化或前景对象移动缓慢时容易将动态背景误判为前景或检测出的前景有较多空洞。针对传统背景减除模型在动态背景和前景对象移动缓慢条件下存在前景检测精度下降的问题,提出一种基于l1/2范数与显著性约束的背景减除模型。将观测数据分为低秩背景、运动前景和动态干扰3类,利用l1/2范数约束运动前景加强前景稀疏性,有效抑制动态背景对前景提取造成的干扰,提高运动前景在动态背景中的检测精度。引入视频每一帧的显著性约束,通过对每一帧图像进行低秩稀疏分解来检测移动缓慢的目标。实验结果表明,该模型对于复杂场景具有较强的适应能力,可有效去除动态背景对前景的干扰,快速检测出移动缓慢的前景对象,相比于l1/1/2-RPCA背景减除模型的平均查全率、查准率和调和平均值分别提升了9、14和10个百分点。
关键词低秩稀疏分解    前景检测    l1/2范数    显著性约束    背景减除    
Background Subtraction Combining l1/2 Norm and Saliency Constraint
ZHANG Guoting1 , CHEN Lixia1,2 , ZHOU Zefeng1     
1. School of Mathematics and Computing Science, Guilin University of Electronic Technology, Guilin, Guangxi 541004, China;
2. Guangxi Colleges and Universities Key Laboratory of Data Analysis and Computation, Guilin University of Electronic Technology, Guilin, Guangxi 541004, China
Abstract: The conventional background subtraction model extracts the foreground more effectively when the background is static and the foreground object propagates rapidly. However, when the background is dynamic or the foreground object propagates slowly, the dynamic background can be easily misjudged as the foreground or more foreground voids are detected. To address the decreasing foreground detection accuracy of conventional background subtraction models in cases involving a dynamic background and slowly propagating foreground objects, a background subtraction model based on the l1/2 norm and saliency constraints is proposed. The observation data are classified into three types: low-rank background, motion foreground, and dynamic interference. The l1/2 norm is used to constrain the motion foreground and hence strengthen the foreground sparsity, which effectively suppresses the interference caused by the dynamic background to the foreground extraction and improves the performance of the motion foreground in the dynamic background. A saliency constraint for each frame of video is introduced, and slowly propagating objects are detected by performing low-rank sparse decomposition on each frame of images. Experimental results show that the model is highly adaptable to complex scenes, effectively removes the interference of dynamic background on the foreground, and detects slowly propagating foreground objects rapidly. Compared with the l1/1/2-RPCA background subtraction model, the proposed model improves the average recall, precision, and F-measure by 9, 14, and 10 percentage points, respectively.
Key words: low-rank and sparse decomposition    foreground detection    l1/2 norm    saliency constraint    background subtraction    

开放科学(资源服务)标志码(OSID):

0 概述

近年来,视频运动目标检测作为计算机视觉和数字图像处理领域的热点研究方向[1-3],广泛应用于智能监控、交通管制、机器智能、医疗诊断等任务。背景减除[4]是将视频中感兴趣的目标提取出来并去除不感兴趣的背景。常用的背景减除模型主要包括基于概率建模的高斯混合模型(Gaussian Mixture Model,GMM)和鲁棒主成分分析(Robust Principal Component Analysis,RPCA)模型[5]。GMM模型由STAUFFER等[6]于1999年提出,通过期望最大化(Expectation Maximization,EM)算法来确定像素颜色分布的时间以及每个分布的参数。虽然GMM可以处理背景光线的细微变化,但如果用于参数学习的初始视频帧有噪声,训练后的模型将会受噪声影响。为了提高GMM的性能,学者们试图通过提出不同的学习方法或修改算法的适应性使该模型对噪声更具鲁棒性[7-9]。RPCA[5]模型利用矩阵的核范数约束低秩部分,通过l1范数约束稀疏部分。由于该模型简单且求解高效,因此被广泛应用于运动目标检测任务,但是RPCA模型的前提假设是背景静止或几乎静止,而现实世界中的背景往往是变化的。针对此问题,CAO等[10]提出全变分正则化的RPCA模型,利用运动目标的空间连续性和时间连续性,抑制了动态背景的干扰,但对缓慢运动的目标检测效果较差。针对动态背景或噪声干扰问题,EBADI等[11]提出利用动态树结构的稀疏矩阵建模前景,从而加强前景的稀疏性。CHEN等[12]在前景建模中引入l1/1/2范数,充分描述了视频的时空相关性,增强了前景的稀疏性。虽然这些模型取得了一定的效果,但处理复杂场景视频的效果仍有待提升,而且当目标移动缓慢时,检测出来的前景出现较多空洞现象。本文提出一种结合l1/2范数和显著性约束的前景检测模型。利用l1/2范数产生更稀疏的解,减少动态背景对前景的干扰。通过显著性约束对视频序列的每一帧进行低秩稀疏分解,有效识别移动缓慢的物体,缓解前景的空洞现象。

1 RPCA模型

假定给出的视频图像序列包含T帧,将所有帧向量化为列向量得到矩阵。检测运动目标可以通过求解如式(1)所示的RPCA模型来获取低秩背景矩阵$ {{\mathit{\boldsymbol{X}}}}_{1}\in {\mathbb{R}}^{m\times n\times T} $mn分别表示图像的高度和宽度)以及稀疏前景$ {{\mathit{\boldsymbol{X}}}}_{2}\in {\mathbb{R}}^{m\times n\times T} $

$ \left|\mathrm{m}\mathrm{i}\mathrm{n}\right|\left|{{\mathit{\boldsymbol{X}}}}_{1}\right|{|}_{\mathrm{*}}+\lambda \left|\right|{{\mathit{\boldsymbol{X}}}}_{2}|{|}_{1}\text{,}\mathrm{s}.\mathrm{t}.{\mathit{\boldsymbol{X}}}={{\mathit{\boldsymbol{X}}}}_{1}+{{\mathit{\boldsymbol{X}}}}_{2} $ (1)

其中:$ \left|\right|{{\mathit{\boldsymbol{X}}}}_{1}|{|}_{\mathrm{*}} $表示矩阵X1的核范数;$ \left|\right|{{\mathit{\boldsymbol{X}}}}_{2}|{|}_{1} $表示矩阵X2l1范数;$ \lambda $是一个正的权衡参数。在强动态背景下,RPCA检测结果中前景出现大量误判像素,检测性能较差。由于现实世界中视频的背景复杂多变,因此可将式(1)扩展如下:

$ \mathrm{m}\mathrm{i}\mathrm{n}\left|\right|{{\mathit{\boldsymbol{X}}}}_{1}|{|}_{\mathrm{*}}+\lambda |\left|{{\mathit{\boldsymbol{X}}}}_{2}\right|{|}_{1}+\psi ({\mathit{\boldsymbol{E}}})\text{,}\mathrm{s}.\mathrm{t}.{\mathit{\boldsymbol{X}}}={{\mathit{\boldsymbol{X}}}}_{1}+{{\mathit{\boldsymbol{X}}}}_{2}+{\mathit{\boldsymbol{E}}} $ (2)

其中:$ \psi ({\mathit{\boldsymbol{E}}}) $为干扰信号,通常可用$ {‖{\mathit{\boldsymbol{E}}}‖}_{\mathrm{F}}/2 $来表示,E为噪声矩阵,用于表示动态背景产生的随机变化。

2 模型建立

一方面,传统的背景减除模型在检测移动缓慢的物体时,容易出现空洞现象,导致检测精度下降。由于前景具有显著性,而显著性约束[13-14]能将静止图像的前景检测出来,因此引入显著性有助于检测移动缓慢的目标。另一方面,传统模型多数利用l1范数约束稀疏部分的矩阵,而lq$ (q\in (\mathrm{0, 1}\left)\right) $正则化比l1正则化能生成更稀疏的解。通过对所有lq正则化的研究表明,对于$ q\in [1/\mathrm{2, 1}) $q越小,解越稀疏,但是对于$ q\in (\mathrm{0, 1}/2] $,解的性能没有明显下降,但求解的复杂程度远高于l1/2范数的求解[15]。基于以上两方面,本文引入l1/2范数和显著性约束,提出一种新的背景减除模型,具体如下:

$ \begin{array}{l}\underset{{{\mathit{\boldsymbol{X}}}}_{1}, {{\mathit{\boldsymbol{X}}}}_{2}, {\mathit{\boldsymbol{E}}}}{\mathrm{m}\mathrm{i}\mathrm{n}}\left|\right|{{\mathit{\boldsymbol{X}}}}_{1}|{|}_{\mathrm{*}}+\lambda |\left|{{\mathit{\boldsymbol{X}}}}_{2}\right|{|}_{1/2}^{1/2}+\beta \left(\sum\limits_{k=1}^{N}\left|\right|{L}_{k}|{|}_{\mathrm{*}}+\alpha |\left|{S}_{k}\right|{|}_{1/2}^{1/2}\right)+\frac{1}{2}\left|\right|{\mathit{\boldsymbol{E}}}|{|}_{\mathrm{F}}\\ \mathrm{s}.\mathrm{t}.{\mathit{\boldsymbol{D}}}={{\mathit{\boldsymbol{X}}}}_{1}+{{\mathit{\boldsymbol{X}}}}_{2}+{\mathit{\boldsymbol{E}}}\\ \;\;\;\;\;\;{{\mathit{\boldsymbol{I}}}}_{k}={{\mathit{\boldsymbol{L}}}}_{k}+{{\mathit{\boldsymbol{S}}}}_{k}, k=\mathrm{1, 2}, \cdots , N\\ \;\;\;\;\;\;{{\mathit{\boldsymbol{X}}}}_{1}=\left[\mathrm{v}\mathrm{e}\mathrm{c}\right({{\mathit{\boldsymbol{L}}}}_{1}), \mathrm{v}\mathrm{e}\mathrm{c}({{\mathit{\boldsymbol{L}}}}_{2}), \cdots , \mathrm{v}\mathrm{e}\mathrm{c}({{\mathit{\boldsymbol{L}}}}_{N}\left)\right]\\ \;\;\;\;\;\;{{\mathit{\boldsymbol{X}}}}_{2}=\left[\mathrm{v}\mathrm{e}\mathrm{c}\right({{\mathit{\boldsymbol{S}}}}_{1}), \mathrm{v}\mathrm{e}\mathrm{c}({{\mathit{\boldsymbol{S}}}}_{1}), \cdots , \mathrm{v}\mathrm{e}\mathrm{c}({{\mathit{\boldsymbol{S}}}}_{N}\left)\right]\end{array} $ (3)

其中:$ \{{{\mathit{\boldsymbol{I}}}}_{k}{\}}_{k=1}^{N} $是一个含N张图像的视频序列;$ \mathrm{v}\mathrm{e}\mathrm{c}(\cdot ) $是把矩阵转化成向量的线性算子;X1是背景矩阵;X2是前景矩阵;$ {\mathit{\boldsymbol{D}}}=\left[\mathrm{v}\mathrm{e}\mathrm{c}\right({I}_{1}), \mathrm{v}\mathrm{e}\mathrm{c}({I}_{2}), \cdots , \mathrm{v}\mathrm{e}\mathrm{c}({I}_{N}\left)\right] $是把一帧图像转化成列向量后储存起来的数据矩阵;$ \lambda $$ \alpha $$ \beta $为平衡前景成分和背景成分的权衡参数;$ \sum\limits_{k=1}^{N}\left|\right|{{\mathit{\boldsymbol{L}}}}_{k}|{|}_{\mathrm{*}}+\alpha |\left|{{\mathit{\boldsymbol{S}}}}_{k}\right|{|}_{1/2}^{1/2} $表示显著性约束。

3 模型求解

基于交替方向乘子法,式(3)的增广拉格朗日函数表示如下:

$ \begin{array}{l}L({{\mathit{\boldsymbol{X}}}}_{1}, {{\mathit{\boldsymbol{X}}}}_{2}, {{\mathit{\boldsymbol{L}}}}_{i}, {{\mathit{\boldsymbol{S}}}}_{i}, {\mathit{\boldsymbol{Y}}}, {{\mathit{\boldsymbol{W}}}}_{i}, {{\mathit{\boldsymbol{V}}}}_{i}, {{\mathit{\boldsymbol{H}}}}_{i})=\left|\right|{{\mathit{\boldsymbol{X}}}}_{1}|{|}_{\mathrm{*}}+\lambda |\left|{{\mathit{\boldsymbol{X}}}}_{2}\right|{|}_{1/2}+\\ \beta \left(\sum\limits_{i=1}^{N}\left|\right|{{\mathit{\boldsymbol{L}}}}_{i}|{|}_{\mathrm{*}}+\alpha |\left|{{\mathit{\boldsymbol{S}}}}_{i}\right|{|}_{1/2}+\sum\limits_{k=1}^{N}\left(〈{{\mathit{\boldsymbol{I}}}}_{i}-{{\mathit{\boldsymbol{L}}}}_{i}-{{\mathit{\boldsymbol{S}}}}_{i}, {{\mathit{\boldsymbol{W}}}}_{i}〉+ \\ 〈\mathrm{m}\mathrm{a}\mathrm{t}\left(\right[{{\mathit{\boldsymbol{X}}}}_{1}{]}_{:i})-{{\mathit{\boldsymbol{L}}}}_{i}, {{\mathit{\boldsymbol{V}}}}_{i}〉+〈\mathrm{m}\mathrm{a}\mathrm{t}\left(\right[{{\mathit{\boldsymbol{X}}}}_{2}{]}_{:i})-{{\mathit{\boldsymbol{S}}}}_{i}, {{\mathit{\boldsymbol{H}}}}_{i}〉\right)\right)+\\ \frac{u}{2}\sum\limits_{i=1}^{N}\left(\left|\right|{{\mathit{\boldsymbol{I}}}}_{i}-{{\mathit{\boldsymbol{L}}}}_{i}-{{\mathit{\boldsymbol{S}}}}_{i}|{|}_{\mathrm{F}}^{2}+|\left|\mathrm{m}\mathrm{a}\mathrm{t}\right(\left[{{\mathit{\boldsymbol{X}}}}_{1}{]}_{:i}\right)-{{\mathit{\boldsymbol{L}}}}_{i}|{|}_{\mathrm{F}}^{2}+ \\ |\left|\mathrm{m}\mathrm{a}\mathrm{t}\right([{{\mathit{\boldsymbol{X}}}}_{2}{]}_{:i}-{{\mathit{\boldsymbol{S}}}}_{i})|{|}_{\mathrm{F}}^{2}\right)+〈{\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{1}-{{\mathit{\boldsymbol{X}}}}_{2}-{\mathit{\boldsymbol{E}}}, {\mathit{\boldsymbol{Y}}}〉+\frac{u}{2}\left|\right|{\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{1}-{{\mathit{\boldsymbol{X}}}}_{2}-{\mathit{\boldsymbol{E}}}|{|}_{\mathrm{F}}^{2}\end{array} $ (4)

其中:$ {[\cdot ]}_{:i} $是矩阵的第i列;$ \mathrm{m}\mathrm{a}\mathrm{t}(\cdot ) $表示把向量转化成矩阵,使得$ \mathrm{m}\mathrm{a}\mathrm{t}\left(\mathrm{v}\mathrm{e}\mathrm{c}\right({{\mathit{\boldsymbol{L}}}}_{i}\left)\right)\equiv {\mathit{\boldsymbol{L}}}{}_{i} $$ \mu $是惩罚参数;$ {\mathit{\boldsymbol{Y}}}\mathrm{、}{\left\{{{\mathit{\boldsymbol{W}}}}_{i}\right\}}_{i=1}^{N}\mathrm{、} $ $ {\left\{{{\mathit{\boldsymbol{V}}}}_{i}\right\}}_{i=1}^{N}\mathrm{、}{\left\{{{\mathit{\boldsymbol{H}}}}_{i}\right\}}_{i=1}^{N} $是拉格朗日乘子。为求解式(4),利用交替方向乘子法对其进行变量分离并转换为6个问题进行求解。在迭代初始化时,令$ {{\mathit{\boldsymbol{X}}}}_{1}^{0}={{\mathit{\boldsymbol{X}}}}_{1}^{0}={{\mathit{\boldsymbol{E}}}}^{0}=0 $,迭代次数$ k=0 $

1)固定其他变量,利用式(5)更新$ \{{{\mathit{\boldsymbol{L}}}}_{i}^{k+1}{\}}_{i=1}^{N} $

$ \begin{array}{l}{{\mathit{\boldsymbol{L}}}}_{i}^{k+1}=\underset{{{\mathit{\boldsymbol{L}}}}_{i}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\beta }{2\mu }\left|\right|{{\mathit{\boldsymbol{L}}}}_{i}^{k}|{|}_{\mathrm{*}}+\\ \frac{1}{2}{‖{{\mathit{\boldsymbol{L}}}}_{i}^{k}-\left(\frac{{{\mathit{\boldsymbol{W}}}}_{i}^{k}+{{\mathit{\boldsymbol{V}}}}_{i}^{k}}{2\mu }+\frac{{{\mathit{\boldsymbol{I}}}}_{i}^{k}-{{\mathit{\boldsymbol{S}}}}_{i}^{k}+\mathrm{m}\mathrm{a}\mathrm{t}\left(\right[{{\mathit{\boldsymbol{X}}}}_{1}^{k}{]}_{:i})}{2}\right)‖}_{\mathrm{F}}^{2}\end{array} $ (5)

该问题有闭型解,可通过奇异值阈值化(Singular Value Thresholding,SVT)[16]求解:

$ {{\mathit{\boldsymbol{L}}}}_{i}^{k+1}={\mathit{\boldsymbol{D}}}\left({\mathit{\boldsymbol{Y}}}\right)={\mathit{\boldsymbol{U}}}{{\mathit{\boldsymbol{S}}}}_{\tau }{{\mathit{\boldsymbol{V}}}}^{\mathrm{*}} $ (6)

其中:$ {\mathit{\boldsymbol{Y}}}={\mathit{\boldsymbol{U}}}{\mathit{\boldsymbol{S}}}{{\mathit{\boldsymbol{V}}}}^{\mathrm{*}} $$ {{\mathit{\boldsymbol{S}}}}_{\tau }=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left({\mathit{\boldsymbol{S}}}\right)\times \mathrm{m}\mathrm{a}\mathrm{x}\left(\right|{\mathit{\boldsymbol{S}}}|-\tau , 0) $$ \tau =\frac{\beta }{2\mu } $

2)固定其他变量,利用式(7)更新$ \{{{\mathit{\boldsymbol{S}}}}_{i}^{k+1}{\}}_{i=1}^{N} $

$ \begin{array}{l}{{\mathit{\boldsymbol{S}}}}_{i}^{k+1}=\underset{{{\mathit{\boldsymbol{S}}}}_{i}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\alpha \beta }{2\mu }\left|\right|{{\mathit{\boldsymbol{S}}}}_{i}^{k}|{|}_{1/2}^{1/2}+\\ \frac{1}{2}{‖{{\mathit{\boldsymbol{L}}}}_{i}^{k}-\left(\frac{{{\mathit{\boldsymbol{W}}}}_{i}^{k}+{{\mathit{\boldsymbol{H}}}}_{i}^{k}}{2\mu }+\frac{{{\mathit{\boldsymbol{I}}}}_{{\mathit{\boldsymbol{i}}}}^{{\mathit{\boldsymbol{k}}}}-{{\mathit{\boldsymbol{S}}}}_{i}^{k}+\mathrm{m}\mathrm{a}\mathrm{t}\left(\right[{{\mathit{\boldsymbol{X}}}}_{2}^{k}{]}_{:i})}{2}\right)‖}_{\mathrm{F}}^{2}\end{array} $ (7)

该问题可通过半阈值化算子[15]求解:

$ {{\mathit{\boldsymbol{S}}}}_{i}^{k+1}={H}_{\epsilon }\left({\mathit{\boldsymbol{Y}}}\right)=\left\{\begin{array}{l}\frac{2}{3}{\mathit{\boldsymbol{Y}}}\left(1+\mathrm{c}\mathrm{o}\mathrm{s}\left(\frac{2\mathrm{\pi }}{3}-\frac{2}{3}\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{c}\mathrm{o}\mathrm{s}\left(\frac{\epsilon }{8}{\left(\frac{\left|{\mathit{\boldsymbol{Y}}}\right|}{3}\right)}^{-\frac{3}{2}}\right)\right)\right), {\mathit{\boldsymbol{Y}}}| > \frac{\sqrt[3]{54}}{4}{\epsilon }^{\frac{2}{3}}\\ 0, \mathrm{其}\mathrm{他}\end{array}\right. $ (8)

其中:$ {\mathit{\boldsymbol{Y}}}=\frac{{{\mathit{\boldsymbol{W}}}}_{i}^{k}+{{\mathit{\boldsymbol{H}}}}_{i}^{k}}{2\mu }+\frac{{{\mathit{\boldsymbol{I}}}}_{i}^{k}-{{\mathit{\boldsymbol{S}}}}_{i}^{k}+\mathrm{m}\mathrm{a}\mathrm{t}\left(\right[{{\mathit{\boldsymbol{X}}}}_{2}^{k}{]}_{:i})}{2} $$ \epsilon =\frac{\alpha \beta }{2\mu } $

3)固定其他变量,利用式(9)更新$ {{\mathit{\boldsymbol{X}}}}_{1}^{k+1} $

$ \begin{array}{l}{{\mathit{\boldsymbol{X}}}}_{1}^{k+1}=\underset{{X}_{1}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{1}{2\mu }\left|\right|{{\mathit{\boldsymbol{X}}}}_{1}^{k}|{|}_{\mathrm{*}}+\\ \frac{1}{2}{‖{{\mathit{\boldsymbol{X}}}}_{1}^{k}-\left(\frac{{{\mathit{\boldsymbol{Y}}}}^{k}-{{\mathit{\boldsymbol{V}}}}^{k}}{2\mu }+\frac{{\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{1}^{k}-{{\mathit{\boldsymbol{E}}}}^{k}+{{\mathit{\boldsymbol{L}}}}^{k}}{2}\right)‖}_{\mathrm{F}}^{2}\end{array} $ (9)

该问题可由SVT求解,方法与子问题1类似。

4)固定其他变量,利用式(10)更新$ {{\mathit{\boldsymbol{X}}}}_{2}^{k+1} $

$ \begin{array}{l}{{\mathit{\boldsymbol{X}}}}_{2}^{k+1}=\underset{{{\mathit{\boldsymbol{X}}}}_{2}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\lambda }{2\mu }\left|\right|{{\mathit{\boldsymbol{X}}}}_{2}^{k}|{|}_{1/2}^{1/2}+\\ \frac{1}{2}{‖{{\mathit{\boldsymbol{X}}}}_{2}^{k}-\left(\frac{{{\mathit{\boldsymbol{Y}}}}^{k}-{{\mathit{\boldsymbol{H}}}}^{k}}{2\mu }+\frac{{\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{2}-{{\mathit{\boldsymbol{E}}}}^{k}+{{\mathit{\boldsymbol{L}}}}^{k}}{2}\right)‖}_{\mathrm{F}}^{2}\end{array} $ (10)

该问题可通过半阈值化算子来求解,方法与子问题2类似。

5)固定其他变量,利用式(11)更新$ {{\mathit{\boldsymbol{E}}}}_{}^{k+1} $

$ {{\mathit{\boldsymbol{E}}}}^{k+1}=\frac{{\mu }^{k}({{\mathit{\boldsymbol{X}}}}^{k}-{{\mathit{\boldsymbol{X}}}}_{1}^{k+1}-{{\mathit{\boldsymbol{X}}}}_{2}^{k+1}-\frac{{{\mathit{\boldsymbol{Y}}}}^{k}}{{\mu }^{k}})}{1+{\mu }^{k}} $ (11)

6)更新拉格朗日乘子和惩罚参数:

$ \begin{array}{l}{{\mathit{\boldsymbol{Y}}}}^{k+1}={{\mathit{\boldsymbol{Y}}}}^{k}+{\mu }^{k}({\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{1}^{k+1}-{{\mathit{\boldsymbol{X}}}}_{2}^{k+1}-{{\mathit{\boldsymbol{E}}}}^{k+1})\\ {{\mathit{\boldsymbol{W}}}}_{i}^{k+1}={{\mathit{\boldsymbol{W}}}}_{i}^{k}+{\mu }^{k}({{\mathit{\boldsymbol{I}}}}_{i}-{{\mathit{\boldsymbol{L}}}}_{i}^{k+1}-{{\mathit{\boldsymbol{S}}}}_{i}^{k+1})\\ {{\mathit{\boldsymbol{V}}}}_{i}^{k+1}={{\mathit{\boldsymbol{V}}}}_{i}^{k}+{\mu }^{k}\left(\mathrm{m}\mathrm{a}\mathrm{t}\right([{{\mathit{\boldsymbol{X}}}}_{1}^{k+1}{]}_{:i}-{{\mathit{\boldsymbol{L}}}}_{i}^{k+1}))\\ {{\mathit{\boldsymbol{H}}}}_{i}^{k+1}={{\mathit{\boldsymbol{H}}}}_{i}^{k}+{\mu }^{k}\left(\mathrm{m}\mathrm{a}\mathrm{t}\right([{{\mathit{\boldsymbol{X}}}}_{2}^{k+1}{]}_{:i}-{{\mathit{\boldsymbol{S}}}}_{i}^{k+1}))\\ {\mathit{\boldsymbol{Y}}}=\frac{{{\mathit{\boldsymbol{W}}}}_{i}^{k}+{{\mathit{\boldsymbol{V}}}}_{i}^{k}}{2\mu }+\frac{{{\mathit{\boldsymbol{I}}}}_{i}^{k}-{{\mathit{\boldsymbol{S}}}}_{i}^{k}+\mathrm{m}\mathrm{a}\mathrm{t}\left(\right[{{\mathit{\boldsymbol{X}}}}_{1}^{k}{]}_{:i})}{2}\\ {\mu }^{k+1}=\rho {\mu }^{k}\end{array} $ (12)

重复求解以上问题直至满足以下迭代收敛条件:

$ \left|\right|{\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{1}-{{\mathit{\boldsymbol{X}}}}_{2}-{\mathit{\boldsymbol{E}}}|{|}_{\mathrm{F}}^{2} < {10}^{-5} $ (13)
4 实验结果与分析

为验证本文模型的性能,实验从CD.net-2014[17]测试数据集中选取Boulevard和Traffic(相机抖动)、CopyMachine和Backdoor(移动缓慢)、Fountain021和Boats(动态背景)、Sating和SnowFall(恶劣天气)8组128×128×128的视频集进行测试,并在相同条件下与l1/1/2-RPCA[12]、KBR-RPCA[18]、HoRPCA[19]、FRMC[20]、TRPCA[21]、IALM-RPCA[22]模型从主观和客观两方面进行比较。所有实验的运行环境为Matlab 2019a,Intel Core i5-6500处理器,8 GB内存,Win10 64位操作系统。实验设置参数$ \lambda =0.8 $$ \alpha =1/\sqrt{128} $$ \beta =0.01 $$ \rho =1.1 $。实验视频集如图 1所示。

Download:
图 1 实验视频集 Fig. 1 Experimental video sets

为准确地评估本文模型的性能,采用查全率(recall)、查准率(precision)和调和平均值(F-measure)来评估前景检测的效果。recall和precision的定义分别如下:

$ {{r_{{\rm{recall }}}} = {t_{{\rm{tp}}}}/\left( {{t_{{\rm{tp}}}} + {f_{{\rm{fn}}}}} \right)} $ (14)
$ {{p_{{\rm{precision }}}} = {t_{{\rm{tp}}}}/\left( {{t_{{\rm{tp}}}} + {f_{{\rm{fp}}}}} \right)} $ (15)

其中:ttp表示检测出的正确的前景像素点;ffn表示错检为背景的前景像素点;ffp表示错检为前景的背景像素点。

采用F-measure来综合判断提取效果。F-measure的定义如下:

$ {F_{{\rm{F - measure }}}} = 2{p_{{\rm{precision }}}} \times {r_{{\rm{recall }}}}/\left( {{p_{{\rm{precision }}}} + {r_{{\rm{recall }}}}} \right) $ (16)
4.1 主观分析

图 2给出了相机抖动视频集、移动缓慢视频集、动态背景视频集和恶劣天气视频集的视觉效果。

Download:
图 2 不同模型下视频集的视觉效果对比 Fig. 2 Comparison of visual effects of video sets under different algorithms

对于相机抖动视频集:FRMC、KBR-RPCA、l1/1/2-RPCA、TRPCA提取的前景精度较差,运动目标中存在较严重的空洞现象;HoRPCA、IALM-RPCA提取的运动目标的精度较高,但这两种模型把部分背景也检测为运动目标;本文模型在去除背景干扰的同时,提取的运动目标精度也较高,整体取得最佳的检测效果。

对于移动缓慢视频集:FRMC、KBR-RPCA、TRPCA提取的运动目标缺乏完整性;HoRPCA和l1/1/2-RPCA把部分背景误判为前景目标;IALM-RPCA和本文模型提取的前景对象都较为完整,检测精度明显高于其他4种模型,但本文模型具有最高的F-measure值。

对于动态背景视频集,FRMC、KBR-RPCA、TRPCA检测前景的精度较差,运动目标较为模糊;HoRPCA、l1/1/2-RPCA、IALM-RPCA提取的前景目标均比较清晰和完整,但与本文模型相比,这3种模型受动态背景影响的干扰较大,把过多的背景误判为运动目标;本文模型在去除动态背景干扰的同时,提取的运动目标精度也较高,整体上取得最佳的检测效果。

对于恶劣天气视频集:FRMC、KBR-RPCA、TRPCA、HoRPCA、l1/1/2-RPCA提取的前景对象中空洞过大,丢失大量的前景信息;IALM-RPCA比其他5种模型提取的运动目标完整,不存在严重的空洞问题,但也把部分背景误判为前景;本文模型与其他模型相比,提取前景的精度较高,同时对背景的误判较少,整体取得最佳的检测效果。

4.2 客观分析

将本文模型和其他6种模型进行比较,评价指标值如表 1所示,其中,加粗数据代表最优值,加下划线数据代表次优值。从表 1可以看出,虽然其他模型的recall值和precision值有比本文模型高的情况,但本文的recall值和precision值在此情况下基本也处于次优状态,而且本文模型的F-measure值均高于其他模型。以上说明了本文模型在抑制动态背景产生的噪声以及目标提取的完整度和精确度方面的综合效果较好。

下载CSV 表 1 不同模型下的客观评价指标数据对比 Table 1 Data comparison of objective evaluation index under different models

将本文模型与其他6种模型进行实验对比,选取视频集Skating中12个代表帧,每个相隔8帧,计算各个代表帧的F-measure、precision和recall值,得出的相关指标曲线如图 3所示。由图 3可以看出,本文模型的F-measure、precision和recall值基本每帧都高于其他6种模型,相比于l1/1/2-RPCA背景减除模型的平均查全率、查准率和调和平均值分别提升了9、14和10个百分点。从图 3(a)图 3(c)可以看出,本文模型的F-measure和recall值均高于其他模型,因此本文模型的综合检测效果最好。从图 3(b)可以看出,本文模型只有个别帧的precision值低于其他模型,而多数帧的查准率都是处于最优的。

Download:
图 3 不同模型下的客观评价指标曲线对比 Fig. 3 Curve comparison of objective evaluation index under different models

表 2给出了本文模型和其他6种模型的视频集平均每帧的运行时间对比结果。从表 2可以看出,本文模型在运行时间方面优于KBR-RPCA、IALM-RPCA、FRMC、TPRCA模型,但低于HoRPCA和l1/1/2-RPCA模型,说明本文模型在计算方面较为耗时,但与运行速度较快的对比模型差距不大,能满足视频监控的实时性要求。

下载CSV 表 2 不同模型下的运行时间对比 Table 2 Comparison of running time under different modelss

采用视频集Skating作为实验视频集,研究参数变化对实验结果的影响,如图 4所示。从图 4(a)中可看出,参数$ \lambda $在0.08处F-measure取得最大值,因此选取$ \lambda =0.08 $作为最优参数值。从图 4(b)中可看出,参数$ \beta $在0.02处F-measure值取得最大值,结合参数变化对其他视频集的影响,因此选取$ \beta =0.01 $作为最优参数值。从图 4(c)可以看出,当参数$ \alpha $在[0.01,0.1]时对实验结果几乎没有影响,因此选取$ \alpha =1/\sqrt{128}\approx 0.09 $作为最优参数值。

Download:
图 4 F-measure随参数取值的变化 Fig. 4 F-measure changing with parameters value
5 结束语

本文提出一种结合l1/2范数和显著性约束的背景减除模型。以RPCA理论为基础,使用l1/2范数替代l1范数对视频前景作稀疏约束,减少由动态背景造成的干扰,提高前景检测的精确度。利用显著性约束对每一帧图像进行低秩稀疏分解,识别移动缓慢的物体,缓解了前景的空洞现象。实验结果表明,与主流模型相比,本文模型能有效去除动态背景对前景的干扰,且检测移动缓慢目标的效果较好,显著提高了移动目标检测精度。但当背景颜色和前景颜色相近时,本文模型容易出现误判的情况,因此后续将结合视频序列的颜色信息,进一步提升背景减除模型的检测精度和适用性。

参考文献
[1]
YANG J Y, SHI W, YUE H J, et al. Spatiotemporally scalable matrix recovery for background modeling and moving object detection[J]. Signal Processing, 2020, 168: 107362. DOI:10.1016/j.sigpro.2019.107362
[2]
JU J G, XING J S. Moving object detection based on smoothing three frame difference method fused with RPCA[J]. Multimedia Tools and Applications, 2019, 78(21): 29937-29951. DOI:10.1007/s11042-018-6710-1
[3]
YANG Z Z, FAN L, YANG Y P, et al. Generalized singular value thresholding operator based nonconvex low-rank and sparse decomposition for moving object detection[J]. Journal of the Franklin Institute, 2019, 356(16): 10138-10154. DOI:10.1016/j.jfranklin.2019.09.017
[4]
CHEN Z, WANG R L, ZHANG Z, et al. Background-foreground interaction for moving object detection in dynamic scenes[J]. Information Sciences, 2019, 483: 65-81. DOI:10.1016/j.ins.2018.12.047
[5]
BOUWMANS T, ZAHZAH E H. Robust PCA via principal component pursuit: a review for a comparative evaluation in video surveillance[J]. Computer Vision and Image Understanding, 2014, 122: 22-34. DOI:10.1016/j.cviu.2013.11.009
[6]
STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]//Proceedings of 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 1999: 246-252.
[7]
TUZEL O, PORIKLI F, MEER P. A Bayesian approach to background modeling[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2005: 1-8.
[8]
ZIVKOVIC Z, VAN DER HEIJDEN F. Efficient adaptive density estimation per image pixel for the task of background subtraction[J]. Pattern Recognition Letters, 2006, 27(7): 773-780. DOI:10.1016/j.patrec.2005.11.005
[9]
邵奇可, 周宇, 李路, 等. 复杂场景下自适应背景减除算法[J]. 中国图象图形学报, 2015, 20(6): 756-763.
SHAO Q K, ZHOU Y, LI L, et al. Adaptive background subtraction approach of Gaussian mixture model[J]. Journal of Image and Graphics, 2015, 20(6): 756-763. (in Chinese)
[10]
CAO X C, YANG L, GUO X J. Total variation regularized RPCA for irregularly moving object detection under dynamic background[J]. IEEE Transactions on Cybernetics, 2016, 46(4): 1014-1027. DOI:10.1109/TCYB.2015.2419737
[11]
EBADI S E, IZQUIERDO E. Foreground segmentation with tree-structured sparse RPCA[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(9): 2273-2280. DOI:10.1109/TPAMI.2017.2745573
[12]
CHEN L X, LIU J L, WANG X W. Background subtraction with Kronecker-basis-representation based tensor sparsity and l1/1/2 norm[J]. Multidimensional Systems and Signal Processing, 2021, 32(1): 77-90. DOI:10.1007/s11045-020-00729-w
[13]
LI Y, LIU G C, LIU Q S, et al. Moving object detection via segmentation and saliency constrained RPCA[J]. Neurocomputing, 2019, 323: 352-362. DOI:10.1016/j.neucom.2018.10.012
[14]
PANG Y W, YE L, LI X L, et al. Incremental learning with saliency map for moving object detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(3): 640-651. DOI:10.1109/TCSVT.2016.2630731
[15]
TOM A J, GEORGE S N. A three-way optimization technique for noise robust moving object detection using tensor low-rank approximation, l1/2, and TTV regularizations[J]. IEEE Transactions on Cybernetics, 2021, 51(2): 1004-1014. DOI:10.1109/TCYB.2019.2921827
[16]
CANDES E J, LI X, MA Y, et al. Robust principal component analysis?[J]. Journal of the ACM, 2011, 58(3): 11.
[17]
WANG Y, JODOIN P M, PORIKLI F, et al. CDnet 2014: an expanded change detection benchmark dataset[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington D. C., USA: IEEE Press, 2014: 393-400.
[18]
XIE Q, ZHAO Q, MENG D Y, et al. Kronecker-basis-representation based tensor sparsity and its applications to tensor recovery[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(8): 1888-1902. DOI:10.1109/TPAMI.2017.2734888
[19]
GOLDFARB D, QIN Z T. Robust low-rank tensor recovery: models and algorithms[J]. SIAM Journal on Matrix Analysis and Applications, 2014, 35(1): 225-253. DOI:10.1137/130905010
[20]
REZAEI B, OSTADABBAS S. Background subtraction via fast robust matrix completion[C]//Proceedings of IEEE International Conference on Computer Vision Workshops. Washington D. C., USA: IEEE Press, 2017: 1871-1879.
[21]
LU C Y, FENG J S, CHEN Y D, et al. Tensor robust principal component analysis with a new tensor nuclear norm[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(4): 925-938. DOI:10.1109/TPAMI.2019.2891760
[22]
LIN Z, CHEN M, MA Y. The augmented Lagrange multiplier method for exact recovery of corrupted low-rank matrices[J]. Journal of Structural Biology, 2010, 181(2): 116-127.