2. 桂林电子科技大学 广西高校数据分析与计算重点实验室, 广西 桂林 541004
2. Guangxi Colleges and Universities Key Laboratory of Data Analysis and Computation, Guilin University of Electronic Technology, Guilin, Guangxi 541004, China
开放科学(资源服务)标志码(OSID):
近年来,视频运动目标检测作为计算机视觉和数字图像处理领域的热点研究方向[1-3],广泛应用于智能监控、交通管制、机器智能、医疗诊断等任务。背景减除[4]是将视频中感兴趣的目标提取出来并去除不感兴趣的背景。常用的背景减除模型主要包括基于概率建模的高斯混合模型(Gaussian Mixture Model,GMM)和鲁棒主成分分析(Robust Principal Component Analysis,RPCA)模型[5]。GMM模型由STAUFFER等[6]于1999年提出,通过期望最大化(Expectation Maximization,EM)算法来确定像素颜色分布的时间以及每个分布的参数。虽然GMM可以处理背景光线的细微变化,但如果用于参数学习的初始视频帧有噪声,训练后的模型将会受噪声影响。为了提高GMM的性能,学者们试图通过提出不同的学习方法或修改算法的适应性使该模型对噪声更具鲁棒性[7-9]。RPCA[5]模型利用矩阵的核范数约束低秩部分,通过l1范数约束稀疏部分。由于该模型简单且求解高效,因此被广泛应用于运动目标检测任务,但是RPCA模型的前提假设是背景静止或几乎静止,而现实世界中的背景往往是变化的。针对此问题,CAO等[10]提出全变分正则化的RPCA模型,利用运动目标的空间连续性和时间连续性,抑制了动态背景的干扰,但对缓慢运动的目标检测效果较差。针对动态背景或噪声干扰问题,EBADI等[11]提出利用动态树结构的稀疏矩阵建模前景,从而加强前景的稀疏性。CHEN等[12]在前景建模中引入l1/1/2范数,充分描述了视频的时空相关性,增强了前景的稀疏性。虽然这些模型取得了一定的效果,但处理复杂场景视频的效果仍有待提升,而且当目标移动缓慢时,检测出来的前景出现较多空洞现象。本文提出一种结合l1/2范数和显著性约束的前景检测模型。利用l1/2范数产生更稀疏的解,减少动态背景对前景的干扰。通过显著性约束对视频序列的每一帧进行低秩稀疏分解,有效识别移动缓慢的物体,缓解前景的空洞现象。
1 RPCA模型假定给出的视频图像序列包含T帧,将所有帧向量化为列向量得到矩阵。检测运动目标可以通过求解如式(1)所示的RPCA模型来获取低秩背景矩阵
$ \left|\mathrm{m}\mathrm{i}\mathrm{n}\right|\left|{{\mathit{\boldsymbol{X}}}}_{1}\right|{|}_{\mathrm{*}}+\lambda \left|\right|{{\mathit{\boldsymbol{X}}}}_{2}|{|}_{1}\text{,}\mathrm{s}.\mathrm{t}.{\mathit{\boldsymbol{X}}}={{\mathit{\boldsymbol{X}}}}_{1}+{{\mathit{\boldsymbol{X}}}}_{2} $ | (1) |
其中:
$ \mathrm{m}\mathrm{i}\mathrm{n}\left|\right|{{\mathit{\boldsymbol{X}}}}_{1}|{|}_{\mathrm{*}}+\lambda |\left|{{\mathit{\boldsymbol{X}}}}_{2}\right|{|}_{1}+\psi ({\mathit{\boldsymbol{E}}})\text{,}\mathrm{s}.\mathrm{t}.{\mathit{\boldsymbol{X}}}={{\mathit{\boldsymbol{X}}}}_{1}+{{\mathit{\boldsymbol{X}}}}_{2}+{\mathit{\boldsymbol{E}}} $ | (2) |
其中:
一方面,传统的背景减除模型在检测移动缓慢的物体时,容易出现空洞现象,导致检测精度下降。由于前景具有显著性,而显著性约束[13-14]能将静止图像的前景检测出来,因此引入显著性有助于检测移动缓慢的目标。另一方面,传统模型多数利用l1范数约束稀疏部分的矩阵,而lq
$ \begin{array}{l}\underset{{{\mathit{\boldsymbol{X}}}}_{1}, {{\mathit{\boldsymbol{X}}}}_{2}, {\mathit{\boldsymbol{E}}}}{\mathrm{m}\mathrm{i}\mathrm{n}}\left|\right|{{\mathit{\boldsymbol{X}}}}_{1}|{|}_{\mathrm{*}}+\lambda |\left|{{\mathit{\boldsymbol{X}}}}_{2}\right|{|}_{1/2}^{1/2}+\beta \left(\sum\limits_{k=1}^{N}\left|\right|{L}_{k}|{|}_{\mathrm{*}}+\alpha |\left|{S}_{k}\right|{|}_{1/2}^{1/2}\right)+\frac{1}{2}\left|\right|{\mathit{\boldsymbol{E}}}|{|}_{\mathrm{F}}\\ \mathrm{s}.\mathrm{t}.{\mathit{\boldsymbol{D}}}={{\mathit{\boldsymbol{X}}}}_{1}+{{\mathit{\boldsymbol{X}}}}_{2}+{\mathit{\boldsymbol{E}}}\\ \;\;\;\;\;\;{{\mathit{\boldsymbol{I}}}}_{k}={{\mathit{\boldsymbol{L}}}}_{k}+{{\mathit{\boldsymbol{S}}}}_{k}, k=\mathrm{1, 2}, \cdots , N\\ \;\;\;\;\;\;{{\mathit{\boldsymbol{X}}}}_{1}=\left[\mathrm{v}\mathrm{e}\mathrm{c}\right({{\mathit{\boldsymbol{L}}}}_{1}), \mathrm{v}\mathrm{e}\mathrm{c}({{\mathit{\boldsymbol{L}}}}_{2}), \cdots , \mathrm{v}\mathrm{e}\mathrm{c}({{\mathit{\boldsymbol{L}}}}_{N}\left)\right]\\ \;\;\;\;\;\;{{\mathit{\boldsymbol{X}}}}_{2}=\left[\mathrm{v}\mathrm{e}\mathrm{c}\right({{\mathit{\boldsymbol{S}}}}_{1}), \mathrm{v}\mathrm{e}\mathrm{c}({{\mathit{\boldsymbol{S}}}}_{1}), \cdots , \mathrm{v}\mathrm{e}\mathrm{c}({{\mathit{\boldsymbol{S}}}}_{N}\left)\right]\end{array} $ | (3) |
其中:
基于交替方向乘子法,式(3)的增广拉格朗日函数表示如下:
$ \begin{array}{l}L({{\mathit{\boldsymbol{X}}}}_{1}, {{\mathit{\boldsymbol{X}}}}_{2}, {{\mathit{\boldsymbol{L}}}}_{i}, {{\mathit{\boldsymbol{S}}}}_{i}, {\mathit{\boldsymbol{Y}}}, {{\mathit{\boldsymbol{W}}}}_{i}, {{\mathit{\boldsymbol{V}}}}_{i}, {{\mathit{\boldsymbol{H}}}}_{i})=\left|\right|{{\mathit{\boldsymbol{X}}}}_{1}|{|}_{\mathrm{*}}+\lambda |\left|{{\mathit{\boldsymbol{X}}}}_{2}\right|{|}_{1/2}+\\ \beta \left(\sum\limits_{i=1}^{N}\left|\right|{{\mathit{\boldsymbol{L}}}}_{i}|{|}_{\mathrm{*}}+\alpha |\left|{{\mathit{\boldsymbol{S}}}}_{i}\right|{|}_{1/2}+\sum\limits_{k=1}^{N}\left(〈{{\mathit{\boldsymbol{I}}}}_{i}-{{\mathit{\boldsymbol{L}}}}_{i}-{{\mathit{\boldsymbol{S}}}}_{i}, {{\mathit{\boldsymbol{W}}}}_{i}〉+ \\ 〈\mathrm{m}\mathrm{a}\mathrm{t}\left(\right[{{\mathit{\boldsymbol{X}}}}_{1}{]}_{:i})-{{\mathit{\boldsymbol{L}}}}_{i}, {{\mathit{\boldsymbol{V}}}}_{i}〉+〈\mathrm{m}\mathrm{a}\mathrm{t}\left(\right[{{\mathit{\boldsymbol{X}}}}_{2}{]}_{:i})-{{\mathit{\boldsymbol{S}}}}_{i}, {{\mathit{\boldsymbol{H}}}}_{i}〉\right)\right)+\\ \frac{u}{2}\sum\limits_{i=1}^{N}\left(\left|\right|{{\mathit{\boldsymbol{I}}}}_{i}-{{\mathit{\boldsymbol{L}}}}_{i}-{{\mathit{\boldsymbol{S}}}}_{i}|{|}_{\mathrm{F}}^{2}+|\left|\mathrm{m}\mathrm{a}\mathrm{t}\right(\left[{{\mathit{\boldsymbol{X}}}}_{1}{]}_{:i}\right)-{{\mathit{\boldsymbol{L}}}}_{i}|{|}_{\mathrm{F}}^{2}+ \\ |\left|\mathrm{m}\mathrm{a}\mathrm{t}\right([{{\mathit{\boldsymbol{X}}}}_{2}{]}_{:i}-{{\mathit{\boldsymbol{S}}}}_{i})|{|}_{\mathrm{F}}^{2}\right)+〈{\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{1}-{{\mathit{\boldsymbol{X}}}}_{2}-{\mathit{\boldsymbol{E}}}, {\mathit{\boldsymbol{Y}}}〉+\frac{u}{2}\left|\right|{\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{1}-{{\mathit{\boldsymbol{X}}}}_{2}-{\mathit{\boldsymbol{E}}}|{|}_{\mathrm{F}}^{2}\end{array} $ | (4) |
其中:
1)固定其他变量,利用式(5)更新
$ \begin{array}{l}{{\mathit{\boldsymbol{L}}}}_{i}^{k+1}=\underset{{{\mathit{\boldsymbol{L}}}}_{i}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\beta }{2\mu }\left|\right|{{\mathit{\boldsymbol{L}}}}_{i}^{k}|{|}_{\mathrm{*}}+\\ \frac{1}{2}{‖{{\mathit{\boldsymbol{L}}}}_{i}^{k}-\left(\frac{{{\mathit{\boldsymbol{W}}}}_{i}^{k}+{{\mathit{\boldsymbol{V}}}}_{i}^{k}}{2\mu }+\frac{{{\mathit{\boldsymbol{I}}}}_{i}^{k}-{{\mathit{\boldsymbol{S}}}}_{i}^{k}+\mathrm{m}\mathrm{a}\mathrm{t}\left(\right[{{\mathit{\boldsymbol{X}}}}_{1}^{k}{]}_{:i})}{2}\right)‖}_{\mathrm{F}}^{2}\end{array} $ | (5) |
该问题有闭型解,可通过奇异值阈值化(Singular Value Thresholding,SVT)[16]求解:
$ {{\mathit{\boldsymbol{L}}}}_{i}^{k+1}={\mathit{\boldsymbol{D}}}\left({\mathit{\boldsymbol{Y}}}\right)={\mathit{\boldsymbol{U}}}{{\mathit{\boldsymbol{S}}}}_{\tau }{{\mathit{\boldsymbol{V}}}}^{\mathrm{*}} $ | (6) |
其中:
2)固定其他变量,利用式(7)更新
$ \begin{array}{l}{{\mathit{\boldsymbol{S}}}}_{i}^{k+1}=\underset{{{\mathit{\boldsymbol{S}}}}_{i}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\alpha \beta }{2\mu }\left|\right|{{\mathit{\boldsymbol{S}}}}_{i}^{k}|{|}_{1/2}^{1/2}+\\ \frac{1}{2}{‖{{\mathit{\boldsymbol{L}}}}_{i}^{k}-\left(\frac{{{\mathit{\boldsymbol{W}}}}_{i}^{k}+{{\mathit{\boldsymbol{H}}}}_{i}^{k}}{2\mu }+\frac{{{\mathit{\boldsymbol{I}}}}_{{\mathit{\boldsymbol{i}}}}^{{\mathit{\boldsymbol{k}}}}-{{\mathit{\boldsymbol{S}}}}_{i}^{k}+\mathrm{m}\mathrm{a}\mathrm{t}\left(\right[{{\mathit{\boldsymbol{X}}}}_{2}^{k}{]}_{:i})}{2}\right)‖}_{\mathrm{F}}^{2}\end{array} $ | (7) |
该问题可通过半阈值化算子[15]求解:
$ {{\mathit{\boldsymbol{S}}}}_{i}^{k+1}={H}_{\epsilon }\left({\mathit{\boldsymbol{Y}}}\right)=\left\{\begin{array}{l}\frac{2}{3}{\mathit{\boldsymbol{Y}}}\left(1+\mathrm{c}\mathrm{o}\mathrm{s}\left(\frac{2\mathrm{\pi }}{3}-\frac{2}{3}\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{c}\mathrm{o}\mathrm{s}\left(\frac{\epsilon }{8}{\left(\frac{\left|{\mathit{\boldsymbol{Y}}}\right|}{3}\right)}^{-\frac{3}{2}}\right)\right)\right), {\mathit{\boldsymbol{Y}}}| > \frac{\sqrt[3]{54}}{4}{\epsilon }^{\frac{2}{3}}\\ 0, \mathrm{其}\mathrm{他}\end{array}\right. $ | (8) |
其中:
3)固定其他变量,利用式(9)更新
$ \begin{array}{l}{{\mathit{\boldsymbol{X}}}}_{1}^{k+1}=\underset{{X}_{1}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{1}{2\mu }\left|\right|{{\mathit{\boldsymbol{X}}}}_{1}^{k}|{|}_{\mathrm{*}}+\\ \frac{1}{2}{‖{{\mathit{\boldsymbol{X}}}}_{1}^{k}-\left(\frac{{{\mathit{\boldsymbol{Y}}}}^{k}-{{\mathit{\boldsymbol{V}}}}^{k}}{2\mu }+\frac{{\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{1}^{k}-{{\mathit{\boldsymbol{E}}}}^{k}+{{\mathit{\boldsymbol{L}}}}^{k}}{2}\right)‖}_{\mathrm{F}}^{2}\end{array} $ | (9) |
该问题可由SVT求解,方法与子问题1类似。
4)固定其他变量,利用式(10)更新
$ \begin{array}{l}{{\mathit{\boldsymbol{X}}}}_{2}^{k+1}=\underset{{{\mathit{\boldsymbol{X}}}}_{2}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\lambda }{2\mu }\left|\right|{{\mathit{\boldsymbol{X}}}}_{2}^{k}|{|}_{1/2}^{1/2}+\\ \frac{1}{2}{‖{{\mathit{\boldsymbol{X}}}}_{2}^{k}-\left(\frac{{{\mathit{\boldsymbol{Y}}}}^{k}-{{\mathit{\boldsymbol{H}}}}^{k}}{2\mu }+\frac{{\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{2}-{{\mathit{\boldsymbol{E}}}}^{k}+{{\mathit{\boldsymbol{L}}}}^{k}}{2}\right)‖}_{\mathrm{F}}^{2}\end{array} $ | (10) |
该问题可通过半阈值化算子来求解,方法与子问题2类似。
5)固定其他变量,利用式(11)更新
$ {{\mathit{\boldsymbol{E}}}}^{k+1}=\frac{{\mu }^{k}({{\mathit{\boldsymbol{X}}}}^{k}-{{\mathit{\boldsymbol{X}}}}_{1}^{k+1}-{{\mathit{\boldsymbol{X}}}}_{2}^{k+1}-\frac{{{\mathit{\boldsymbol{Y}}}}^{k}}{{\mu }^{k}})}{1+{\mu }^{k}} $ | (11) |
6)更新拉格朗日乘子和惩罚参数:
$ \begin{array}{l}{{\mathit{\boldsymbol{Y}}}}^{k+1}={{\mathit{\boldsymbol{Y}}}}^{k}+{\mu }^{k}({\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{1}^{k+1}-{{\mathit{\boldsymbol{X}}}}_{2}^{k+1}-{{\mathit{\boldsymbol{E}}}}^{k+1})\\ {{\mathit{\boldsymbol{W}}}}_{i}^{k+1}={{\mathit{\boldsymbol{W}}}}_{i}^{k}+{\mu }^{k}({{\mathit{\boldsymbol{I}}}}_{i}-{{\mathit{\boldsymbol{L}}}}_{i}^{k+1}-{{\mathit{\boldsymbol{S}}}}_{i}^{k+1})\\ {{\mathit{\boldsymbol{V}}}}_{i}^{k+1}={{\mathit{\boldsymbol{V}}}}_{i}^{k}+{\mu }^{k}\left(\mathrm{m}\mathrm{a}\mathrm{t}\right([{{\mathit{\boldsymbol{X}}}}_{1}^{k+1}{]}_{:i}-{{\mathit{\boldsymbol{L}}}}_{i}^{k+1}))\\ {{\mathit{\boldsymbol{H}}}}_{i}^{k+1}={{\mathit{\boldsymbol{H}}}}_{i}^{k}+{\mu }^{k}\left(\mathrm{m}\mathrm{a}\mathrm{t}\right([{{\mathit{\boldsymbol{X}}}}_{2}^{k+1}{]}_{:i}-{{\mathit{\boldsymbol{S}}}}_{i}^{k+1}))\\ {\mathit{\boldsymbol{Y}}}=\frac{{{\mathit{\boldsymbol{W}}}}_{i}^{k}+{{\mathit{\boldsymbol{V}}}}_{i}^{k}}{2\mu }+\frac{{{\mathit{\boldsymbol{I}}}}_{i}^{k}-{{\mathit{\boldsymbol{S}}}}_{i}^{k}+\mathrm{m}\mathrm{a}\mathrm{t}\left(\right[{{\mathit{\boldsymbol{X}}}}_{1}^{k}{]}_{:i})}{2}\\ {\mu }^{k+1}=\rho {\mu }^{k}\end{array} $ | (12) |
重复求解以上问题直至满足以下迭代收敛条件:
$ \left|\right|{\mathit{\boldsymbol{D}}}-{{\mathit{\boldsymbol{X}}}}_{1}-{{\mathit{\boldsymbol{X}}}}_{2}-{\mathit{\boldsymbol{E}}}|{|}_{\mathrm{F}}^{2} < {10}^{-5} $ | (13) |
为验证本文模型的性能,实验从CD.net-2014[17]测试数据集中选取Boulevard和Traffic(相机抖动)、CopyMachine和Backdoor(移动缓慢)、Fountain021和Boats(动态背景)、Sating和SnowFall(恶劣天气)8组128×128×128的视频集进行测试,并在相同条件下与l1/1/2-RPCA[12]、KBR-RPCA[18]、HoRPCA[19]、FRMC[20]、TRPCA[21]、IALM-RPCA[22]模型从主观和客观两方面进行比较。所有实验的运行环境为Matlab 2019a,Intel Core i5-6500处理器,8 GB内存,Win10 64位操作系统。实验设置参数
![]() |
Download:
|
图 1 实验视频集 Fig. 1 Experimental video sets |
为准确地评估本文模型的性能,采用查全率(recall)、查准率(precision)和调和平均值(F-measure)来评估前景检测的效果。recall和precision的定义分别如下:
$ {{r_{{\rm{recall }}}} = {t_{{\rm{tp}}}}/\left( {{t_{{\rm{tp}}}} + {f_{{\rm{fn}}}}} \right)} $ | (14) |
$ {{p_{{\rm{precision }}}} = {t_{{\rm{tp}}}}/\left( {{t_{{\rm{tp}}}} + {f_{{\rm{fp}}}}} \right)} $ | (15) |
其中:ttp表示检测出的正确的前景像素点;ffn表示错检为背景的前景像素点;ffp表示错检为前景的背景像素点。
采用F-measure来综合判断提取效果。F-measure的定义如下:
$ {F_{{\rm{F - measure }}}} = 2{p_{{\rm{precision }}}} \times {r_{{\rm{recall }}}}/\left( {{p_{{\rm{precision }}}} + {r_{{\rm{recall }}}}} \right) $ | (16) |
图 2给出了相机抖动视频集、移动缓慢视频集、动态背景视频集和恶劣天气视频集的视觉效果。
![]() |
Download:
|
图 2 不同模型下视频集的视觉效果对比 Fig. 2 Comparison of visual effects of video sets under different algorithms |
对于相机抖动视频集:FRMC、KBR-RPCA、l1/1/2-RPCA、TRPCA提取的前景精度较差,运动目标中存在较严重的空洞现象;HoRPCA、IALM-RPCA提取的运动目标的精度较高,但这两种模型把部分背景也检测为运动目标;本文模型在去除背景干扰的同时,提取的运动目标精度也较高,整体取得最佳的检测效果。
对于移动缓慢视频集:FRMC、KBR-RPCA、TRPCA提取的运动目标缺乏完整性;HoRPCA和l1/1/2-RPCA把部分背景误判为前景目标;IALM-RPCA和本文模型提取的前景对象都较为完整,检测精度明显高于其他4种模型,但本文模型具有最高的F-measure值。
对于动态背景视频集,FRMC、KBR-RPCA、TRPCA检测前景的精度较差,运动目标较为模糊;HoRPCA、l1/1/2-RPCA、IALM-RPCA提取的前景目标均比较清晰和完整,但与本文模型相比,这3种模型受动态背景影响的干扰较大,把过多的背景误判为运动目标;本文模型在去除动态背景干扰的同时,提取的运动目标精度也较高,整体上取得最佳的检测效果。
对于恶劣天气视频集:FRMC、KBR-RPCA、TRPCA、HoRPCA、l1/1/2-RPCA提取的前景对象中空洞过大,丢失大量的前景信息;IALM-RPCA比其他5种模型提取的运动目标完整,不存在严重的空洞问题,但也把部分背景误判为前景;本文模型与其他模型相比,提取前景的精度较高,同时对背景的误判较少,整体取得最佳的检测效果。
4.2 客观分析将本文模型和其他6种模型进行比较,评价指标值如表 1所示,其中,加粗数据代表最优值,加下划线数据代表次优值。从表 1可以看出,虽然其他模型的recall值和precision值有比本文模型高的情况,但本文的recall值和precision值在此情况下基本也处于次优状态,而且本文模型的F-measure值均高于其他模型。以上说明了本文模型在抑制动态背景产生的噪声以及目标提取的完整度和精确度方面的综合效果较好。
![]() |
下载CSV 表 1 不同模型下的客观评价指标数据对比 Table 1 Data comparison of objective evaluation index under different models |
将本文模型与其他6种模型进行实验对比,选取视频集Skating中12个代表帧,每个相隔8帧,计算各个代表帧的F-measure、precision和recall值,得出的相关指标曲线如图 3所示。由图 3可以看出,本文模型的F-measure、precision和recall值基本每帧都高于其他6种模型,相比于l1/1/2-RPCA背景减除模型的平均查全率、查准率和调和平均值分别提升了9、14和10个百分点。从图 3(a)、图 3(c)可以看出,本文模型的F-measure和recall值均高于其他模型,因此本文模型的综合检测效果最好。从图 3(b)可以看出,本文模型只有个别帧的precision值低于其他模型,而多数帧的查准率都是处于最优的。
![]() |
Download:
|
图 3 不同模型下的客观评价指标曲线对比 Fig. 3 Curve comparison of objective evaluation index under different models |
表 2给出了本文模型和其他6种模型的视频集平均每帧的运行时间对比结果。从表 2可以看出,本文模型在运行时间方面优于KBR-RPCA、IALM-RPCA、FRMC、TPRCA模型,但低于HoRPCA和l1/1/2-RPCA模型,说明本文模型在计算方面较为耗时,但与运行速度较快的对比模型差距不大,能满足视频监控的实时性要求。
![]() |
下载CSV 表 2 不同模型下的运行时间对比 Table 2 Comparison of running time under different modelss |
采用视频集Skating作为实验视频集,研究参数变化对实验结果的影响,如图 4所示。从图 4(a)中可看出,参数
![]() |
Download:
|
图 4 F-measure随参数取值的变化 Fig. 4 F-measure changing with parameters value |
本文提出一种结合l1/2范数和显著性约束的背景减除模型。以RPCA理论为基础,使用l1/2范数替代l1范数对视频前景作稀疏约束,减少由动态背景造成的干扰,提高前景检测的精确度。利用显著性约束对每一帧图像进行低秩稀疏分解,识别移动缓慢的物体,缓解了前景的空洞现象。实验结果表明,与主流模型相比,本文模型能有效去除动态背景对前景的干扰,且检测移动缓慢目标的效果较好,显著提高了移动目标检测精度。但当背景颜色和前景颜色相近时,本文模型容易出现误判的情况,因此后续将结合视频序列的颜色信息,进一步提升背景减除模型的检测精度和适用性。
[1] |
YANG J Y, SHI W, YUE H J, et al. Spatiotemporally scalable matrix recovery for background modeling and moving object detection[J]. Signal Processing, 2020, 168: 107362. DOI:10.1016/j.sigpro.2019.107362 |
[2] |
JU J G, XING J S. Moving object detection based on smoothing three frame difference method fused with RPCA[J]. Multimedia Tools and Applications, 2019, 78(21): 29937-29951. DOI:10.1007/s11042-018-6710-1 |
[3] |
YANG Z Z, FAN L, YANG Y P, et al. Generalized singular value thresholding operator based nonconvex low-rank and sparse decomposition for moving object detection[J]. Journal of the Franklin Institute, 2019, 356(16): 10138-10154. DOI:10.1016/j.jfranklin.2019.09.017 |
[4] |
CHEN Z, WANG R L, ZHANG Z, et al. Background-foreground interaction for moving object detection in dynamic scenes[J]. Information Sciences, 2019, 483: 65-81. DOI:10.1016/j.ins.2018.12.047 |
[5] |
BOUWMANS T, ZAHZAH E H. Robust PCA via principal component pursuit: a review for a comparative evaluation in video surveillance[J]. Computer Vision and Image Understanding, 2014, 122: 22-34. DOI:10.1016/j.cviu.2013.11.009 |
[6] |
STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]//Proceedings of 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 1999: 246-252.
|
[7] |
TUZEL O, PORIKLI F, MEER P. A Bayesian approach to background modeling[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2005: 1-8.
|
[8] |
ZIVKOVIC Z, VAN DER HEIJDEN F. Efficient adaptive density estimation per image pixel for the task of background subtraction[J]. Pattern Recognition Letters, 2006, 27(7): 773-780. DOI:10.1016/j.patrec.2005.11.005 |
[9] |
邵奇可, 周宇, 李路, 等. 复杂场景下自适应背景减除算法[J]. 中国图象图形学报, 2015, 20(6): 756-763. SHAO Q K, ZHOU Y, LI L, et al. Adaptive background subtraction approach of Gaussian mixture model[J]. Journal of Image and Graphics, 2015, 20(6): 756-763. (in Chinese) |
[10] |
CAO X C, YANG L, GUO X J. Total variation regularized RPCA for irregularly moving object detection under dynamic background[J]. IEEE Transactions on Cybernetics, 2016, 46(4): 1014-1027. DOI:10.1109/TCYB.2015.2419737 |
[11] |
EBADI S E, IZQUIERDO E. Foreground segmentation with tree-structured sparse RPCA[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(9): 2273-2280. DOI:10.1109/TPAMI.2017.2745573 |
[12] |
CHEN L X, LIU J L, WANG X W. Background subtraction with Kronecker-basis-representation based tensor sparsity and l1/1/2 norm[J]. Multidimensional Systems and Signal Processing, 2021, 32(1): 77-90. DOI:10.1007/s11045-020-00729-w |
[13] |
LI Y, LIU G C, LIU Q S, et al. Moving object detection via segmentation and saliency constrained RPCA[J]. Neurocomputing, 2019, 323: 352-362. DOI:10.1016/j.neucom.2018.10.012 |
[14] |
PANG Y W, YE L, LI X L, et al. Incremental learning with saliency map for moving object detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(3): 640-651. DOI:10.1109/TCSVT.2016.2630731 |
[15] |
TOM A J, GEORGE S N. A three-way optimization technique for noise robust moving object detection using tensor low-rank approximation, l1/2, and TTV regularizations[J]. IEEE Transactions on Cybernetics, 2021, 51(2): 1004-1014. DOI:10.1109/TCYB.2019.2921827 |
[16] |
CANDES E J, LI X, MA Y, et al. Robust principal component analysis?[J]. Journal of the ACM, 2011, 58(3): 11. |
[17] |
WANG Y, JODOIN P M, PORIKLI F, et al. CDnet 2014: an expanded change detection benchmark dataset[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington D. C., USA: IEEE Press, 2014: 393-400.
|
[18] |
XIE Q, ZHAO Q, MENG D Y, et al. Kronecker-basis-representation based tensor sparsity and its applications to tensor recovery[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(8): 1888-1902. DOI:10.1109/TPAMI.2017.2734888 |
[19] |
GOLDFARB D, QIN Z T. Robust low-rank tensor recovery: models and algorithms[J]. SIAM Journal on Matrix Analysis and Applications, 2014, 35(1): 225-253. DOI:10.1137/130905010 |
[20] |
REZAEI B, OSTADABBAS S. Background subtraction via fast robust matrix completion[C]//Proceedings of IEEE International Conference on Computer Vision Workshops. Washington D. C., USA: IEEE Press, 2017: 1871-1879.
|
[21] |
LU C Y, FENG J S, CHEN Y D, et al. Tensor robust principal component analysis with a new tensor nuclear norm[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(4): 925-938. DOI:10.1109/TPAMI.2019.2891760 |
[22] |
LIN Z, CHEN M, MA Y. The augmented Lagrange multiplier method for exact recovery of corrupted low-rank matrices[J]. Journal of Structural Biology, 2010, 181(2): 116-127. |