«上一篇 下一篇»
  计算机工程  2021, Vol. 47 Issue (7): 266-272, 288  DOI: 10.19678/j.issn.1000-3428.0058795
0

引用本文  

苏超群, 朱正为, 郭玉英. 基于高效卷积算子的异常抑制目标跟踪算法[J]. 计算机工程, 2021, 47(7), 266-272, 288. DOI: 10.19678/j.issn.1000-3428.0058795.
SU Chaoqun, ZHU Zhengwei, GUO Yuying. Anomaly Suppression Target Tracking Algorithm Based on Efficient Convolution Operator[J]. Computer Engineering, 2021, 47(7), 266-272, 288. DOI: 10.19678/j.issn.1000-3428.0058795.

基金项目

国家部委基金

作者简介

苏超群(1995-), 男, 硕士研究生, 主研方向为目标跟踪算法;
朱正为, 副教授、博士;
郭玉英, 教授、博士

文章历史

收稿日期:2020-06-30
修回日期:2020-08-27
基于高效卷积算子的异常抑制目标跟踪算法
苏超群 , 朱正为 , 郭玉英     
西南科技大学 信息工程学院, 四川 绵阳 621010
摘要:传统的目标跟踪算法易受边界效应影响,且当目标因遮挡严重、运动模糊、光照变化等产生外观变化时,目标响应图会发生突变,从而降低目标跟踪检测结果的可信度。提出一种改进的高效卷积算子(ECO)目标跟踪算法。利用高斯混合模型生成紧凑且多样化的样本数据,采用因式分解卷积方法减少模型参数,引入空间权值系数和前后两帧响应图的变化率来弱化边界效应并抑制响应图突变,以提高目标跟踪算法的鲁棒性能和精度。实验结果表明,在光照、尺度变化等多种干扰下,该算法的成功率和距离精度较原始ECO算法分别提高3.1个百分点和1.9个百分点。
关键词目标跟踪    高效卷积算子    相关滤波    边界效应    响应突变抑制    
Anomaly Suppression Target Tracking Algorithm Based on Efficient Convolution Operator
SU Chaoqun , ZHU Zhengwei , GUO Yuying     
School of Information Engineering, Southwest University of Science and Technology, Mianyang, Sichuan 621010, China
Abstract: The traditional target tracking algorithm is easily affected by the boundary effect, and its target response graph mutates with the target appearance changes caused by occlusion, motion blur and varying illumination, which reduces the credibility of the target tracking and detection results.An improved target tracking algorithm based on Efficient Convolution Operator(ECO) is proposed.The algorithm employs the Gaussian mixture model to generate compact and diverse sample data, and uses the factorization convolution method to reduce the number of parameters. Then the spatial weight coefficient and the change rate of the two response graphs are introduced to diminish the boundary effect and suppress the mutation of the response graph, so as to improve the robustness and accuracy of the target tracking algorithm.Experimental results show that the success rate and distance accuracy of the proposed algorithm are 3.1 percentage points and 1.9 percentage points higher than those of the original ECO algorithm respectively under various interference such as illumination and scale change.
Key words: target tracking    Efficient Convolution Operator(ECO)    correlation filtering    boundary effect    suppression of sudden changes in response    

开放科学(资源服务)标志码(OSID):

0 概述

目标跟踪是机器视觉领域的重点研究内容之一,其广泛应用于智能监控、智能交通控制、飞行器跟踪等众多领域[1-3]。在目标跟踪过程中,目标通常会受到光照变化、尺度变化、背景干扰、目标形状旋转、遮挡等干扰的影响,因此,如何快速精准地进行目标跟踪成为国内外研究者们关注的热点问题。

近年来,相关滤波算法越来越多地被应用于目标跟踪,这不仅催生出许多改进的相关滤波算法,也促使目标跟踪技术取得突破性进展。文献[4]设计出MOOSE相关滤波器,利用输出误差平方和损失函数训练滤波器来实现目标跟踪。文献[5-6]在MOSSE相关滤波器的基础上引入循环矩阵和核函数,解决了稀疏采样造成的样本冗余问题。文献[7]将多通道的颜色属性引入CSK算法中,使其具有对彩色视频的跟踪能力。文献[8]提出一种DSST算法,分别利用位移相关滤波器和尺度相关滤波器实现目标的尺度自适应跟踪。文献[9-10]将单一特征扩展为多种特征,针对多特征尺度自适应滤波器,利用尺度池的方法实现目标自适应跟踪。文献[11]采用连续卷积方法将不同空间分辨率的特征图进行整合,可更准确地实现目标跟踪。文献[12]利用分解卷积算子和样本的紧凑生成模型解决计算复杂及过度拟合问题,提高了计算速度和算法鲁棒性。文献[13]采用多通道图像表示特征组合的选择方法提高DCF跟踪器性能。

由于相关滤波算法利用循环矩阵在频域中进行计算会产生边界效应,从而影响到目标跟踪性能,因此研究人员采用多种方法来克服边界效应。文献[14]引入空间权重函数增强目标样本对滤波器的影响,进而弱化边界效应的作用。文献[15-16]将目标背景信息作为负样本扩大搜索区域,从而降低边界效应的影响。文献[17]将空间正则化和时间正则化引入DCF框架中,不仅减少了边界效应影响,还提升了算法的成功率。文献[18]通过为正样本采样训练相关滤波器和引入空间惩罚来抵消由过多背景信息引入的噪声,从而消除边界效应对目标跟踪结果的影响。此外,针对跟踪过程中因目标旋转、遮挡、光照变化等导致的响应图突变问题,文献[19]提出一种基于循环特征图的跟踪方法,通过在训练阶段验证响应图质量来判断是否更新滤波器,在一定程度上消除了响应图突变的影响。文献[20]将多个相关滤波器集成为一个网络,为每一帧响应图训练神经网络,并在下一帧响应图中选择合适的相关滤波器,以避免响应图突变的问题。文献[21]在背景感知滤波器的基础上加入响应图变化率,有效减少了响应图异常问题。文献[22]引入局部响应图变化情况使更多正样本用于训练滤波器,并基于整体响应图变化情况来判断是否更新滤波器。上述方法虽然针对响应图突变进行了改进,但其在抑制响应图的异常上作用有限。

为解决边界效应和响应图突变问题,本文提出一种基于高效卷积算子(Efficient Convolution Operator,ECO)的目标跟踪算法。在训练相关滤波器时引入空间惩罚和响应图变化率,使其在更大的搜索区域消除边界效应的影响,同时抑制响应图突变,并将本文算法与多种算法在OTB100数据集上的目标跟踪性能进行对比和分析。

1 ECO目标跟踪算法

ECO目标跟踪算法(以下称为ECO算法)是在C-COT跟踪算法的基础上,利用因式分解卷积方法减少训练模型的参数量,以提高滤波器训练速度,并采用高斯混合模型生成紧凑且多样化的样本,改变了模型更新策略,从而降低过度拟合的风险和计算复杂度,提高了算法的鲁棒性。

1.1 多分辨率插值处理

ECO算法基于$ M $个训练样本$ \{{x}_{j}{\}}_{1}^{M} $来训练卷积滤波器。每个特征层$ {x}_{j}^{d}\in {\mathbb{R}}^{{N}_{d}} $有独立的分辨率$ {N}_{d} $。通过引入运算符$ {J}_{d} $得到的插值模型,将特征图转移到连续空间域$ t\in [0, T) $,相关表达式如下:

$ {J}_{d}\left\{{x}^{d}\right\}\left(t\right)={x}^{d}\left[n\right]{b}_{d}\left(t-\frac{T}{{N}_{d}}n\right) $ (1)

其中:$ {b}_{d} $是周期$ T>0 $的插值内核,$ {J}_{d}\left\{{x}^{d}\right\} $是周期为$ T $的周期函数,也是一个插值特征层。

通过训练一个连续的$ T $周期多通道卷积滤波器$ f=({f}^{1}, {f}^{2},\cdots , {f}^{D}) $来计算目标的响应值$ {S}_{f}\left\{x\right\}\left(t\right) $,其表达式为:

$ {S}_{f}\left\{x\right\}=f\times J\left\{x\right\}=\mathop \sum \limits_{d=1}^{D}{f}^{d}\times {J}_{d}\left\{{x}^{d}\right\} $ (2)

其中:$ J\left\{x\right\} $表示整个插值特征图。

1.2 样本空间模型生成

ECO算法使用高斯混合模型(Gaussian Mixed Model,GMM)的不同分量来代替样本,每个分量对应一组相似样本,不同分量之间差异性较大。

通过样本特征图$ x $及其相应响应输出值$ y $的联合概率分布$ p(x, y) $,确定使期望相关误差最小的滤波器,表达式如下:

$ E\left(f\right)=E\left\{\right|\left|{S}_{f}\right\{x\}-y|{|}_{{L}^{2}}^{2}\}+\mathop \sum \limits_{d=1}^{D}\left|\right|\omega {f}^{d}|{|}_{{L}^{2}}^{2} $ (3)

其中:期望$ E $在联合样本概率分布$ p(x, y) $上取值,$ \omega $为解决边界效应的惩罚因子(定义在连续空间上)。样本分布$ p(x, y)=\mathop \sum \limits_{j=1}^{M}{\alpha }_{j}{\delta }_{{x}_{j}, {y}_{j}}(x, y) $$ {\delta }_{{x}_{j}, {y}_{j}} $为训练样本$ ({x}_{j}, {y}_{j}) $的狄拉克脉冲函数。

假设目标在图像区域的中心位置且所有$ y={y}_{0} $均相同,则样本分布可分解如下:$ p(x, y)=p\left(x\right){\delta }_{{y}_{0}}\left(y\right) $。采用高斯混合模型使$ p\left(x\right)=\mathop \sum \limits_{l=1}^{L}{\pi }_{l}N(x;{\mu }_{l};\boldsymbol{\boldsymbol{I}}) $$ \boldsymbol{\boldsymbol{I}} $为单位矩阵,$ L $为高斯分量的数量,$ {\pi }_{l} $为高斯分量的权重,$ {\mu }_{l} $为高斯分量的平均值。

当更新模型时,针对每个新样本$ {x}_{j} $,初始化一个新分量$ m $,其中,$ {\pi }_{m}=\upsilon $$ {\mu }_{m}={x}_{j} $$ \upsilon $为学习速率。如果模型数量超过限制$ L $,则丢弃权重$ {\pi }_{l} $小于阈值的模型;否则将两个最近的分量$ k $$ l $合并为一个公共分量$ n $,表达式如下:

$ \left\{\begin{array}{c}{\pi }_{n}={\pi }_{k}+{\pi }_{l}\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\\ {\mu }_{n}=\frac{{\pi }_{k}{\mu }_{k}+{\pi }_{l}{\mu }_{l}}{{\pi }_{k}+{\pi }_{l}}\end{array}\right. $ (4)

因此,最小化目标函数表达式可转化为:

$ E\left(f\right)=\mathop \sum \limits_{l=1}^{L}{\pi }_{l}\left|\right|{S}_{f}\left\{{\mu }_{l}\right\}-{y}_{0}|{|}_{{L}^{2}}^{2}+\mathop \sum \limits_{d=1}^{D}\left|\right|\omega {f}^{d}|{|}_{{L}^{2}}^{2} $ (5)

其中:样本数量从$ M $减少到$ L=M/8\mathrm{。} $

1.3 因式分解卷积算子

ECO算法采用分解卷积的方法减少模型参数量,通过因式卷积操作后,得到目标响应值如下:

$ \begin{array}{l}{S}_{\boldsymbol{\boldsymbol{P}}{}f}\left\{x\right\}=\boldsymbol{P}f\times J\left\{x\right\}=\mathop \sum \limits_{c, d}{p}_{d, c}{f}^{c}\times {J}_{d}\left\{{x}^{d}\right\}=\\ \mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }{{\mathrm{ }}^{{}^{}}}^{}f\times {\boldsymbol{\boldsymbol{P}}{}}^{\mathrm{T}}J\left\{x\right\}\end{array} $ (6)

其中:$ \boldsymbol{\boldsymbol{P}} $$ D\times C $的矩阵,$ {\boldsymbol{\boldsymbol{P}}}^{\mathrm{T}} $为线性降维算子,$ {p}_{d, c} $为滤波器的学习系数,$ \mathop \sum \limits_{c=1}^{c}{p}_{d, c}{f}^{c} $是由特征层$ d $的滤波器和$ {p}_{d, c} $构成的线性组合。

2 本文算法

本文算法是将抑制异常与相关滤波器的训练相结合,为了抑制异常,首先对异常进行识别。引入欧几里得范数定义两个响应图$ {M}_{1} $$ {M}_{2} $的差分水平如下:

$ \left|\right|{M}_{1}\left[{\phi }_{p, q}\right]-{M}_{2}|{|}_{2}^{2} $ (7)

其中,$ p $$ q $分别为二维空间两个响应图中峰值的位置差,$ \left[{\phi }_{p, q}\right] $表示使两个峰值彼此重合进行的移位操作。当发生异常时,两个响应图相似度会突然下降,式(7)的值会变大,因此可通过判断式(7)的值来判断是否发生异常。

为抑制训练过程中的偏差,对训练目标进行优化使目标函数最小化,表达式如下:

$ \begin{array}{l}E\left({f}_{k}\right)=\frac{1}{2}{‖\mathop \sum \limits_{d=1}^{D}{f}_{k}^{d}\times {\boldsymbol{P}}^{\mathrm{T}}J\left\{{x}_{k}^{d}\right\}-y‖}_{{L}^{2}}^{2}+\frac{1}{2}{‖\mathop \sum \limits_{d=1}^{D}\omega {f}_{k}^{d}‖}_{{L}^{2}}^{2}  +\\     {{ }^{}}_{}{{ }^{}}_{}{{{}^{}}_{}}^{}\frac{\gamma }{2}{‖\mathop \sum \limits_{d=1}^{D}{f}_{k-1}^{d}\times {\boldsymbol{P}}^{\mathrm{T}}J\left\{{x}_{k-1}^{d}\right\}\left[{\phi }_{p, q}\right]-\mathop \sum \limits_{d=1}^{D}{f}_{k}^{d}\times {\boldsymbol{P}}^{\mathrm{T}}J\left\{{x}_{k}^{d}\right\}‖}_{2}^{2}\end{array} $ (8)

其中:$ k $$ k-1 $分别表示视频序列的第$ k $帧和第$ k-1 $帧;式(8)等号右侧第3项是限制响应图异常的正则化项;引入参数$ \gamma $作为异常惩罚,将$ \gamma $设置为0.7。变换和优化部分通过式(8)转换到频域内进行,以便在训练相关滤波器时进行异常抑制。

式(8)通过ECO算法保留矩阵$ \boldsymbol{P} $并降低模型数量,使模型从D维降低到C维,同时保留惩罚因子$ \omega $以减少边界效应的影响。

2.1 优化算法

为训练滤波器$ f $,需最小化傅里叶域中函数(见式(8))。由傅里叶分析结果可以看出,由$ {\hat {z}}^{d}\left[k\right]={X}^{d}\left[k\right]{\hat {b}}_{d}\left[k\right] $$ z=J\left\{x\right\} $可得到插值后特征图的傅里叶系数,通过$ {x}^{d} $利用离散傅里叶变换的线性和卷积性质获得$ {X}^{d}\left[k\right] $,进而得到输出响应函数(见式(2))的傅里叶系数,将其代入式(8)得到:

$ \begin{array}{l}E(f, \boldsymbol{P})=\frac{1}{2}{‖{\hat {z}}^{\mathrm{T}}\boldsymbol{P}\hat {f}-\hat {y}‖}_{{L}^{2}}^{2}+\frac{1}{2}{\mathop \sum \limits_{d=1}^{D}‖\hat {\omega }\times {\hat {f}}^{d}‖}_{{L}^{2}}^{2}+\\    {{ }^{}}_{}{{ }^{}}_{}{{}^{}}_{}{{{{}^{}}_{}}^{}}^{}\lambda {‖\boldsymbol{P}‖}_{L}^{2}+\frac{\gamma }{2}{‖{\hat {M}}_{k-1}^{s}-{\hat {z}}^{\mathrm{T}}\boldsymbol{P}\hat {f}‖}_{2}^{2}\end{array} $ (9)

其中:$ {\hat {M}}_{k-1}^{s} $表示移位信号$ {M}_{k-1}\left[{\phi }_{p, q}\right] $的离散傅里叶变换;$ {M}_{k-1} $表示前一帧响应图,其值相当于$ \mathop \sum \limits_{d=1}^{D}{f}_{k-1}^{d}{X}^{d}{\hat {b}}_{d} $$ \boldsymbol{P} $由权重系数$ \lambda $控制。由于在当前帧中已生成前一帧响应图,因此$ {\hat {M}}_{k-1}^{s} $可视为已知信号。

本文采用高斯-牛顿法进行迭代,并使用共轭梯度法优化二次子问题。高斯-牛顿法是通过展开一阶泰勒级数来实现式(9)中残差线性化。当前估计值$ \left(\widehat{{f}_{i}}, {\boldsymbol{P}}_{i}\right) $周围的双线性项$ {\hat {z}}^{\mathrm{T}}\boldsymbol{P}\hat {f} $可近似表示为:

$ \begin{array}{l}{\hat {z}}^{\mathrm{T}}\left({\boldsymbol{P}}_{i}+\mathrm{\Delta }\boldsymbol{P}\right)\left(\widehat{{f}_{i}}+\mathrm{\Delta }\hat {f}\right)\approx {\hat {z}}^{\mathrm{T}}\boldsymbol{P}{\hat {f}}_{i, \mathrm{\Delta }}+{\hat {z}}^{\mathrm{T}}\mathrm{\Delta }\boldsymbol{P}\hat {f}=\\ {\hat {z}}^{\mathrm{T}}\boldsymbol{P}{\hat {f}}_{i, \mathrm{\Delta }}+{\left(\widehat{{f}_{i}}\otimes \hat {z}\right)}^{\mathrm{T}}\mathrm{v}\mathrm{e}\mathrm{c}\left(\mathrm{\Delta }\boldsymbol{P}\right)\end{array} $ (10)

迭代$ i $的高斯-牛顿子问题是通过将式(10)的一阶近似值代入式(9)而得到,表达式如下:

$ \begin{array}{l}\tilde{E}({\hat {f}}_{i, \mathrm{\Delta }}, \mathrm{\Delta }\boldsymbol{P})={‖{\hat {z}}^{\mathrm{T}}{\boldsymbol{P}}_{i}{\hat {f}}_{i, \mathrm{\Delta }}+{\left(\widehat{{f}_{i}}\otimes \hat {z}\right)}^{\mathrm{T}}\mathrm{v}\mathrm{e}\mathrm{c}\left(\mathrm{\Delta }\boldsymbol{P}\right)-{\hat {y}}_{0}‖}_{{L}^{2}}^{2}+\\ {{}^{}}_{}{{ }^{}}_{}{{}^{}}_{}{{{}^{}}_{}}^{}{{}^{}}_{}{{{ }^{}}_{}}^{}{\mathop \sum \limits_{d=1}^{D}‖\hat {\omega }\times {\hat {f}}_{i, \mathrm{\Delta }}^{d}‖}_{{L}^{2}}^{2}+\mu {‖{\boldsymbol{P}}_{i}+\mathrm{\Delta }\boldsymbol{P}‖}_{F}^{2}+\\ {}^{}{{}^{}}_{}{{{}^{}}_{}}^{}{{{}^{}}_{}}^{}{{}^{}}_{}{{{ }^{}}_{}}^{}\gamma {‖{\hat {M}}_{k-1}^{s}-{\hat {z}}^{\mathrm{T}}{\boldsymbol{P}}_{i}{\hat {f}}_{i, \mathrm{\Delta }}-{\left(\widehat{{f}_{i}}\otimes \hat {z}\right)}^{\mathrm{T}}\mathrm{v}\mathrm{e}\mathrm{c}\left(\mathrm{\Delta }\boldsymbol{P}\right)‖}_{2}^{2}\end{array} $ (11)

式(11)是线性最小二乘问题,采用共轭梯度法对每个高斯-牛顿子问题进行优化以获得新滤波器$ {\hat {f}}_{i, \mathrm{\Delta }} $和矩阵增量$ \mathrm{\Delta }{\boldsymbol{P}}^{\mathrm{*}} $,将滤波器和矩阵估计值分别更新为$ {\hat {f}}_{i+1}={\hat {f}}_{i, \mathrm{\Delta }}^{\mathrm{*}} $$ {\boldsymbol{P}}_{i+1}={\boldsymbol{P}}_{i}+\mathrm{\Delta }{\boldsymbol{P}}^{\mathrm{*}} $。由于滤波器的适应性,仅从第一帧就可得到矩阵$ \boldsymbol{P} $,且矩阵$ \boldsymbol{P} $在第一帧之后是恒定的。

2.2 模型和尺度的更新

为避免连续更新模型导致计算量增大,本文算法采用和ECO算法类似的稀疏更新方案,仅当目标发生一定程度的变化时才更新模型,而并非在每一帧图像都以连续方式更新模型。通过每个第N帧图像来更新滤波器,参数$ {N}_{S} $为滤波器的更新频率,在每个第$ {N}_{S} $帧图像中,执行固定数量的$ {N}_{\mathrm{C}\mathrm{G}} $共轭梯度迭代次数来改进模型,该稀疏更新模型可使每帧CG迭代的平均数量减少到$ {N}_{\mathrm{C}\mathrm{G}}/{N}_{S} $,本文中$ {N}_{S}=6 $,以减少更新滤波器增大的计算量,降低计算复杂度,从而有效实现算法加速。

2.3 算法流程

本文提出的抑制响应图突变的跟踪算法流程如图 1所示,具体步骤如下:

Download:
图 1 本文算法流程 Fig. 1 Procedure of the proposed algorithm

1) 输入视频序列,获取目标的位置信息和尺度。

2) 从视频序列第一帧图像中提取目标并提取其特征,计算搜索区域和初始化比例因子,初始化相关滤波器,形成目标区域的初始样本集。

3) 对初始样本集进行高斯混合模型处理以获取样本的紧凑模型。

4) 对相关滤波器进行卷积分解,获取基本滤波器的紧凑集合。

5) 获取新一帧多分辨率特征图,分别与滤波器卷积后将所有响应图加权得到最终响应图。

6) 通过所得响应图的值$ {M}_{2} $与前一帧响应图的值$ {M}_{1} $计算出变化率$ {\phi }_{p, q} $

7) 将响应图的值最高的区域作为当前帧中的目标位置,并用跟踪框标记。

8) 将步骤7中目标位置所在区域作为样本集并用式(8)训练下一帧图像的滤波器。

9) 循环执行步骤3~步骤8直到视频序列的最后一帧图像结束。

3 实验与结果分析

本文使用MATLAB R2018b软件进行仿真实验,采用Inter Core i5-8400计算机,主频为2.80 GHz,操作系统为windows10。实验使用VGG-m网络中第一个卷积层(Conv-1)和最后一个卷积层(Conv-5)的特征组合。测试集使用目标跟踪算法评估的数据集OTB100,该数据集包含光照变化、尺度变化、遮挡或半遮挡、快速运动等多种复杂情况。

本文采用一次测试的实验结果,通过距离精度曲线和成功率曲线对算法性能进行评估。距离精度曲线计算中心位置误差低于某个阈值的帧数占所有帧数的百分比,本文设定像素阈值为25。成功率曲线用于计算跟踪重叠率大于某个阈值的帧数占所有帧数的百分比,其中跟踪重叠率指目标跟踪框与真实目标框的重叠面积与后者总面积的比值,本文设定跟踪重叠率阈值为0.5。以每秒平均帧数表示算法的跟踪速度。

3.1 不同算法性能对比

将本文算法和KCF算法、SRDCF算法、BACF算法、ECO算法、ARCF算法、GFSDCF算法在OTB100数据集上的目标跟踪性能进行对比和分析。

上述7种算法在100组视频序列上的成功率曲线和距离精度曲线如图 2所示。由图 2可知,本文算法的成功率和距离精度在7种算法中均为最高,分别是80.2%和86.4%,较GFSDCF算法分别高1.0个百分点和0.2个百分点,较ECO算法分别高3.1个百分点和1.9个百分点,较BACF算法分别高4.0个百分点和5.5个百分点,较ARCF算法分别高5.9个百分点和7.4个百分点,较SRDCF算法分别高8.5个百分点和8.6个百分点,较KCF算法分别高25.7个百分点和17.6个百分点。由此可见,增加抑制响应图突变后的ECO算法优于改进前的ECO算法。

Download:
图 2 7种算法在OTB100数据集上的成功率曲线和距离精度曲线 Fig. 2 Success rate curve and distance accuracy curve of seven algorithms on OTB100 dataset

上述7种算法在6组视频序列中的跟踪速度如表 1所示。由表 1可见,KCF算法的平均跟踪速度最高,达到80.4 frame/s,其次是ECO算法,平均跟踪速度为33.63 frame/s,本文算法平均跟踪速度为22.98 frame/s,较ECO算法少10.65 frame/s,但成功率和距离精度却优于ECO算法。成功率和距离精度排第二位的GFSDCF算法平均跟踪速度较慢,仅为7.96 frame/s。

下载CSV 表 1 7种算法在不同视频序列中的跟踪速度 Table 1 Tracking speed of seven algorithms in different video sequences 

图 3~图 6为上述7种算法分别在human3、lemming、shaking和bird1视频序列中的定性测评结果(彩色效果参见《计算机工程》官网HTML版)。在human3视频序列中(见图 3),当存在与目标非常相似的干扰物(见图 3(a))和遮挡(见图 3(b)~图 3(e))时,只有本文算法和ECO算法能准确跟踪目标,其他算法均无法准确跟踪目标。从第88帧图像开始,除了本文算法和ECO算法,其他算法均跟踪失败。本文算法由于引入响应图异常抑制框架,因此能准确跟踪目标。在lemming视频序列中(见图 4),当目标被遮挡(见图 4(a)图 4(b))时,SRDCF算法、ARCF算法和KCF算法跟踪失败,当目标存在运动模糊、旋转、超出视野外(见图 4(c)图 4(d))时,ECO算法、GFSDCF算法和BACF算法跟踪效果较差,不能完全跟踪目标,本文算法在上述情况下均能准确跟踪目标。在shaking视频序列中(见图 5),当目标受到光照变换、背景杂波的影响(见图 5(a)图 5(b))时,SRDCF算法、ARCF算法和KCF算法目标跟踪失败,而目标发生旋转(见图 5(c)图 5(d))后,其他算法跟踪效果均较差,仅本文算法跟踪效果较准确。在bird1视频序列中(见图 6):当目标出现快速移动和形变(见图 6(a))时,SRDCF算法和KCF算法目标跟踪失败,其他算法跟踪效果良好;当目标存在运动模糊和超出视野范围(见图 6(b)图 6(c))时,只有GFSDCF算法和本文算法能继续进行目标跟踪,其他算法均目标跟踪失败;从图 6(d)可明显看出本文算法的跟踪效果较GFSDCF算法更好。

Download:
图 3 7种算法在视频序列human3中的测评结果 Fig. 3 Evaluation results of seven algorithms in video sequence human3
Download:
图 4 7种算法在视频序列lemming中的测评结果 Fig. 4 Evaluation results of seven algorithms in video sequence lemming
Download:
图 5 7种算法在视频序列shaking中的测评结果 Fig. 5 Evaluation results of seven algorithms in video sequence shaking
Download:
图 6 7种算法在视频序列bird1中的测评结果 Fig. 6 Evaluation results of seven algorithms in video sequence bird1

7种算法在不同干扰因素下的目标跟踪成功率如表 2所示。由表 2可见,在相似背景、快速运动、尺度变化、形态变化、遮挡、运动模糊的情况下,本文算法的目标跟踪成功率均最高,在其他情况下目标跟踪成功率仅较表现最好的算法略低。在光照变化、平面外旋转、平面内旋转、视野外、低分辨率的情况下本文算法的目标跟踪成功率分别比表现最好的算法GFSDCF低0.3个百分点、3.7个百分点、1.4个百分点、7.7个百分点和6.8个百分点。在所有干扰因素中,本文算法的目标跟踪成功率仅在低分辨率情况下低于ECO算法,在多种环境下本文算法较ECO算法具有更高的目标跟踪成功率。

下载CSV 表 2 7种算法在不同干扰因素下的目标跟踪成功率 Table 2 Target tracking success rates of seven algorithms under different interference factors
3.2 本文算法与ECO算法对比

将本文算法和ECO算法对human3和lemming两组视频序列的跟踪结果进行对比,通过比较前一帧响应图和当前响应图之间的差值来判断跟踪效果,响应图差值越小表明跟踪效果越好,结果如图 7所示。图 7(a)是视频序列human3前200帧响应图的差值曲线,从整体上来看,本文算法的响应图差值较ECO算法更小。当第53帧~第67帧、第118帧~第130帧图像中目标被遮挡时,ECO算法的响应图差值显著变大,而本文算法的响应图差值明显更小,目标跟踪效果更好。图 7(b)是视频序列lemming第1 000帧~第1 300帧响应图的差值曲线,可以看出第1 020帧响应图中目标在平面内旋转、快速移动和运动模糊时,ECO算法的响应图差值变化较大,而本文算法的响应图差值远比ECO算法的响应图差值更小,目标跟踪效果更好。

Download:
图 7 2种算法对2种视频序列的响应图差值曲线 Fig. 7 Response graph difference curves of two algorithms for two video sequences
4 结束语

本文提出一种改进的ECO异常抑制目标跟踪算法。在ECO目标跟踪算法的基础上,将异常抑制与训练相关滤波器相结合,通过引入前一帧响应图变化率来限制响应图异常变化,以防止跟踪过程中目标发生漂移。在OTB100数据集上的实验结果表明,在光照变化、尺度变化、平面内旋转、平面外旋转、背景杂波等干扰下,本文算法较其他相关滤波算法成功率更高。后续将对不同目标特征进行融合,进一步优化算法的跟踪性能。

参考文献
[1]
MENG L, YANG X. Overview of target tracking algorithms[J]. Journal of Automatica Sinica, 2019, 45(7): 1244-1260. (in Chinese)
孟琭, 杨旭. 目标跟踪算法综述[J]. 自动化学报, 2019, 45(7): 1244-1260.
[2]
YIN H P, CHEN B, CHAI Y, et al. Review of vision-based target detection and tracking[J]. Acta Automatica Sinica, 2016, 42(10): 1466-1489. (in Chinese)
尹宏鹏, 陈波, 柴毅, 等. 基于视觉的目标检测与跟踪综述[J]. 自动化学报, 2016, 42(10): 1466-1489.
[3]
LI G Y, ZHANG F X, JI Z A. Long-term target tracking algorithm using efficient convolution operator[J]. Small Microcomputer System, 2019, 40(9): 1951-1955. (in Chinese)
李国友, 张凤煦, 纪执安. 采用高效卷积算子的长期目标追踪算法[J]. 小型微型计算机系统, 2019, 40(9): 1951-1955.
[4]
BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]//Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2010: 2544-2550.
[5]
HENRIQUES J F, RUI C, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//Proceedings of 2012 European Conference on Computer Vision. Berlin, Germany: Springer, 2012: 702-715.
[6]
HENRIQUES J F, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596. DOI:10.1109/TPAMI.2014.2345390
[7]
DANELLJAN M, KHAN F S, FELSBERG M, et al. Adaptive color attributes for real-time visual tracking[C]//Proceedings of 2014 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2014: 1090-1097.
[8]
DANELLJAN M, HAGER G, FAHAD S K, et al. Accurate scale estimation for robust visual tracking[C]//Proceedings of 2014 British Machine Vision Conference. Guildford, UK: BMVA Press, 2014: 1-11.
[9]
YANG L, JIANKE Z. A scale adaptive kernel correlation filter tracker with feature integration[C]//Proceedings of 2014 European Conference on Computer Vision. Berlin, Germany: Springer, 2014: 254-265.
[10]
XIONG C Z, ZHAO L L, GUO F H. Adaptive feature fusion kernel correlation filter tracking algorithm[J]. Journal of Computer Aided Design and Graphics, 2017, 29(6): 1068-1074. (in Chinese)
熊昌镇, 赵璐璐, 郭芬红. 自适应特征融合的核相关滤波跟踪算法[J]. 计算机辅助设计与图形学报, 2017, 29(6): 1068-1074.
[11]
DANELLJAN M, ROBINSON A, SHAHBAZ K F, et al. Beyond correlation filters: learning continuous convolution operators for visual tracking[C]//Proceedings of 2016 European Conference on Computer Vision. Berlin, Germany: Springer, 2016: 472-488.
[12]
DANELLJAN M, BHAT G, KHAN F S, et al. ECO: efficient convolution operators for tracking[C]//Proceedings of 2017 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2017: 6931-6939.
[13]
XU T Y, FENG Z H, WU X J, et al. Joint group feature selection and discriminative filter learning for robust visual object tracking[C]//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Washington D.C., USA: IEEE Press, 2019: 52-57.
[14]
DANELLJAN M, HÄGER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking[C]//Proceedings of 2015 IEEE/CVF International Conference on Computer Vision. Washington D.C., USA: IEEE Press, 2015: 4310-4318.
[15]
GALOOGAHI H K, FAGG A, LUCEY S. Learning background-aware correlation filters for visual tracking[C]//Proceedings of 2017 IEEE/CVF International Conference on Computer Vision. Washington D.C., USA: IEEE Press, 2017: 1144-1152.
[16]
MUELLER M, SMITH N, GHANEM B. Context aware correlation filter tracking[C]//Proceedings of 2017 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2017: 1387-1395.
[17]
LI F, TIAN C, ZUO W M, et al. Learning spatial-temporal regularized correlation filters for visual tracking[EB/OL]. [2020-05-15]. https://www.researchgate.net/publication/324005680_Learning_Spatial-Temporal_Regularized_Correlation_Filters_for_Visual_Tracking.
[18]
DAI K N, WANG D, LU H C, et al. Visual tracking via adaptive spatially-regularized correlation filters[C]//Proceedings of 2019 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2019: 21-27.
[19]
WANG M M, LIU Y, HUANG Z Y. Large margin object tracking with circulant feature maps[C]//Proceedings of 2017 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2017: 4800-4808.
[20]
JONGWON C, HYUNG J C, SANGDOO Y, et al. Attentional correlation filter network for adaptive visual tracking[C]//Proceedings of 2017 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2017: 4828-4837.
[21]
HUANG Z Y, FU C H, LI Y M, et al. Learning aberrance repressed correlation filters for real-time UAV tracking[C]//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Washington D. C., USA: IEEE Press, 2019: 1109-1119.
[22]
LI Y M, FU C H, DING F Q, et al. AutoTrack: towards highperformance visual tracking for UAV with automatic spatiotemporal regularization[C]//Proceedings of 2020 IEEE/CVF International Conference on Computer Vision. Washington D. C., USA: IEEE Press, 2020: 32-39.