«上一篇 下一篇»
  计算机工程  2019, Vol. 45 Issue (12): 249-256, 262  DOI: 10.19678/j.issn.1000-3428.0053838
0

引用本文  

龚红, 杨发顺, 王代强, 等. 一种基于背景加权的多特征融合目标跟踪算法[J]. 计算机工程, 2019, 45(12), 249-256, 262. DOI: 10.19678/j.issn.1000-3428.0053838.
GONG Hong, YANG Fashun, WANG Daiqiang, et al. A Multi-Feature Fusion Target Tracking Algorithm Based on Background Weighting[J]. Computer Engineering, 2019, 45(12), 249-256, 262. DOI: 10.19678/j.issn.1000-3428.0053838.

基金项目

国家自然科学基金(61464002,11564005);贵州省教育厅创新群体重大研究项目(黔科合字[2017]035)

通信作者

丁召(通信作者), 教授、博士、博士生导师

作者简介

龚红(1977—), 女, 讲师、博士研究生, 主研方向为目标跟踪、图像与视频处理;
杨发顺, 副教授、博士;
王代强, 教授、博士

文章历史

收稿日期:2019-01-28
修回日期:2019-03-11
一种基于背景加权的多特征融合目标跟踪算法
龚红1a , 杨发顺1b , 王代强2 , 丁召1b     
1a. 贵州大学, 人民武装学院, 贵阳 550025;
1b. 贵州大学, 大数据与信息工程学院, 贵阳 550025;
2. 贵州民族大学 机械电子工程学院, 贵阳 550025
摘要:针对均值漂移(MS)目标跟踪算法受背景环境变化干扰较大的问题,提出一种基于背景加权的多特征融合目标跟踪算法BWMMS。引入基于目标模型与目标周围背景模型差分的加权函数,细化各像素对准确描述目标的重要程度,从而提高目标模板的分辨能力。结合颜色与纹理特征进行目标跟踪,构建基于目标和目标背景区域的特征自适应融合机制,使BWMMS算法能够根据跟踪场景变化自适应调整颜色与纹理特征的权值。实验结果表明,与MS算法、HRBW算法相比,该算法对环境变化的适应性较好,能取得更鲁棒的跟踪结果,且跟踪成功率高达94.84%。
关键词背景加权    特征融合    目标跟踪    颜色特征    纹理特征    
A Multi-Feature Fusion Target Tracking Algorithm Based on Background Weighting
GONG Hong1a , YANG Fashun1b , WANG Daiqiang2 , DING Zhao1b     
1a. People's Armed College, Guizhou University, Guiyang 550025, China;
1b. College of Big Data and Information Engineering, Guizhou University, Guiyang 550025, China;
2. School of Mechatronics Engineering, Guizhou Minzu University, Guiyang 550025, China
Abstract: As the Mean Shift(MS) target tracking algorithm is subject to the changes of background environment, this paper proposes a multi-feature fusion target tracking algorithm BWMMS based on background weighting. First, this paper introduces the weighted function based on the differences between the target model and the background model around the target, and refines the importance of each pixel to the target description, so as to improve the resolution of the target template. Then this paper combines the color and texture to track the target. According to the target and the target background area, this paper builds a feature adaptive fusion mechanism, thus enabling the BWMMS algorithm to adaptively adjust the weight of color and texture features according to the changes of tracking scenes. The experimental results show that compared with the MS algorithm and HRBW algorithm, the proposed method has better adaptability to environment changes. Besides, it can achieve more robust tracking results, and the tracking success rate reaches 94.84%.
Key words: background weighting    feature fusion    target tracking    color feature    texture feature    
0 概述

视频目标跟踪作为智能视频监控、交通监视[1]及人机交互[2]等领域的关键技术, 近年来成为学者们的研究热点之一。自1998年均值漂移(Mean Shift, MS)跟踪算法应用于视觉目标跟踪以来[3], 其因较好的实时性以及对目标旋转和部分遮挡的鲁棒性而得到了广泛关注[4-6]。但是, 实际跟踪环境复杂多变, 如目标存在复杂的外形变化、部分被遮挡以及光照变化等[7], 都对MS跟踪算法产生了较大影响。虽然MS算法是一种常用的跟踪算法, 但未能完全解决跟踪过程中窗口的自适应问题[8], 原因是该算法仅通过颜色特征描述目标, 当跟踪窗口中出现相似颜色干扰或者跟踪目标亮度变暗时, 其跟踪效果较差[9]

针对上述问题, 研究人员从不同角度提出了各种改进算法, 如尺度自适应算法[10]、抗遮挡算法[11-12]及快速跟踪算法等。其中, 对于复杂背景干扰和光照变化问题, 学者们主要从2个方面进行改进。第一是改进目标的特征模型, 以降低相似背景对其造成的影响。文献[13]针对传统MS算法对受背景干扰的目标无法进行有效跟踪并缺少有效模型更新策略的问题, 提出一种背景加权与选择性子模型更新相结合的跟踪算法。文献[14]分析了传统MS算法在外观模型对光照变化敏感以及外观模型更新时容易积累误差的问题, 提出了一种组合核函数的自适应目标跟踪算法。文献[15]提出了基于直方图比的背景加权MS算法(HRBW), 该算法提高了目标颜色模型特征的精度, 但对于背景比较复杂的环境, 其跟踪效果不理想, 会出现部分帧偏移跟踪目标的情况。第二是采用多个特征对目标进行描述, 利用特征间的互补性来提高跟踪精度。文献[16]提出一种基于分片的多特征自适应融合目标跟踪算法, 文献[17]提出融合图像目标颜色和形状的多特征融合跟踪方法, 文献[18]提出一种改进的MS算法, 其融合描述目标的深度、形状、颜色、纹理和运动信息以构建多特征目标描述子, 从而提高目标模板的分辨能力[18], 虽然该算法在跟踪精度和鲁棒性上取得了较大幅度的提升, 但其复杂度也较高。

针对目标跟踪时存在的复杂背景干扰与光照变化等问题, 本文综合考虑算法的复杂度和实时性, 提出一种基于背景加权的多特征融合MS目标跟踪算法(BWMMS)。鉴于目标中的不同像素对准确描述目标的贡献度不同, 设计背景加权的MS目标跟踪算法(BWMS), 引入基于目标模型与目标周围背景模型差分的加权函数, 细化各像素对目标描述的贡献度, 以提高目标模板的分辨能力。在BWMS算法的基础上, 选取颜色特征和LBP(Local Binary Pattern)纹理作为目标特征, 构建基于目标和目标背景区域的特征自适应融合机制, 使BWMMS算法能够根据跟踪场景来自动调整颜色与纹理特征的权值, 从而提高算法的鲁棒性。

1 MS算法背景加权策略

原始MS算法以单一的颜色作为特征进行跟踪, 其基本思想是根据目标模型和目标候选模型颜色特征的相似度进行判定。但是, 当目标区域和背景区域存在相似区域或目标周围背景比较复杂时, 该算法容易产生跟踪漂移现象, 从而丢失目标。本节首先从目标特征的贡献度入手, 提出一种基于差分的加权函数对目标模型进行加权, 以提高目标模型描述的准确度。

1.1 目标特征贡献度分析

图 1所示, 内框部分为跟踪目标, 外框和内框间的环形部分为目标区域长宽2倍大小的背景区域。目标特征根据其对目标描述的贡献度不同, 分为重要特征、弱势特征以及干扰特征。重要特征是指目标特有像素或占据目标大分量且能精确描述目标的像素, 弱势特征是指占据目标小部分分量或虽然占据大分量但与背景相对接近, 且对精确描述目标贡献度较小的像素, 干扰特征是指目标中与背景相似的像素, 其会对目标的精确描述造成干扰。

Download:
图 1 目标和背景分割效果

图 1可以看出, 目标和周围背景区域有很多相似的像素(背景墙色和皮肤色), 这部分像素不仅对目标的准确描述没有贡献, 还会对跟踪造成干扰, 使得算法容易收敛到相似背景区域, 因此, 需要对其进行抑制。对于目标独有的像素(可乐瓶字母色), 应该加大其权值。可乐瓶身颜色与背景色相对接近, 因此属于弱势特征, 需要减小其权值。对于全部的特征类型, 越靠近目标中心的像素越可靠, 其权值相对较大, 反之较小。

1.2 基于差分的加权函数

本文提出一种基于目标模型和目标周围背景模型差分的加权函数, 采用该函数对MS目标模型中的核函数进行加权, 通过加权函数可以更加细化地描述目标各像素对准确描述目标的重要程度, 提高目标模板的分辨能力。对于目标区域内与背景相似的像素, 设置较低的权值, 对于目标的独有像素, 设置较高的权值。设目标颜色直方图模型为qu, 目标背景颜色直方图模型为bu, 对两者相应的直方格值进行差分比较, 加权函数v的定义如下:

$ v = \left\{ {\begin{array}{*{20}{l}} {1,{b_u} = 0,{q_u} \ne 0}\\ {1,{b_u} \ne 0,{q_u} > > {b_u}}\\ {0,{b_u} \ne 0,{q_u} < < {b_u}}\\ {0.5,{d_u} = 0}\\ {0.5 \pm \frac{{0.5 \times {q_u}(u)}}{T},{d_u} > 0或{d_u} < 0} \end{array}} \right. $ (1)

其中, T为直方图模型qu的最大值, du=qu(u)-bu(u), du∈(-1, 1), u为颜色量化等级, qu>>buqu < < bu以相差3个数量级为标准进行判定。

当背景直方图bu=0且目标直方图qu≠0时, 说明该颜色等级属于目标独有像素, 属于重要特征, 对准确描述目标的贡献度较大, 应该加大其权值, 因此, 设置该处的加权函数值为1;当bu≠0且qu>>bu时, 说明该颜色等级是目标占优像素, 目标对该颜色等级的含有量远大于背景, 属于重要特征, 对准确描述目标的贡献度较大, 应该加大其权值, 因此, 设置该处的加权函数值为1;反之, 当bu≠0且qu < < bu时, 说明该颜色等级为目标和背景共有, 但背景的含有量远大于目标, 属于干扰特征, 会对目标描述造成干扰, 应该对其进行抑制, 因此, 设置该处的加权函数值为0;当du=0时, 表明在该颜色等级处背景和目标含有量相同, 此时设置加权函数为中间权值0.5;当du>0或du < 0时, 表明在该颜色等级处目标和背景均含有且含有量不同, 当差值大于0时, 目标含有量较大, 属于较可靠特征, 设置其权值大于0.5, 当差值小于0时, 背景的含有量较大, 属于较不可靠的特征, 设置其权值小于0.5。

通过上述分析可以看出, 通过式(1)对目标和背景所含有的各像素进行比较, 可以进一步细化各像素的权值, 从而更准确地描述目标。

1.3 基于背景加权的目标模型

原始MS目标跟踪算法中的目标模型qu如下:

$ {q_u} = C\sum\limits_{i = 1}^n k ||\frac{{{y_0} - x_i^*}}{h}|{|^2}\delta \left[ {{b_f}\left( {x_i^*} \right) - u} \right] $ (2)

其中, bf是将给定位置的像素根据其颜色特征值映射到直方图相应颜色区间(Color Bin)的映射函数, δ[bf(xi*)-u]用于判断目标区域中像素xi*是否属于第u个特征值, 若属于则取值1, 否则取值为0, k()为加权核剖面函数, 由于遮挡或者背景的影响, 通常目标模型中心附近的像素比边界像素更可靠, 因此, k()赋予中心像素一个较大的权值, 赋予边缘像素一个较小的权值, h为核剖面半径, 即核函数带宽, C为归一化常数, 使得$\sum\limits_{u = 1}^m {{q_u}} = 1$。用式(1)中的加权函数v对式(2)进行加权, 本文基于背景加权的MS(BWMS)目标模型定义如下:

$ \begin{array}{*{20}{l}} {q_u^k = vC\sum\limits_{i = 1}^n k ||\frac{{{y_0} - x_i^*}}{h}|{|^2}\delta \left[ {{b_f}\left( {x_i^*} \right) - u} \right]}\\ {k \in (c,t),u = 1,2, \cdots ,m} \end{array} $ (3)

其中:

$ {C^k} = \frac{1}{{v\sum\limits_{i = 1}^n k ||\frac{{{y_0} - x_i^*}}{h}|{|^2}}} $ (4)

k分别取颜色特征c和LBP纹理特征t时, 即可分别得到描述颜色特征的目标模型quc和描述纹理特征的目标模型qut

当目标和周围环境存在相似区域时, 可通过背景加权来增强目标和背景的区分度, 从而抑制背景对目标模型的干扰。MS算法的权值比例不变, 且对目标模型和候选目标模型进行背景加权并不能提升MS算法的性能。仅对目标模型进行加权, 则可减少背景信息对目标描述的影响[19], 因此, 本文采用文献[19]的方法, 仅对目标模型进行背景加权, 候选目标模型仍采用原始MS算法中的处理方式, 这里不再赘述。

1.4 基于背景加权的MS算法性能分析

仅将quc作为目标模型, 候选目标模型和算法流程与原始MS算法一致, 即为本文提出的基于背景加权的MS算法BWMS。本节主要对BWMS算法与HRBW加权方法[8]进行对比分析。目标与背景的分割效果如图 1所示, 背景区域为目标2倍大小的外框区域。2种方法加权后的颜色直方图对比如图 2所示。从图 2(a)图 2(b)可以看出, 原始MS算法目标颜色直方图在灰度值为1 895、1 911处的概率分别为0.040 0、0.137 1, 而周围背景的颜色直方图在灰度值为1 895、1 911处的概率分别为0.096 5、0.283 6, 由此可见, 这2个颜色等级属于目标和背景共有且背景含有量较大, 属于干扰特征, 应该抑制; 原始MS算法的目标颜色直方图在灰度值为1 093、2 458处的概率分别为0.035 2、0.031 2, 而周围背景的颜色直方图在灰度值为1 093、2 458处的概率分别为0、0, 说明该颜色等级是目标独有, 属于重要特征, 有助于准确描述目标, 应该加大其权值。从图 2(c)图 2(d)可以看到, HRBW和BWMS在灰度值为1 895、1 911处的概率分别为0.029 0、0.101 3以及0.021 5、0, 说明BWMS算法对干扰特征的抑制更大; 而HRBW和BWMS在灰度值为1 093、2 458处的概率分别为0.053 3、0.047 2以及0.058 4、0.051 8, 说明BWMS算法加大了目标重要特征的贡献度, 能够更为准确地描述目标模型。

Download:
图 2 2种方法的颜色直方图对比
2 多特征权值更新

目标跟踪具有较高的复杂性, 不同特征在不断变化的场景下对目标描述的贡献度不同, 即每一种特征对目标描述的可靠性会随着跟踪环境的变化而改变。在同一时刻, 对于可靠性高的特征, 应设置较高的权值, 采用该特征进行跟踪定位得到的结果会更接近真实目标位置, 而可靠性低的特征则设置较小的权值。因此, 本文提出一种基于目标和目标周围背景的权值更新方法, 目标和背景的分割效果如图 1所示。

qucqt u分别表示初始目标的颜色直方图、纹理直方图, pucpt u分别表示候选目标的颜色直方图、纹理直方图, bucbut分别表示候选目标周围背景区域的颜色直方图、纹理直方图。特征可靠性因子定义如下:

$ {\beta _k} = \rho \left( {q_u^k,p_u^k} \right)/\rho \left( {q_u^k,b_u^k} \right),k \in (c,t) $ (5)

式(5)表示目标和候选目标以及目标和周围背景的Bhattacharyya系数之比, 当目标和候选目标越相似(Bhattacharyya系数越大)、目标和周围背景越不相似(Bhattacharyya系数越小)时, βk的值越大, 表明该特征具有良好的可靠性; 反之, βk的值越小, 表明该特征的可靠性越低。

为保证各特征的权值能根据跟踪场景实时变化, 设actatt为当前帧的颜色、纹理特征的权值, 且$\sum\limits_{k \in (c, t)} {a_k^t} = 1$, 则权值更新公式定义为:

$ a_k^{t + 1} = (1 - \alpha )a_k^t + \alpha \frac{{{\beta _k}}}{{\sum\limits_{k \in (c,t)} {{\beta _k}} }} $ (6)

其中, α为常数, 用于控制权值更新的速度, α越小, 表明特征权值系数akt+1越依赖于前一时刻的系数akt, α则更新较慢, 反之则较快, 实验结果表明其取值为0.2~0.6时效果较好。$\frac{{{\beta _k}}}{{\sum\limits_{k \in (c, t)} {{\beta _k}} }}$为归一化特征权值, 特征可靠性因子βk越大, 表明目标与背景有良好的区分度, 该特征的可靠性越高, 特征权值也就越大, akt+1相应增大。因此, 按照式(6)计算的特征权值可以根据跟踪环境的变化而进行自适应更新。

3 目标定位

由MS算法的跟踪理论可知, 寻找目标的过程就是寻找目标的中心位置使得其Bhattacharyya系数最大的过程, 本文采用线性加权的方法进行多特征融合。首先, 分别计算多个特征的可靠性因子βk, 根据式(6)可知, 可靠性因子高的特征会获得较高的权值ak; 然后, 通过权值ak分别求取各特征下目标和候选目标的相似性ρ(quk, puk(y)), 经过线性加权的方式, 权值ak较高的特征对目标和候选目标总的相似性度量值D(y)的贡献较大, 则目标定位更依赖于该特征, 若该特征越可靠, 则目标定位越接近真实位置。D(y)定义如下:

$ D(y) = \sum\limits_{k \in (c,t)} {{a_k}} \rho \left( {q_u^k,p_u^k(y)} \right) $ (7)

将式(7)在上一帧位置y0处进行泰勒级数展开得到:

$ \begin{array}{*{20}{l}} {D(y) = {a_c}\rho \left( {q_u^c,p_u^c(y)} \right) + {a_t}\rho \left( {q_u^t,p_u^t(y)} \right) \approx }\\ {\left\{ {\frac{{{a_t}}}{2}\sum\limits_{u = 1}^m {\sqrt {q_u^tp_u^t\left( {{y_0}} \right)} } + \frac{{{a_c}}}{2}\sum\limits_{u = 1}^m {\sqrt {q_u^cp_u^c\left( {{y_0}} \right)} } } \right\} + }\\ {\frac{{{C_h}}}{2}\sum\limits_{i = 1}^m {\left( {{a_c}w_i^c + {a_t}w_i^t} \right)} k{\rm{||}}\frac{{y - x_i^*}}{h}{\rm{|}}{{\rm{|}}^2}} \end{array} $ (8)

求式(7)的最大值即求新的y使得$\frac{{{C_h}}}{2}\sum\limits_{i = 1}^m {\left({{a_c}w_i^c + } \right.} \left. {{a_t}w_i^t} \right)k||\frac{{y - x_i^*}}{h}|{|^2}$最大。令${w_i} = \sum\limits_{k \in (c, t)} {{a_k}} w_i^k$, 可以得到目标的新位置为:

$ {y_1} = \frac{{\sum\limits_{i = 1}^m {{x_i}} {w_i}g{\rm{||}}\frac{{{y_0} - x_i^*}}{h}{\rm{|}}{{\rm{|}}^2}}}{{\sum\limits_{i = 1}^m g ||\frac{{{y_0} - x_i^*}}{h}|{|^2}}},g(x) = - k'(x) $ (9)
4 BWMMS算法步骤

本文BWMMS算法具体步骤如下:

步骤1  按照原始MS算法计算目标模型qu和背景模型bu

步骤2  基于步骤1的结果, 根据式(2)计算差分加权函数v

步骤3  根据式(3)分别计算加权的目标颜色直方图quc、纹理直方图qut

步骤4 按照原始MS算法计算候选目标颜色直方图puc、纹理直方图put以及背景颜色直方图buc、纹理直方图but

步骤5 由式(5)计算可靠性因子βk, 再由式(6)计算当前时刻颜色和纹理特征权值acat

步骤6 按照式(9)计算wi及目标新位置y1

步骤7 读取下一帧, 转步骤3, 若视频结束则终止算法。

5 实验结果与分析

本文实验的软硬件平台为:Win10 64位, Matlab 2012a, CPU 2.10 GHz, RAM 4 GB。本节分别对原始MS算法、HRBW算法[8]、本文BWMS算法以及BWMMS算法进行对比, 通过对不同视频序列进行仿真, 以验证本文算法的有效性。

5.1 Coke视频实验

Coke视频共有291帧, 该视频具有光照变化、遮挡、旋转、背景杂乱以及快速运动等特征。常数α设为0.2, acat初始值分别为0.5、0.5。Coke视频中第22帧、第51帧及第252帧的跟踪结果如图 3所示。

Download:
图 3 Coke视频跟踪结果对比

Coke视频中第22帧、第51帧及第252帧目标的真实中心位置坐标分别为(320, 228)、(296, 220)及(334, 252)。从图 3(a)可以看出, 原始MS算法整体跟踪效果不佳, 第22帧(中心位置(286, 166))已经大部分偏移目标, 第51帧(中心位置(303, 116))完全偏移目标, 第68帧~第291帧一直停留在同一位置附近(中心位置(306, 45)), 完全跟丢目标; 从图 3(b)可以看出, HRBW算法较原始MS算法效果稍微提升, 第22帧(中心位置(291, 258))部分偏移目标, 第51帧(中心位置(316, 103))后完全偏移, 并停留在同一位置附近(中心位置(317, 106))直到最后一帧; 从图 3(c)可以看出, 本文BWMS算法对目标模型进行加权后跟踪质量得到了明显提高, 第22帧(中心位置(295, 233))、第51帧(中心位置(279, 227))时虽然有偏移情况, 但还是跟踪到了目标, 第252帧(中心位置(337, 236))偏移稍大, 在第190帧~第202帧、第254帧~第267帧中有丢失目标的情况, 但后续又继续跟上目标, 跟踪误差较前2种算法大幅降低; 从图 3(d)可以看出, 第22帧(中心位置(318, 228))、第51帧(中心位置(292, 224))及第252帧(中心位置(337, 229))时本文BWMMS算法准确地跟踪到了目标, 在可乐瓶从阴暗处到光照处又从光照处到阴暗处的反复变化中, BWMMS算法通过调整颜色特征和纹理特征的权值, 从而较好地适应了光照变化。

通过Coke视频实验结果可知, 经过差分背景加权后, 本文2种算法降低了背景信息对目标模型的影响, 提高了目标模型的分辨率, 当发生光照变化、部分遮挡的情况时, 通过较可靠的特征进行目标定位, 也能提高跟踪的成功率。

表 1所示为各算法的跟踪性能对比, 其中, 跟踪成功率采用跟踪目标区域与真实目标区域的重叠率来计算。由表 1可以看出, BWMMS算法的跟踪准确度和成功率较高, 迭代次数也相对较少, 但运行时间较长。在跟踪过程中, MS算法、HRBW算法及BWMS算法计算颜色直方图和纹理直方图的次数分别为292、293及293, BWMMS算法由于需要计算目标、候选目标颜色和纹理直方图、背景的颜色和纹理直方图, 总的计算次数为1 269, 因此该算法的运行时间相对较长。

下载CSV 表 1 Coke视频中4种算法跟踪性能比较

图 4为BWMMS算法在跟踪过程中颜色特征和纹理特征权值系数的自适应调整过程, 图 5为4种算法的中心距离误差曲线对比结果。

Download:
图 4 Coke视频中BWMMS算法特征权值自适应变化曲线
Download:
图 5 Coke视频中4种算法中心距离误差曲线对比

图 4中, BWMMS算法的颜色特征权值ac和纹理特征权值at初始值都为0.5, 从图 4可以看出, acat在跟踪过程中根据环境的变化(光照变化、遮挡等)进行自适应调整。在第22帧, 由于可乐瓶由较暗区域进入了灯照区域, 光照变化较大, 因此, 对光照较为敏感的颜色特征权值降低到0.292 9, 纹理特征权值增大到0.707 1;在第165帧、第175帧及第254帧, 可乐瓶均处于光照较强区域, 因此, 纹理特征较为可靠, 其值分别为0.980 6、0.980 1及0.975 4。在整个跟踪过程中, 可乐瓶在台灯附近不断移动, 其光照不断变化, 颜色特征的可靠性较低, 纹理特征的可靠性较高, 因此, 纹理特征曲线均高于颜色特征曲线。

综合图 4图 5表 1的各项数据可以看出, 本文BWMMS算法结合了背景加权和多特征互补的优势, 虽然与原始MS算法相比速度较低, 但在跟踪过程中的准确度得到了大幅提高。

5.2 Crowds视频实验

Crowds视频为480×600像素, 共165帧。该视频为摄像头俯视拍摄而得, 其中, 一个手拎包并身着白色T恤灰色裤子的人从光照强烈的右边往左边树荫处运动, 期间被相似目标短暂遮挡。该视频具有光照变化、目标姿态变化、背景杂乱及短暂遮挡等特征, 常数α为0.4, acat初始值分别为0.5、0.5。Crowds视频中的第8帧、第40帧及第163帧的跟踪结果如图 6所示。第8帧、第40帧及第163帧目标的真实中心位置坐标分别为(546, 340)、(451, 345)及(71, 343)。从图 6(a)可以看出, 原始MS算法采用单一的颜色特征, 受光照影响较大, 当跟踪目标从第8帧(中心位置(547, 326))开始由光照区域进入树荫区域时开始偏移目标, 到第40帧(中心位置(525, 285))时已经完全偏移目标, 第61帧~第163帧停留在中心位置(522, 257)附近。HRBW算法第8帧(中心位置(568, 344))大部分偏移了目标。这表明该算法针对复杂背景时适应性较差, 第40帧(中心位置(561, 355))完全偏移目标。BWMS算法比HRBW算法适应性好, 第8帧(中心位置(544, 343))能准确跟踪目标, 第19帧开始偏移目标, 第40帧(中心位置(538, 334))时已经完全偏移目标, 第85帧~第163帧在中心位置(535, 329)附近徘徊, 说明单一的颜色特征在光照变化的情况下用于描述目标时准确性稍差。本文BWMMS算法在第8帧(中心位置(544, 340))时虽然颜色特征受光照的影响较大, 但由于其纹理和颜色特征能够自适应调整, 从而在行人从光照区域进入树荫区域时准确跟踪到了目标, 由于该算法对目标的颜色直方图模型和纹理直方图模型进行了差分加权, 提高了目标模板的分辨能力, 在第40帧(中心位置(446, 352))行人部分被短暂遮挡时也能成功跟踪目标, 第163帧(中心位置(78, 340))仍然能够准确跟踪目标。

Download:
图 6 Crowds视频跟踪结果对比

通过Crowds视频实验结果可知, 在跟踪场景发生光照变化时, 纹理特征较颜色特征更可靠, 本文BWMMS算法自适应调整纹理特征权值为较高的值, 从而准确地定位目标。差分加权函数能够提高目标描述的准确度, 颜色和纹理特征可以自适应调整权值大小, 因此, 在发生相似目标干扰的情况下, BWMMS算法也能够获得稳定的跟踪结果。

在Crowds视频中, BWMMS算法颜色和纹理特征的权值自适应过程如图 7所示, 4种算法的中心距离误差曲线对比如图 8所示。

Download:
图 7 Crowds视频中BWMMS算法特征权值自适应变化曲线
Download:
图 8 Crowds视频中4种算法中心距离误差曲线对比

图 7可以看出, 初始时颜色特征和纹理特征的权值均为0.5, 第8帧目标从光照区域进入阴影区域, 因颜色特征对光照较为敏感, 其直方图与初始帧的直方图差别较大, 而纹理特征受光照影响较小, 此时采用纹理特征更为可靠, 因此, 颜色特征权值迅速降低到0.286 8, 纹理特征权值增大到0.713 2;第40帧时发生了行人短暂被遮挡的情况, 由于目标与干扰目标的颜色具有相似性, 此时颜色特征可靠性降低, 其值为0.258 5, 纹理特征的权值为0.741 5;第50帧~第71帧处于部分光照区域, 颜色特征的可靠性增大, 纹理特征权值相对减小, 在第71帧, 颜色特征权值增大到0.479, 而纹理特征权值为0.521。在整个跟踪过程中, 目标自第8帧后一直处于阴影区域或部分光照区域, 因此, 颜色特征权值均低于纹理特征权值。由此可见, 当跟踪环境发生变化时, 颜色特征和纹理特征可以实现互补的效果, 当颜色特征的可靠性降低时, 其权值减小, 纹理特征的权值则相应增大。

图 8可以看出, 本文BWMMS算法的跟踪误差远小于其他3种算法。从表 2也可以看到, 原始MS算法、HRBW算法、BWMS算法及BWMMS算法的中心距离误差均值分别为232.49、249.62、225.12及13.25, 从误差均值和各项性能指标对比能够看出, 本文BWMMS算法在跟踪的准确性和成功率上得到了大幅提高, 也在一定程度上提高了鲁棒性, 但迭代次数和运行时间相较其他算法有所增加, 原因是在跟踪过程中, 原始MS算法、HRBW算法和BWMS算法仅需计算目标和候选目标的颜色直方图, 无需计算目标和候选目标的纹理直方图以及背景的颜色直方图和纹理直方图, 这3种算法对颜色直方图函数的调用次数分别为166、167和167, BWMMS算法对颜色直方图函数和纹理直方图函数的调用总次数为723, 使得该算法的运算复杂度有所增加, 因此其运行时间也相对较长, 前3种算法在第40帧后已经完全偏移目标且长时间停留在同一位置, 因此它们的迭代次数和运行时间相对较少。

下载CSV 表 2 Crowds视频中4种算法跟踪性能对比
6 结束语

MS目标跟踪算法仅通过单一的颜色特征来描述目标模型和候选目标模型, 受跟踪场景环境变化的干扰较大。本文提出一种基于背景加权的多特征融合目标跟踪算法BWMMS。采用基于差分的加权函数对MS目标模型中的核函数进行加权, 通过加权函数细化目标各像素对准确描述目标的重要程度, 从而提高目标模板的分辨能力。采用颜色、纹理特征相结合的方式进行目标跟踪, 根据跟踪环境的变化自适应调整两者的权值系数。实验结果表明, 该算法对环境变化的适应性较强, 能够发挥颜色与纹理特征的优势。下一步将在综合考虑算法复杂度与运行效率的基础上, 实时选择目标和背景区分度较高的多种特征进行融合, 以提高该算法在复杂环境下的鲁棒性。

参考文献
[1]
LIU Caihong, ZHANG Lei, HUANG Hua. Visualization of cross-view multi-object tracking for surveillance videos in crossroad[J]. Chinese Journal of Computers, 2018, 41(1): 221-235. (in Chinese)
刘彩虹, 张磊, 黄华. 交通路口监控视频跨视域多目标跟踪的可视化[J]. 计算机学报, 2018, 41(1): 221-235.
[2]
LIU Xiangyu. Research on human-computer interaction technology based on humanoid intelligence[D].Guangzhou: South China University of Technology, 2017.(in Chinese)
刘翔宇.基于仿人智能的人机交互技术研究[D].广州: 华南理工大学, 2017.
[3]
COMANICIU D, RAMESH V, MEER P. Kernel-based object tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564-577. DOI:10.1109/TPAMI.2003.1195991
[4]
CHEN Xiaohui, ZH Mengjiao, RUAN Kai, et al. Improved Mean Shift target tracking based on self-organizing maps[J]. Signal, Image and Video Processing, 2014, 8(1): 103-112.
[5]
JEOMG J, YOON T S, JIN B P. Mean Shift tracker combined with online learning-based detector and Kalman filtering for real-time tracking[J]. Expert Systems with Applications, 2017, 79(15): 194-206.
[6]
LI Cuiyun, GUI Yang, LIU Jin. Unknown newly born multiple extended targets tracking based on Mean Shift iteration[J]. Control and Decision, 2017, 32(3): 521-525. (in Chinese)
李翠芸, 桂阳, 刘靳. 基于Mean Shift迭代的新生未知多扩展目标跟踪[J]. 控制与决策, 2017, 32(3): 521-525.
[7]
DU Mingyang, BI Daping, WANG Shuliang. Multiple target tracking algorithm based on adaptive IMM algorithm in clutter[J]. Modern Radar, 2018, 40(7): 47-53. (in Chinese)
杜明洋, 毕大平, 王树亮. 杂波背景下自适应IMM机动目标跟踪算法[J]. 现代雷达, 2018, 40(7): 47-53.
[8]
ZHANG Fengjun, ZHAO Ling, AN Guocheng, et al. Mean Shift tracking algorithm with scale adaptation[J]. Journal of Computer Research and Development, 2014, 55(1): 215-224. (in Chinese)
张凤军, 赵岭, 安国成, 等. 一种尺度自适应的Mean Shift跟踪算法[J]. 计算机研究与发展, 2014, 55(1): 215-224.
[9]
LEI Chuan, HUANG Shan, ZHANG Hongbin. Improved feature fusion tracking algorithm based on Mean Shift[J]. Computer Engineering and Design, 2015, 36(8): 2143-2146. (in Chinese)
雷川, 黄山, 张洪斌. 基于Mean Shift多特征融合跟踪的改进算法[J]. 计算机工程与设计, 2015, 36(8): 2143-2146.
[10]
WEN Wu, JIANG Tao. Object tracking algorithm fusing SIFT and scale-orientation adaptive Mean Shift[J]. Micro-electronics and Computer, 2015, 32(10): 93-97. (in Chinese)
文武, 姜涛. 融合SIFT和尺度方向自适应的Mean shift目标跟踪算法[J]. 微电子学与计算机, 2015, 32(10): 93-97.
[11]
MAO Xiaobo, HAO Xiangdong, LIANG Jing. Target tracking algorithm based on Mean Shift with ELM[J]. Journal of Zhengzhou University(Engineering Science), 2016, 37(1): 1-5. (in Chinese)
毛晓波, 郝向东, 梁静. 基于ELM与Mean Shift的抗遮挡目标跟踪算法[J]. 郑州大学学报(工学版), 2016, 37(1): 1-5.
[12]
ZHANG Ying, LI Mengxin, YING Yu. Adaptive anti occlusion moving target tracking of intelligent video surveillance system[J]. Modern Electronics Technique, 2018, 41(17): 59-61. (in Chinese)
张颖, 李孟歆, 英宇. 智能监控系统中自适应抗遮挡目标跟踪[J]. 现代电子技术, 2018, 41(17): 59-61.
[13]
HUANG Anqi, HOU Zhiqiang, YU Wangsheng, et al. Visual object tracking method based on weighted background and selective sub-model update strategy[J]. Journal of Image and Graphics, 2014, 19(9): 1360-1367. (in Chinese)
黄安奇, 侯志强, 余旺盛, 等. 利用背景加权和选择性子模型更新的视觉跟踪算法[J]. 中国图象图形学报, 2014, 19(9): 1360-1367.
[14]
LI Ruochen, ZHOU Gang, JU Shenggen, et al. Multi-feature description of adaptive kernels object tracking[J]. Journal of Sichuan University(Natural Science Edition), 2017, 54(1): 55-60. (in Chinese)
李若晨, 周刚, 琚生根, 等. 一种组合核函数的自适应目标跟踪算法[J]. 四川大学学报, 2017, 54(1): 55-60. DOI:10.3969/j.issn.1006-0766.2017.01.007
[15]
WANG Xiaowei, WANG Xudong, HE Ming. Target tracking algorithm based on Mean Shift and histogram ratio background weighted[J]. High Power Laser and Particle Beams, 2016, 28(5): 19-23. (in Chinese)
王晓卫, 王旭东, 贺明. 基于直方图比的背景加权的Mean Shift目标跟踪算法[J]. 强激光与粒子束, 2016, 28(5): 19-23.
[16]
LI Wenju, SUN Jingyi, YAO Jianguo, et al. Object tracking based on fragment template and multi-feature adaptive fusion[J]. Computer Simulation, 2017, 34(5): 337-341. (in Chinese)
李文举, 孙婧怡, 姚建国, 等. 基于分片的多特征自适应融合的目标跟踪[J]. 计算机仿真, 2017, 34(5): 337-341. DOI:10.3969/j.issn.1006-9348.2017.05.073
[17]
WANG Zhijun, WANG Jianhua. A multi-feature fusion algorithm for moving target tracking of image sequences[J]. Electronics Optics and Control, 2017, 24(11): 49-52. (in Chinese)
王智军, 王建华. 多特征融合的图像目标跟踪方法[J]. 电光与控制, 2017, 24(11): 49-52.
[18]
WANG Lijia. Research on robot target tracking algorithm based on multi feature fusion[D].Beijing: Beijing University of Technology, 2017.(in Chinese)
王丽佳.基于多特征融合的机器人目标跟踪算法研究[D].北京: 北京工业大学, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10005-1018704486.htm
[19]
NING Jifeng, ZHANG Lei, DAVID Z, et al. Robust Mean-Shift tracking with corrected background-weighted histogram[J]. IET Computer Vision, 2012, 6(1): 62-69. DOI:10.1049/iet-cvi.2009.0075