«上一篇 下一篇»
  计算机工程  2021, Vol. 47 Issue (4): 56-61, 67  DOI: 10.19678/j.issn.1000-3428.0057476
0

引用本文  

陶洋, 鲍灵浪, 胡昊. 结构约束的对称低秩表示子空间聚类算法[J]. 计算机工程, 2021, 47(4), 56-61, 67. DOI: 10.19678/j.issn.1000-3428.0057476.
TAO Yang, BAO Linglang, HU Hao. Structure-Constrained Symmetric Low-Rank Representation Algorithm for Subspace Clustering[J]. Computer Engineering, 2021, 47(4), 56-61, 67. DOI: 10.19678/j.issn.1000-3428.0057476.

基金项目

重庆市自然科学基金(cstc2018jcyjAX0344)

作者简介

陶洋(1964-), 男, 教授、博士, 主研方向为模式识别、异构网络、物联网;
鲍灵浪, 硕士研究生;
胡昊, 硕士研究生

文章历史

收稿日期:2020-02-24
修回日期:2020-05-02
结构约束的对称低秩表示子空间聚类算法
陶洋 , 鲍灵浪 , 胡昊     
重庆邮电大学 通信与信息工程学院, 重庆 400065
摘要:通过子空间聚类可获得高维数据的潜在子空间结构,但现有算法不能同时揭示数据全局低秩结构和局部稀疏结构特性,致使聚类性能受限。提出一种结构约束的对称低秩表示算法用于子空间聚类。在目标函数中添加结构约束和对称约束来限制低秩表示解的结构,构造一个加权稀疏和对称低秩的亲和度图,在此基础上,结合谱聚类方法实现高效的子空间聚类。实验结果表明,该算法能够准确表示复杂子空间结构,其在Extended Yale B和Hopkins 155基准数据集上的平均聚类误差分别为1.37%和1.43%,聚类性能优于LRR、SSC、LRRSC等算法。
关键词低秩表示    稀疏表示    加权约束    对称约束    子空间聚类    
Structure-Constrained Symmetric Low-Rank Representation Algorithm for Subspace Clustering
TAO Yang , BAO Linglang , HU Hao     
School of Communication and Information Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, China
Abstract: The potential subspace structure of high-dimensional data can be obtained by using subspace clustering, but the existing methods can not reveal the characteristics of global low-rank structure and local sparse structure of data at the same time, which limits the clustering performance.This paper proposes a Structure-Constrained Symmetric Low-Rank Representation(SCSLR) algorithm for subspace clustering.The structure constraint and symmetry constraint are introduced into the object function to limit the solution structure of low-rank representation, and a weighted sparse and symmetric low-rank affinity graph is constructed.On this basis, the spectrum clustering method is used to realize efficient subspace clustering.Experimental results show that the proposed algorithm can accurately represent the complex subspace structure.Its average clustering error on two benchmark datasets, Extended Yale B and Hopkins 155, is 1.37% and 1.43% respectively, and its clustering performance is better than that of Low-Rank Representation(LRR), Sparse Subspace Clustering(LSS), Structure-Constrained Symmetric LRR(LRRSC) and other algorithms.
Key words: Low-Rank Representation(LRR)    sparse representation    weighed constraint    symmetric constraint    subspace clustering    
0 概述

在现实世界中,高维数据的局部结构和全局结构都较为复杂,且此类数据通常位于多个低维子空间的并集中。基于这一事实,许多对应子空间的聚类算法相继被提出,用于解决高维数据的聚类问题。子空间聚类方法将数据分割至对应的子空间,用以揭示高维数据的潜在子空间结构,目前已被广泛应用于显著性检测[1]、运动分割[2]、人脸聚类[3-4]和图像分割[5]等领域。将基于表示的方法与谱聚类算法[6-8]相结合是其中一种具有代表性的方法,其先从给定的样本数据中学习数据之间的相似度矩阵,再将相似度矩阵应用于谱聚类中以获得最终的聚类结果。此类方法成功的关键是构造一个“好”的相似度矩阵。文献[9]提出稀疏子空间聚类(Sparse Subspace Clustering,SSC)方法,通过l1范数最小化技术找到每个数据向量的稀疏表示矩阵,但其解缺乏全局约束。文献[10]提出一种低秩表示(Low-Rank Representation,LRR)聚类方法,利用矩阵的核范数来查找所有数据的最低秩表示,从而捕获数据的全局结构。文献[11]提出一种对称约束的低秩表示聚类(LRRSC)方法,将对称约束应用于低秩表示中以提高原始低秩表示算法的聚类精度。文献[12]通过将高斯场与调和函数合并到LRR框架中,提出一种非负低秩表示聚类方法,在一个优化步骤中同时完成了相似度矩阵构建和子空间聚类。文献[13]提出一种局部与结构正则化的低秩表示(LSLRR)聚类方法,该方法同时考虑数据的局部几何结构和全局块对角线结构,弥补了经典LRR聚类方法的不足。

通过SSC获得的表示系数矩阵虽然具有很强的子集选择能力,可以消除不同类型的样本,但是矩阵过于稀疏,缺乏对相似样本的聚集能力,从而无法有效地聚类高度相关的样本数据。同理,虽然基于LRR的方法可以聚合高度相关的数据,但是生成的表示系数矩阵非常密集,缺乏区分不同类型样本的能力且无法引入数据的标签信息。针对上述问题,本文提出一种结构约束的对称低秩表示(Structure-Constrained Symmetric LRR,SCSLR)算法用于子空间聚类。通过引入结构约束和对称约束平衡低秩表示系数矩阵的类间稀疏性和类内聚集性,从而更准确地揭示数据的子空间结构。

1 相关工作

给定数据$ \boldsymbol{X}=[{\boldsymbol{x}}_{1}, {\boldsymbol{x}}_{2}, \cdots , {\boldsymbol{x}}_{n}]\in {\mathbb{R}}^{d\times n} $位于$ k $个子空间的并集$ {\left\{S\right\}}_{i=1}^{k} $中,每个子空间$ i $包含$ {n}_{i} $个数据样本,其中$ \sum\limits_{i=1}^{k}{n}_{i}=n $。需要注意的是,每个$ {\boldsymbol{x}}_{i} $作为一个样本仅属于一个子空间$ {s}_{i} $,聚类任务即是将$ {\boldsymbol{x}}_{i} $聚类到$ {s}_{i} $中。

基于谱聚类的子空间聚类方法首先找到一个表示矩阵$ \boldsymbol{Z}\in {\mathbb{R}}^{n\times n} $,以表示其他样本对选定样本进行重建的贡献度(见式(1)),然后通过对表示矩阵$ \boldsymbol{Z} $施加不同的约束项则,构造包含不同信息的相似度矩阵。

$ {\boldsymbol{x}}_{i}=\sum\limits_{j\ne i}{z}_{ij}{\boldsymbol{x}}_{j} $ (1)

在此方面,LRR是最具代表性的表示方法之一,计算公式为:

$ \begin{array}{l}\underset{\boldsymbol{Z}, \boldsymbol{E}}{\mathrm{m}\mathrm{i}\mathrm{n}}{‖\boldsymbol{Z}‖}_{\mathrm{*}}+Q(\boldsymbol{Z}, \boldsymbol{E})\begin{array}{c}\end{array}\\ \mathrm{s}.\mathrm{t}.\;\;\boldsymbol{X}=\boldsymbol{X}\boldsymbol{Z}+\boldsymbol{E}, \boldsymbol{Z}\in \Omega \end{array} $ (2)

其中,$ Q $$ \boldsymbol{Z} $$ \boldsymbol{E} $的惩罚函数,$ \Omega $是约束项。

文献[14]通过在LRR模型中定义$ \boldsymbol{Z}\ge 0 $实现PSD约束。文献[11]通过定义$ \boldsymbol{Z}={\boldsymbol{Z}}^{\mathrm{T}} $保证每对数据点之间的权重具有一致性。文献[15]通过定义$ Q(\boldsymbol{Z}, \boldsymbol{E})={\lambda }_{1}{‖\boldsymbol{Z}‖}_{1}+{\lambda }_{2}{‖\boldsymbol{E}‖}_{\mathrm{2, 1}} $构造稀疏低秩表示矩阵。文献[9]证明了低秩表示可以获得块对角解,当训练样本足够时,其为子空间聚类的理想方法,但是当训练样本不足时,其效果非常差。本文对低秩表示的目标函数施加结构约束和对称约束,以减小核函数对秩的惩罚,并获得具有结构约束的对称低秩图。利用表示矩阵$ {\boldsymbol{Z}}^{\mathrm{*}} $构造相似度矩阵的计算模型,如式(3)所示:

$ \boldsymbol{W}=\frac{\left|{\boldsymbol{Z}}^{\mathrm{*}}\right|+\left|({\boldsymbol{Z}}^{\mathrm{*}}{)}^{\mathrm{T}}\right|}{2} $ (3)

在此基础上,本文将获得的相似度矩阵$ \boldsymbol{W} $应用于谱聚类方法(如文献[16]方法)中,得到最终的聚类结果。

2 引入结构和对称约束的LRR子空间聚类

在子空间聚类研究中,对低秩表示解的结构施加约束能够获得较好的聚类结果。因此,本文提出结构约束的低秩表示子空间聚类方法,将结构约束和对称约束引入低秩表示的解,以构造一个加权稀疏和对称低秩的亲和度图。其中,低秩约束用于捕获数据的全局结构,结构约束用于捕获数据的局部线性结构,并且对称约束可以确保每对数据点之间的权重具有一致性。事实上,结构约束即加权稀疏表示,其能揭示同类样本之间的强亲和力与不同类样本之间的强分离性,即类内强亲和性与类间强分离性。

为从数据的结构中获得表示模型,可对LRR模型解的结构施加约束项。本文通过在目标函数中添加$ \sum\limits_{i, j}{\boldsymbol{R}}_{ij}\left|{z}_{ij}\right| $约束和$ {z}_{ij}={z}_{ji} $约束来限制解的结构(见式(4)),与仅考虑核范数的目标函数相比,这样不仅可以提高解的秩,而且还可以保留数据点间的内在几何结构,获得更优的子空间聚类效果。

$ \begin{array}{l}\underset{\boldsymbol{Z}}{\mathrm{m}\mathrm{i}\mathrm{n}}{‖\boldsymbol{Z}‖}_{\mathrm{*}}+\beta {‖\boldsymbol{R}\odot \boldsymbol{Z}‖}_{1}\begin{array}{c}\end{array}\\ \mathrm{s}.\mathrm{t}.\begin{array}{c}\end{array}\boldsymbol{X}=\boldsymbol{A}\boldsymbol{Z}+\boldsymbol{E}, \boldsymbol{Z}={\boldsymbol{Z}}^{\mathrm{T}}\end{array} $ (4)

为使所获得的$ \boldsymbol{Z} $对噪声更具鲁棒性并且避免NP问题,构建结构约束的对称低秩表示(SCSLR)模型,如式(5)所示:

$ \begin{array}{l}\underset{\boldsymbol{Z}}{\mathrm{m}\mathrm{i}\mathrm{n}}{‖\boldsymbol{Z}‖}_{\mathrm{*}}+\beta {‖\boldsymbol{R}\odot \boldsymbol{Z}‖}_{1}+\lambda {‖\boldsymbol{E}‖}_{\mathrm{2, 1}}\begin{array}{c}\end{array}\\ \mathrm{s}.\mathrm{t}.\begin{array}{c}\end{array}\boldsymbol{X}=\boldsymbol{A}\boldsymbol{Z}+\boldsymbol{E}, \boldsymbol{Z}={\boldsymbol{Z}}^{\mathrm{T}}\end{array} $ (5)

实际上,当数据带有标签时,可以将SCSLR看作半监督的LRRSC[8]。而对于不带标签的数据,可以利用数据的结构来构造权重$ \boldsymbol{R} $,即权重由角度确定。这意味着来自同一类的数据点之间的角度越小则样本权重就越小,反之则越大。通过数据标准化处理,计算出数据点之间内积的绝对值后,理想的权重矩阵$ \boldsymbol{R} $构造如下:

$ {R}_{ij}=1-\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{1-\left|{{\boldsymbol{x}}_{i}^{\mathrm{*}}}^{\mathrm{T}}{\boldsymbol{x}}_{j}^{\mathrm{*}}\right|}{\sigma }\right) $ (6)

其中,$ {\boldsymbol{x}}_{i}^{\mathrm{*}} $$ {\boldsymbol{x}}_{j}^{\mathrm{*}} $$ {\boldsymbol{x}}_{i} $$ {\boldsymbol{x}}_{j} $的归一化数据点,$ \sigma $是根据经验设置的$ \boldsymbol{B} $元素$ \left({B}_{ij}=1-\left|{{\boldsymbol{x}}_{i}^{\mathrm{*}}}^{\mathrm{T}}{\boldsymbol{x}}_{j}^{\mathrm{*}}\right|\right) $的均值。通常,来自同一类的数据点之间的权重较小,不同类的数据点之间的权重较大。下文将以此种方式构造$ \boldsymbol{R} $

2.1 模型优化

本文使用交替极小化方法求解式(5)中的目标函数。引入辅助变量$ \boldsymbol{J} $$ \boldsymbol{L} $,将式(5)所示模型转换为:

$ \begin{array}{l}\underset{\boldsymbol{Z}, \boldsymbol{E}}{\mathrm{m}\mathrm{i}\mathrm{n}}{‖\boldsymbol{J}‖}_{\mathrm{*}}+\beta {‖\boldsymbol{R}\odot \boldsymbol{L}‖}_{1}+\lambda {‖\boldsymbol{E}‖}_{\mathrm{2, 1}}\\ \mathrm{s}.\mathrm{t}.\begin{array}{c}\end{array}\boldsymbol{X}=\boldsymbol{A}\boldsymbol{Z}+\boldsymbol{E}, \boldsymbol{Z}=\boldsymbol{J}, \boldsymbol{Z}=\boldsymbol{L}, \boldsymbol{J}={\boldsymbol{J}}^{\mathrm{T}}\end{array} $ (7)

在式(7)所示模型中,增强拉格朗日函数表示为:

$ \begin{array}{l}\underset{Z, E}{\mathrm{m}\mathrm{i}\mathrm{n}}{‖\boldsymbol{J}‖}_{\mathrm{*}}+\beta {‖\boldsymbol{R}\odot \boldsymbol{L}‖}_{1}+\lambda {‖\boldsymbol{E}‖}_{\mathrm{2, 1}}+〈{\boldsymbol{Y}}_{2}\;, \boldsymbol{Z}-\boldsymbol{L}〉+\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;〈{\boldsymbol{Y}}_{3}\;, \boldsymbol{Z}-\boldsymbol{J}〉+〈{\boldsymbol{Y}}_{1}\;, \boldsymbol{X}-\bf{A}\bf{Z}-\boldsymbol{E}〉\;+\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\frac{\mu }{2}\left({‖\boldsymbol{Z}-\boldsymbol{J}‖}_{\mathrm{F}}^{2}+{‖\boldsymbol{X}-\boldsymbol{A}\boldsymbol{Z}-\boldsymbol{E}‖}_{\mathrm{F}}^{2}+\right.\left.{‖\boldsymbol{Z}-\boldsymbol{L}‖}_{\mathrm{F}}^{2}\right)\end{array} $ (8)

利用算法1对式(8)所示函数进行推导,获得所有子问题的解,并且数据矩阵$ \boldsymbol{X} $本身可以直接用作字典[4]以捕获数据集$ \boldsymbol{X} $的基础行空间。本文使用奇异值阈值运算[11, 17]分步解决变量$ \boldsymbol{J} $$ \boldsymbol{L} $的优化问题。

算法1  式(8)所示模型的交替极小化方法求解

输入  数据矩阵$ \boldsymbol{X} $,参数$ \lambda >0 $

输出  表示矩阵$ {\boldsymbol{Z}}^{\mathrm{*}} $

初始化  $ \boldsymbol{Z}=\boldsymbol{J}=\boldsymbol{L}=0, E=0, {\boldsymbol{Y}}_{1}={\boldsymbol{Y}}_{2}={\boldsymbol{Y}}_{3}=0, {\mu }_{\mathrm{m}\mathrm{a}\mathrm{x}}={10}^{10}, \rho =1.1, \varepsilon ={10}^{‒6}$

1)固定其他变量,更新$ \boldsymbol{J}: $

$ {\boldsymbol{J}}_{k+1}=\underset{\boldsymbol{J}={\boldsymbol{J}}^{\mathrm{T}}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{1}{\mu }{‖\boldsymbol{J}‖}_{\mathrm{*}}+\frac{1}{2}{‖\boldsymbol{J}-\left(\boldsymbol{Z}+\frac{{\boldsymbol{Y}}_{3}}{\mu }\right)‖}_{\mathrm{F}}^{2} $

2)固定其他变量,更新$ \boldsymbol{L}: $

$ -{\boldsymbol{L}}_{k+1}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}\frac{\beta }{\mu }‖\boldsymbol{R}\odot {\boldsymbol{L}‖}_{1}+\frac{1}{2}{‖\boldsymbol{L}-\left(\boldsymbol{Z}+\frac{{\boldsymbol{Y}}_{2}}{\mu }\right)‖}_{\mathrm{F}}^{2} $

3)固定其他变量,更新$ \boldsymbol{Z}: $

$ {\boldsymbol{Z}}_{k+1}=(2\boldsymbol{I}+{\boldsymbol{A}}^{\mathrm{T}}{\boldsymbol{A})}^{‒1}\left({\boldsymbol{A}}^{\mathrm{T}}\left(\boldsymbol{X}-\boldsymbol{E}+\frac{{\boldsymbol{Y}}_{1}}{\mu }\right)+\boldsymbol{J}+\boldsymbol{L}-\frac{{\boldsymbol{Y}}_{2}}{\mu }-\frac{{\boldsymbol{Y}}_{3}}{\mu }\right) $

4)固定其他变量,更新$ \boldsymbol{E}: $

$ {\boldsymbol{E}}_{k+1}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}\frac{\lambda }{\mu }{‖\boldsymbol{E}‖}_{\mathrm{2, 1}}+\frac{1}{2}{‖\boldsymbol{E}-\left(\boldsymbol{X}-\boldsymbol{A}\boldsymbol{Z}+\frac{{\boldsymbol{Y}}_{1}}{\mu }\right)‖}_{\mathrm{F}}^{2} $

5)更新拉格朗日乘子:

$ \begin{array}{l}{\boldsymbol{Y}}_{1}={\boldsymbol{Y}}_{1}+\mu (\boldsymbol{X}-\boldsymbol{A}\boldsymbol{Z}-\boldsymbol{E})\\ {\boldsymbol{Y}}_{2}={\boldsymbol{Y}}_{2}+\mu \left(\boldsymbol{Z}-\boldsymbol{L}\;\right)\\ {\boldsymbol{Y}}_{3}={\boldsymbol{Y}}_{3}+\mu \left(\boldsymbol{Z}-\boldsymbol{J}\;\right)\end{array} $

6)更新惩罚参数$ \mu : $

$ \mu =\mathrm{m}\mathrm{i}\mathrm{n}\left(\rho \mu , {\mu }_{\mathrm{m}\mathrm{a}\mathrm{x}}\right) $

算法1收敛条件为:

$ {‖\boldsymbol{X}-\boldsymbol{A}\boldsymbol{Z}-\boldsymbol{E}‖}_{\mathrm{\infty }}<\varepsilon , {‖\boldsymbol{Z}-\boldsymbol{J}‖}_{\mathrm{\infty }}<\varepsilon , {‖\boldsymbol{Z}-\boldsymbol{L}‖}_{\mathrm{\infty }}<\varepsilon $
2.2 结构约束对称低秩图的构造

在获得加权的稀疏对称低秩表示矩阵$ {\boldsymbol{Z}}^{\mathrm{*}} $后,使用$ {\boldsymbol{Z}}^{\mathrm{*}} $构造一个亲和度图$ \boldsymbol{G}=\left(\boldsymbol{V}, \boldsymbol{E}\right) $,其中,$ \boldsymbol{V}={\left\{{v}_{i}\right\}}_{i=1}^{n} $是点集,$ \boldsymbol{E}={\left\{{e}_{i}\right\}}_{i=1}^{n} $是边集。当给出数据集时,图构造的问题取决于权重矩阵$ \boldsymbol{W}=\left\{{W}_{ij}\right\} $。由于每个数据点都可以由其他数据点的线性组合表示,因此以$ {\boldsymbol{Z}}^{\mathrm{*}} $的第$ {\boldsymbol{z}}_{i}^{\mathrm{*}} $列表示其他数据点对$ {\boldsymbol{x}}_{i} $重构的贡献。

本文根据矩阵$ {\boldsymbol{Z}}^{\mathrm{*}} $的结构构造权重矩阵$ \boldsymbol{W} $。将$ {\boldsymbol{Z}}^{\mathrm{*}} $的奇异值分解为$ {\boldsymbol{U}}^{\mathrm{*}}{\boldsymbol{\Sigma }}^{\mathrm{*}}{\left({\boldsymbol{V}}^{\mathrm{*}}\right)}^{\mathrm{T}} $,参数$ {\boldsymbol{U}}^{\mathrm{*}} $$ {\boldsymbol{V}}^{\mathrm{*}} $分别是矩阵$ {\boldsymbol{Z}}^{\mathrm{*}} $的列和行向量的正交基。首先根据文献[4]将$ {\boldsymbol{U}}^{\mathrm{*}} $每一列的权重乘以$ {\left({\boldsymbol{\Sigma }}^{\mathrm{*}}\;\right)}^{\frac{1}{2}} $,将$ {\left({\boldsymbol{V}}^{\mathrm{*}}\;\right)}^{\mathrm{T}} $的每一行的权重乘以$ {\left({\boldsymbol{\Sigma }}^{\mathrm{*}}\right)}^{\frac{1}{2}} $,然后通过定义$ \boldsymbol{M}={\boldsymbol{U}}^{\mathrm{*}}{\left({\boldsymbol{\Sigma }}^{\mathrm{*}}\right)}^{\frac{1}{2}} $$ \boldsymbol{N}={\left({\boldsymbol{\Sigma }}^{\mathrm{*}}\right)}^{\frac{1}{2}}{\boldsymbol{V}}^{\mathrm{*}} $,以矩阵$ \boldsymbol{M} $$ \boldsymbol{N} $表示$ {\boldsymbol{Z}}^{\mathrm{*}} $$ {\boldsymbol{Z}}^{\mathrm{*}}=\boldsymbol{M}\boldsymbol{N} $,即通过使用来自矩阵$ \boldsymbol{M} $的所有行向量或矩阵$ \boldsymbol{N} $的所有列向量的角度信息来定义亲和度图的权重矩阵$ \boldsymbol{W} $(见式(9),其中$ {\boldsymbol{m}}_{i}\left({\boldsymbol{n}}_{i}\right) $$ {\boldsymbol{m}}_{j}\left({\boldsymbol{n}}_{j}\right) $分别是矩阵$ \boldsymbol{M}\left(\boldsymbol{N}\right) $的第$ i $行(列)和第$ j $行(列)),并使用参数$ \alpha \in N $调节样本之间的相似度。

$ {W}_{ij}=\left(\frac{{\boldsymbol{m}}_{i}^{\mathrm{T}}{\boldsymbol{m}}_{j}}{{‖{\boldsymbol{m}}_{i}‖}_{2}{‖{\boldsymbol{m}}_{j}‖}_{2}}\right)\mathrm{或}{W}_{ij}=\left(\frac{{\boldsymbol{n}}_{i}^{\mathrm{T}}{\boldsymbol{n}}_{j}}{{‖{\boldsymbol{n}}_{i}‖}_{2}{‖{\boldsymbol{n}}_{j}‖}_{2}}\right) $ (9)

在此基础上,应用NCuts算法将样本分割为相应的子空间。假设将图$ \boldsymbol{G}=\left(\boldsymbol{V}, \boldsymbol{E}, \boldsymbol{W}\right) $分为$ \boldsymbol{A} $$ \boldsymbol{B} $两部分,且这两部分满足条件$ \boldsymbol{A}\bigcup \boldsymbol{B}=\boldsymbol{V} $$ \boldsymbol{A}\bigcap \boldsymbol{B}=\mathrm{\varnothing } $,则分割公式如下:

$ \mathrm{N}\mathrm{c}\mathrm{u}\mathrm{t}(\boldsymbol{A}, \boldsymbol{B})=\frac{\mathrm{c}\mathrm{u}\mathrm{t}(\boldsymbol{A}, \boldsymbol{B})}{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{o}\mathrm{c}(\boldsymbol{A}, \boldsymbol{V})}+\frac{\mathrm{c}\mathrm{u}\mathrm{t}(\boldsymbol{A}, \boldsymbol{B})}{\mathrm{a}\mathrm{s}\mathrm{s}\mathrm{o}\mathrm{c}(\boldsymbol{B}, \boldsymbol{V})} $ (10)
$ \mathrm{a}\mathrm{s}\mathrm{s}\mathrm{o}\mathrm{c}(\boldsymbol{A}, \boldsymbol{V})=\sum\limits_{u\in \boldsymbol{A}, v\in \boldsymbol{V}}w(u, v) $ (11)

式(10)代表$ \boldsymbol{A} $$ \boldsymbol{B} $两部分的类间相似度,其值越小越好,式(11)则代表$ \boldsymbol{A} $部分和整体节点$ \boldsymbol{V} $的权重之和。求解出Ncut的最小值即能得到较好的分割结果。

SCSLR算法描述如下:

算法2  SCSLR

输入  数据矩阵$ \boldsymbol{X} $,参数$ \lambda >0 $

输出  聚类结果。

1)根据算法1获得表示矩阵$ {\boldsymbol{Z}}^{\mathrm{*}} $

2)根据式(9)求出相似度矩阵$ \boldsymbol{W} $

3)将$ \boldsymbol{W} $输入到标准分割算法NCuts中,获得聚类结果。

3 实验结果与分析

在Extended Yale B人脸数据集[18]和Hopkins 155运动分割数据集[19]上进行实验,以证明本文算法的收敛性。图 1显示了目标函数值和迭代次数的关系。可以看出,在前几次迭代中,目标函数值急剧减小,然后趋于平稳,说明SCSLR能够在几个迭代步骤后收敛到局部最优解。

Download:
图 1 SCSLR目标函数值与迭代次数的关系 Fig. 1 Relationship between objective function value of SCSLR and number of iterations

同样使用上述两个基准数据集,通过与低秩表示(LRR)[10]、稀疏子空间聚类(SSC)[9]、半正定低秩表示(LRR-PSD)[14]、局部子空间相似(LSA)[20]、低秩子空间聚类(LRSC)[21]和对称约束的低秩表示(LRRSC)[11]这六种有效的子空间聚类算法进行实验比较,评估SCSLR的聚类效率和鲁棒性。对比算法的源代码从相应作者的主页获得。选取计算子空间聚类误差来评估算法性能,如式(12)所示:

$ \mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}=\frac{{N}_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}}{{N}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}} $ (12)

其中,$ {N}_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}} $表示错误分类的数据点的数量,$ {N}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}} $表示总数据点的数量。在实验过程中,LRR、LSA、SSC、LRSC、LRRSC和LRR-PSD的参数设置由其作者提供或手动调整。SCSLR中包含$ \beta $$ \lambda $$ \alpha $三个参数。参数$ \lambda $$ \beta $用于在低秩表示、加权稀疏表示和误差之间进行平衡,如果$ \beta $较大,则意味着模型强调加权稀疏性而不是低秩性,反之亦然。当数据“干净”时,$ \lambda $应相对较大,反之亦然。参数$ \alpha $的范围为1~4,用于提高低秩表示的分离能力。

3.1 人脸数据集上的聚类效果

在Extended Yale B人脸数据集上进行聚类效果对比。该数据集包含38个对象,每个对象由在不同光照下拍摄的64张图像组成,分辨率为192像素×168像素,共2 414幅图像,本实验将图像分辨率调整为48像素×42像素。图 2为Extended Yale B数据集的前10个对象的示例图像。人脸聚类即是根据每个样本的特征从多个样本中对每组具有固定姿势和变化照度的人脸图像进行聚类操作。由于人脸图像位于9维子空间的并集,因此可以通过子空间聚类来解决上述问题。本文使用Extended Yale B数据集前10个对象的640张正面人脸图像。为进行公平比较,直接使用48像素×42像素的图像而不进行预处理,通过PCA将这些图像分别投影到500维、300维、100维、50维的特征空间。

Download:
图 2 Extended Yale B数据集前10个对象的示例图像 Fig. 2 Example images of top10 objects on Extended Yale B dataset

由于SCSLR算法的聚类性能受到$ \beta $$ \lambda $$ \alpha $参数的影响,并且聚类结果在参数$ \lambda $$ \alpha $的更改过程中受到很大影响,因此笔者根据经验固定参数$ \beta $=0.03,而仅改变$ \lambda $$ \alpha $图 3显示了SCSLR的平均聚类误差随参数$ \lambda $$ \alpha $不同组合的变化。通常,较小的$ \alpha $会导致较差的聚类性能,但较大的$ \alpha $必须配合缩小$ \lambda $的范围才能获得较好的性能。由图 3(a)~图 3(c)可以看出,当$ \lambda $∈{0.50,0.75,…,2.50}且$ \alpha $=1时,聚类误差高达50%。由图 3(d)可以看出:当$ \lambda $范围在1.00~1.75之间且$ \alpha $=1时,聚类误差在10.16%~17.34%之间变化;当$ \lambda $范围在1.00~1.75之间且$ \alpha $=2时,聚类误差在1.25%~2.81%之间变化;当$ \lambda $范围在1.00~1.75之间且$ \alpha $=3时,聚类误差在1.72%~11.56%之间变化。总体而言,SCSLR必须缩小$ \lambda $的范围至1.00~1.50才能获得更好的结果。由图 3(e)可以看出,在通过PCA获得的50维数据上,SCSLR表现良好。总体而言,当$ \lambda $$ \alpha $的组合恰当时,SCSLR具有稳定且理想的聚类性能。

Download:
图 3 Extended Yale B数据集上SCSLR的平均聚类误差随参数$ \boldsymbol{\lambda } $$ \boldsymbol{\alpha } $的变化 Fig. 3 Change of average clustering error of SCSLR varies with parameter $ \boldsymbol{\lambda } $ and $ \boldsymbol{\alpha } $ on Extended Yale B dataset

Extended Yale B数据集上不同算法的平均聚类误差对比如表 1所示,其中加粗数据为最优数据。可以看出,SCSLR在原始数据和通过PCA获得的500维、300维、100维数据上较其他算法表现出更优秀的聚类性能。例如,r=100时SCSLR的平均聚类误差非常低,仅为1.25%,与LRR、LRSC、LRR-PSD、LSA和SSC相比聚类精度提高了至少20%。虽然LRRSC在总体上取得了良好的结果,但SCSLR的聚类精度仍比LRRSC提高了2.3%~3.1%。上述结果表明,在具有非预期噪声的数据上,SCSLR算法所获得的表示矩阵可以显著提高聚类精度。

下载CSV 表 1 Extended Yale B数据集上不同算法的平均聚类误差 Table 1 Average clustering error of different algorithms on Extended Yale B dataset 
3.2 运动分割数据集上的聚类效果

Hopkins 155运动分割数据集包含155个单独的序列,每个序列位于一个低维子空间中,并包含从两个或三个运动中提取的39个~550个数据向量。运动分割是指将多个刚性运动对象的特征轨迹聚类到与每个运动对象相对应的子空间的问题。在仿射投影模型下,单个刚性运动对象的特征轨迹位于低维线性子空间中。因此,可以通过子空间聚类方法解决运动分割问题。

对于每个运动对象,使用跟踪器自动提取运动轨迹。为评估SCSLR在运动分割中的性能,本文设计了以下两种实验方案:实验方案1使用原始轨迹的特征轨迹,实验方案2使用PCA将原始数据投影到4n维子空间(n是子空间的数量)上。特别地,将系数的总和设置为1,因为它们都在仿射子空间中实现。

$ \beta $=0.03情况下SCSLR在Hopkins155数据集上平均聚类误差随参数$ \lambda $$ \alpha $的变化如图 4所示。由图 4(a)图 4(b)可以看出,SCSLR的聚类误差在不同参数设置下表现出相似的趋势。当$ \alpha $=2时,图 4(a)中SCSLR的聚类误差在1.37%~2.53%之间变化,而图 4(b)中SCSLR的最低聚类误差仅为1.43%。

Download:
图 4 Hopkins 155数据集上SCSLR的平均聚类误差随参数$ \boldsymbol{\lambda } $$ \boldsymbol{\alpha } $的变化 Fig. 4 Change of average clustering error of SCSLR varies with parameter $ \boldsymbol{\lambda } $ and $ \boldsymbol{\alpha } $ on Hopkins 155 dataset

所有算法在Hopkins 155数据集上的平均聚类误差和时间对比如表 2表 3所示,其中加粗数据为最优数据。可以看出,SCSLR的平均聚类误差明显低于其他算法,分别为1.37%和1.43%,与LRRSC相比分别提高了0.13%和0.13%,证实了结构约束的对称低秩表示在揭示子空间自然结构方面具有优势。同时由于LRR会对系数矩阵进行处理,因此其性能优于SSC,这也证实了使用低秩表示的结构来构造相似度矩阵是有必要的。此外,在两个实验中,LRSC、LRR-PSD和LSA均出现了较高的聚类误差。

下载CSV 表 2 Hopkins 155数据集上不同算法的聚类性能(实验方案1) Table 2 Clustering performance of different algorithms on Hopkins 155 dataset(experimental scheme 1)
下载CSV 表 3 Hopkins 155数据集上不同算法的聚类性能(实验方案2) Table 3 Clustering performance of different algorithms on Hopkins 155 dataset(experimental scheme 2)
4 结束语

针对子空间聚类问题,本文假设高维数据近似位于多个子空间的并集中,提出一种结构约束的对称低秩表示算法SCSLR。将对称约束和结构约束融合到高维数据表示的低秩属性中,同时捕获高维数据的全局对称结构和子空间的加权局部线性结构,从而提高聚类性能。SCSLR的实质是挖掘一个可以体现子空间自然结构的表示矩阵,通过进一步利用该矩阵主方向的角度信息得到用于谱聚类的相似度矩阵。在基准数据集上的实验结果验证了该算法优秀的聚类性能和鲁棒性。后续将降低SCSLR在处理大规模数据集时的计算复杂度,同时针对低秩表示算法寻找矩阵最优解时需要进行多次迭代的问题,寻找更有效率的求解算法。

参考文献
[1]
TANG Kewei, SU Zhixun, JIANG Wei, et al. Robust subspace learning-based low-rank representation for manifold clustering[J]. Neural Computing and Applications, 2019, 31(11): 7921-7933. DOI:10.1007/s00521-018-3617-8
[2]
ZHAO Xi, QIN Qianqing, LUO Bin. Motion segmentation based on model selection in permutation space for RGB sensors[J]. Sensors, 2019, 19(13): 1-15. DOI:10.1109/JSEN.2019.2912676
[3]
GUO Jiping, YIN Wenbin, SUN Yanfeng, et al. Multi-view subspace clustering with block diagonal representa-tion[J]. IEEE Access, 2019, 7: 84829-84838. DOI:10.1109/ACCESS.2019.2923614
[4]
LIU Guangcan, LIN Zhouchen, YAN Shuicheng, et al. Robust recovery of subspace structures by low-rank representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(1): 171-184.
[5]
GAO J, KANG M, TIAN J, et al. Unsupervised locality-preserving robust latent low-rank recovery-based subspace clustering for fault diagnosis[J]. IEEE Access, 2018, 6: 52345-52354. DOI:10.1109/ACCESS.2018.2869923
[6]
ARIAS-CASTRO E, LERMAN G, ZHANG T. Spectral clustering based on local PCA[J]. The Journal of Machine Learning Research, 2017, 18(1): 253-309.
[7]
XU Xiaolong, WANG Shitong, MEI Xiangdong. Improved clustering algorithm based on local and global information[J]. Computer Engineering, 2015, 41(6): 165-171. (in Chinese)
许小龙, 王士同, 梅向东. 基于局部和全局信息的改进聚类算法[J]. 计算机工程, 2015, 41(6): 165-171.
[8]
LI Xiaohong, XIE Meng, MA Huifang, et al. A short text clustering algorithm based on spectral cut[J]. Computer Engineering, 2016, 42(8): 178-182. (in Chinese)
李晓红, 谢蒙, 马慧芳, 等. 一种基于谱分割的短文本聚类算法[J]. 计算机工程, 2016, 42(8): 178-182.
[9]
ELHAMIFAR E, VIDAL R. Sparse subspace clustering: algorithm, theory, and applications[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(11): 2765-2781. DOI:10.1109/TPAMI.2013.57
[10]
LIU Guangcan, LIN Zhouchen, YU Yong. Robust subspace segmentation by low-rank representation[C]//Proceedings of the 27th International Conference on Machine Learning. Haifa, Israel: [s. n. ], 2010: 663-670.
[11]
CHEN Jie, MAO Hua, SANG Yongsheng, et al. Subspace clustering using a symmetric low-rank representation[J]. Knowledge-Based Systems, 2017, 127: 46-57. DOI:10.1016/j.knosys.2017.02.031
[12]
FANG Xiaozhao, HAN Na, WU Jigang, et al. Approximate low-rank projection learning for feature extraction[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(11): 5228-5241. DOI:10.1109/TNNLS.2018.2796133
[13]
WANG Qi, HE Xiang, LI Xuelong. Locality and structure regularized low rank representation for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 57(2): 911-923.
[14]
NI Yuzhao, SUN Ju, YUAN Xiaotong, et al. Robust low-rank subspace segmentation with semidefinite guarantees[C]//Proceedings of 2010 IEEE International Conference on Data Mining. Washington D.C., USA: IEEE Press, 2010: 1179-1188.
[15]
ZHUANG Liansheng, GAO Haoyuan, LIN Zhouchen, et al. Non-negative low rank and sparse graph for semi-supervised learning[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2012: 2328-2335.
[16]
SHI J B, JITENDRA M. Normalized cuts and image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(8): 888-905. DOI:10.1109/34.868688
[17]
TANG Kewei, LIU Risheng, SU Zhixun, et al. Structure-constrained low-rank representation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2014, 25(12): 2167-2179. DOI:10.1109/TNNLS.2014.2306063
[18]
TRON R, VIDAL R. A benchmark for the comparison of 3-D motion segmentation algorithms[C]//Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2007: 1-8.
[19]
FENG Jiashi, LIN Zhouchen, XU Huan, et al. Robust subspace segmentation with block-diagonal prior[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE Press, 2014: 3818-3825.
[20]
YAN J Y, POLLEFEYS M. A general framework for motion segmentation: independent, articulated, rigid, non-rigid, degenerate and non-degenerate[C]//Proceedings of European Conference on Computer Vision. Berlin, Germany: Springer, 2006: 94-106.
[21]
VIDAL R, FAVARO P. Low rank subspace clustering[J]. Pattern Recognition Letters, 2014, 43(1): 47-61.