基于正交基的多视图迁移谱聚类

Loading [MathJax]/jax/output/HTML-CSS/jax.js

«上一篇

计算机工程

2022, Vol. 48

Issue (10): 37-44, 54 DOI: 10.19678/j.issn.1000-3428.0063091

引用本文

王丽娟, 张霖, 尹明, 等. 基于正交基的多视图迁移谱聚类[J]. 计算机工程, 2022, 48(10), 37-44, 54. DOI: 10.19678/j.issn.1000-3428.0063091.

WANG Lijuan, ZHANG Lin, YIN Ming, et al. Orthogonal Basis-Based Multiview Transfer Spectral Clustering[J]. Computer Engineering, 2022, 48(10), 37-44, 54. DOI: 10.19678/j.issn.1000-3428.0063091.

基金项目

国家自然科学基金（61876042，61876043，61976052）；广东省基础与应用基础研究基金（2020A1515011493）；广州市科技计划（201902010058）

作者简介

王丽娟（1978—），女，副教授、博士，主研方向为高维数据聚类分析;
张霖，硕士;
尹明，教授、博士;
郝志峰，教授、博士;
蔡瑞初，教授、博士;
温雯，教授、博士

文章历史

收稿日期：2021-10-30
修回日期：2022-01-27

Contents Abstract Full text Figures/Tables PDF

基于正交基的多视图迁移谱聚类

王丽娟¹ , 张霖¹ , 尹明² , 郝志峰³ , 蔡瑞初¹ , 温雯¹

1. 广东工业大学计算机学院, 广州 510006;
2. 广东工业大学自动化学院, 广州 510006;
3. 汕头大学, 广东汕头 515063

收稿日期：2021-10-30；修回日期：2022-01-27

基金项目：国家自然科学基金（61876042，61876043，61976052）；广东省基础与应用基础研究基金（2020A1515011493）；广州市科技计划（201902010058）

作者简介：王丽娟（1978—），女，副教授、博士，主研方向为高维数据聚类分析; 张霖，硕士; 尹明，教授、博士; 郝志峰，教授、博士; 蔡瑞初，教授、博士; 温雯，教授、博士.

E-mail: 851277543@qq.com

摘要：挖掘多视图一致性是提升多视图聚类性能的关键，为更好地从多视图数据中学习一致性表示，提出一种新的多视图聚类算法OMTSC。OMTSC算法同时学习每个视图的聚类分配矩阵和特征嵌入，并将聚类分配矩阵分解为共享正交基矩阵和聚类编码矩阵。正交基矩阵可捕获并储存多视图一致性信息形成潜在聚类中心，经过加权融合的多视图聚类编码矩阵可更好地平衡不同视图的质量差异。引入基于二部图的协同聚类，实现正交基、聚类编码和特征嵌入3个矩阵的知识相互迁移，以提升多视图数据一致性和多样性，并利用特征嵌入的多样性最大化多视图一致性学习最优的潜在聚类中心，从而提高多视图聚类的性能。此外，基于群稀疏约束的特征嵌入可有效消除多视图数据中的噪声，提升算法的鲁棒性。在WikipediaArticles、COIL20和ORL数据集上的实验结果表明，与SC-Best、Co-Reg等先进的多视图聚类算法相比，OMTSC算法在ACC、NMI、ARI 3个评价指标上整体取得最优值，其中在COIL20和ORL数据集中的NMI评价指标均高于0.9。

Orthogonal Basis-Based Multiview Transfer Spectral Clustering

WANG Lijuan¹ , ZHANG Lin¹ , YIN Ming² , HAO Zhifeng³ , CAI Ruichu¹ , WEN Wen¹

1. School of Computing, Guangdong University of Technology, Guangzhou 510006, China;
2. School of Automation, Guangdong University of Technology, Guangzhou 510006, China;
3. Shantou University, Shantou, Guangdong 515063, China

Abstract: The consistency of multiview data is important for multiview clustering. To achieve multiview data with better consistency, this paper proposes a new multiview clustering algorithm, OMTSC. The OMTSC algorithm simultaneously learns the cluster assignment matrix and feature embedding of each view. Each cluster assignment matrix can be decomposed into shared orthogonal basis-cluster coding matrices. An orthogonal basis matrix can capture and store consistent multiview data and form latent cluster centers. A weighted multiview cluster coding matrix can balance the quality differences of different views effectively. Meanwhile, bipartite graph co-clustering is introduced to realize knowledge transfer, which involves clustering coding, feature embedding, and the orthogonal basis. This improves the multiview data consistency and diversity learning, as well as allows the OMTSC algorithm to leverage the diversity of feature embedding for maximizing multiview consistency and learning the optimal latent cluster centers, thus further improving the performance of multiview clustering. In addition, feature embedding based on group sparse constraints is robust to noise in view data. Experimental results on WikipediaArticles, COIL20, and ORL datasets show that the OMTSC algorithm is superior to SC-Best, Co-Reg, and advanced multiview clustering algorithms, and that it yields the highest score in all three evaluation indexes, i.e., the ACC, NMI, and ARI on COIL20 and ORL datasets, the NMI evaluation index for the OMTSC algorithm exceeds 0.9.

开放科学（资源服务）标志码（OSID）：

0 概述

聚类是一种无监督的大规模数据分析算法，在过去的几十年中，许多经典聚类算法被提出。经典的聚类算法包含但不限于标准谱聚类^[1]（Spectral Clustering，SC）、稀疏子空间聚类^[2]（Sparse Subspace Clustering，SSC）和低秩表示^[3]（Low-Rank Representation，LRR）等。尽管这些算法取得了较好的成果，但其仅考虑单视图数据，忽略了来自不同的特征集或异构源的信息。

在现实生活中，目标对象通常由来自不同视图的信息表示，即数据可以由多个不同的特征集或多个异构源来描述。例如，一幅图像可用像素强度、梯度方向直方图（Histogram of Oriented Gradient，HOG）和局部二值模式（Local Binary Pattern，LBP）等不同的图像特征来描述。在生物医学研究中，不同细胞的化学结构和反应都可以用来代表某种药物，而序列和基因表达值可以在不同方面代表某种蛋白质^[4]。多视图数据提供来自不同视图的丰富底层信息，只有所有视图结合在一起才能准确、真实地表示对象。为了充分利用多视图信息，近年来研究人员提出了许多多视图聚类算法^[5-7]。

考虑到多个视图特征共同描述同一数据，因此不同视图之间应该存在许多共享信息。如何将多个视图集成在一起，从不同的视图中提取一致的底层信息，是多视图聚类需要重点解决的问题。基于此，研究人员提出一些有效的多视图聚类算法，主要分为图学习（或图融合）和谱学习，图学习通过学习一致性图对多视图数据进行聚类。文献[8]通过学习多个单一图，继而将学习到的多个图集成到具有k个分量的全局图中。文献[9]利用拉普拉斯矩阵上的秩约束学习一致性图，无需后处理步骤直接从图本身获得聚类分配结果。谱学习通过直接学习或构建公共子空间学习一致性表示，从而获取多视图数据之间的一致性信息。例如，自适应加权Procrustes^[5]（Adaptively Weighted Procrustes，AWP）利用PA（Procrustes Analysis）技术从谱嵌入中恢复了一致性聚类指标矩阵。文献[6]提出一种结合非负嵌入和谱嵌入的多视角谱聚类（NESE）算法，该算法在统一框架中同时学习非负嵌入和谱嵌入，其中非负嵌入直接揭示了一致的聚类结果，从而提升聚类性能。文献[10]表明，挖掘多视图数据之间的底层一致性，对于提高多视图聚类性能非常重要。

综上所述，挖掘多视图数据之间的底层一致信息是一项至关重要和具有挑战性的工作。本文提出一种基于正交基的多视图迁移谱聚类（Orthogonal basis-based Multiview Transfer Spectral Clustering，OMTSC）算法。OMTSC算法同时学习每个视图的聚类分配矩阵和特征嵌入，并将聚类分配矩阵分解为共享正交基矩阵和聚类编码矩阵。其中正交基矩阵包含一组潜在的聚类中心，即每个多视图样本可以有效地分配给多个不同权重的类。同时，引入基于二部图的协同聚类来控制和实现多视图之间的知识迁移，发现多视图之间的一致性信息，维护各个视图的特征流形信息。在此基础上，通过从正交基矩阵和特征嵌入迁移知识来获取每个视图聚类任务的聚类编码矩阵，将正交基矩阵和加权聚类编码矩阵相结合学习多视图聚类分配矩阵，从而得到最终聚类指标。

1 相关工作

本节将介绍文中用到的符号以及迁移学习和单（多）视图谱聚类的相关工作。

1.1 矩阵表示

在本文中， $\mathit{\boldsymbol{X}}=\{{\mathit{\boldsymbol{X}}}^{\left(1\right)}, {\mathit{\boldsymbol{X}}}^{\left(2\right)}, \cdots , {\mathit{\boldsymbol{X}}}^{\left(V\right)}\}$ 表示 $V$ 个视图的数据矩阵， ${\mathit{\boldsymbol{X}}}^{\left(v\right)}\in {\mathbb{R}}^{{d}_{v}\times n}$ 表示第 $v$ 个视图的数据矩阵，其中， ${d}_{v}$ 表示第 $v$ 个视图的特征数目， $n$ 表示样本总数目， ${x}_{ij}^{\left(v\right)}$ 对应于第 $v$ 个视图的第 $(i, j)$ 个元素， $\mathit{\boldsymbol{I}}$ 和 $1$ 表示对角线元素为1的单位矩阵。

1.2 迁移学习

迁移学习^[11-13]的目的是通过迁移源领域的知识来提高目标学习者在目标领域中的表现，其在文档分类^[11]、情感分类^[14]、协同训练^[15]等许多数据挖掘领域中都取得较好的效果。协同训练考虑在只有一小组标记样本的情况下，通过迁移相关知识给无标记样本，从而提高学习算法的性能。

文献[16]基于协同训练提出一种双视图谱聚类算法，即二部图协同聚类。该算法通过在两个视图之间迁移相关知识，达到提升多视图聚类性能的目的。二部图的相似矩阵定义为：

${\mathit{\boldsymbol{W}}}_{A}=\left[\begin{array}{cc}0& \mathit{\boldsymbol{A}}\\ {\mathit{\boldsymbol{A}}}^{\mathrm{T}}& 0\end{array}\right]$

(1)

其中： $\mathit{\boldsymbol{A}}\in {\mathbb{R}}^{d\times n}$ 为数据矩阵， $d$ 和 $n$ 分别表示特征个数和样本个数。

对应的图拉普拉斯矩阵定义为：

${\mathit{\boldsymbol{L}}}_{\mathit{\boldsymbol{A}}}=\left[\begin{array}{cc}{\mathit{\boldsymbol{D}}}_{1}& -\mathit{\boldsymbol{A}}\\ -{\mathit{\boldsymbol{A}}}^{\mathrm{T}}& {\mathit{\boldsymbol{D}}}_{2}\end{array}\right]$

(2)

其中： ${\mathit{\boldsymbol{D}}}_{1}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left(\mathit{\boldsymbol{A}}{\bf{1}}\right)$ ； ${\mathit{\boldsymbol{D}}}_{2}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left({\mathit{\boldsymbol{A}}}^{\mathrm{T}}{\bf{1}}\right)$ 。

二部图协同聚类的目标函数表示如下：

$\begin{array}{l}\underset{\mathit{\boldsymbol{z}}}{\mathrm{m}\mathrm{i}\mathrm{n}}\ \ {\mathit{\boldsymbol{z}}}^{\mathrm{T}}{\mathit{\boldsymbol{L}}}_{\mathit{\boldsymbol{A}}}\mathit{\boldsymbol{z}}\\ \mathrm{s}.\mathrm{t}{.}_{}\ \ {\mathit{\boldsymbol{x}}}^{\mathrm{T}}{\mathit{\boldsymbol{D}}}_{1}\mathit{\boldsymbol{x}}=\mathit{\boldsymbol{I}}, {\mathit{\boldsymbol{y}}}^{\mathrm{T}}{\mathit{\boldsymbol{D}}}_{2}\mathit{\boldsymbol{y}}=\mathit{\boldsymbol{I}}\end{array}$

(3)

$\mathit{\boldsymbol{z}}=\left[\begin{array}{c}\mathit{\boldsymbol{x}}\\ \mathit{\boldsymbol{y}}\end{array}\right]$

(4)

其中：向量 $\mathit{\boldsymbol{x}}$ 为特征嵌入；向量 $\mathit{\boldsymbol{y}}$ 为样本嵌入。可将式（3）转化为：

$\begin{array}{l}\underset{\mathit{\boldsymbol{x}}, \mathit{\boldsymbol{y}}}{\mathrm{m}\mathrm{a}\mathrm{x}}\ \ {\mathit{\boldsymbol{x}}}^{\mathrm{T}}\mathit{\boldsymbol{A}}\mathit{\boldsymbol{y}}\\ \mathrm{s}.\mathrm{t}{.}_{}\ \ {\mathit{\boldsymbol{x}}}^{\mathrm{T}}{\mathit{\boldsymbol{D}}}_{1}\mathit{\boldsymbol{x}}=\mathit{\boldsymbol{I}}, {\mathit{\boldsymbol{y}}}^{\mathrm{T}}{\mathit{\boldsymbol{D}}}_{2}\mathit{\boldsymbol{y}}=\mathit{\boldsymbol{I}}\end{array}$

(5)

1.3 正交基聚类

文献[17]提出一种无监督特征选择算法，即同时正交基聚类特征选择（Simultaneous Orthogonal basis Clustering Feature Selection，SOCFS）算法。该算法旨在利用目标矩阵通过正交基聚类获取投影数据点的潜在聚类中心，继而引导投影矩阵选择判别特征。给出特征权重矩阵 $\mathit{\boldsymbol{G}}\in {\mathbb{R}}^{d\times m}$ ，目标矩阵 $\mathit{\boldsymbol{K}}\in {\mathbb{R}}^{m\times n}$ ，SOCFS正交基聚类部分表示如下：

$\begin{array}{l}\underset{\mathit{\boldsymbol{G}}}{\mathrm{m}\mathrm{i}\mathrm{n}}\ \ {||{\mathit{\boldsymbol{G}}}^{\mathrm{T}}\mathit{\boldsymbol{A}}-{\mathit{\boldsymbol{B}}}_{\mathit{\boldsymbol{K}}}{\mathit{\boldsymbol{E}}}_{\mathit{\boldsymbol{K}}}^{\mathrm{T}}||}_{F}^{2}\begin{array}{c}\end{array}\\ \mathrm{s}.\mathrm{t}{.}_{}\ \ {\mathit{\boldsymbol{B}}}_{\mathit{\boldsymbol{K}}}^{\mathrm{T}}{\mathit{\boldsymbol{B}}}_{\mathit{\boldsymbol{K}}}=\mathit{\boldsymbol{I}}, {\mathit{\boldsymbol{E}}}_{\mathit{\boldsymbol{K}}}^{\mathrm{T}}{\mathit{\boldsymbol{E}}}_{\mathit{\boldsymbol{K}}}^{}=\mathit{\boldsymbol{I}}{,}{\mathit{\boldsymbol{E}}}_{\mathit{\boldsymbol{K}}}^{}\ge 0\end{array}$

(6)

其中：目标矩阵 $\mathit{\boldsymbol{K}}$ 可直接对投影的数据点 ${\mathit{\boldsymbol{G}}}^{\mathrm{T}}\mathit{\boldsymbol{A}}$ 进行聚类。因此，允许 $\mathit{\boldsymbol{K}}$ 拥有额外的自由度，将其分解为正交基矩阵 ${\mathit{\boldsymbol{B}}}_{\mathit{\boldsymbol{K}}}\in {\mathbb{R}}^{m\times c}$ 和聚类指标矩阵 ${\mathit{\boldsymbol{E}}}_{\mathit{\boldsymbol{K}}}\in {\mathbb{R}}^{n\times c}$ ，即 $\mathit{\boldsymbol{K}}=\mathit{\boldsymbol{B}}{\mathit{\boldsymbol{E}}}^{\mathrm{T}}$ 。施加在 ${\mathit{\boldsymbol{B}}}_{\mathit{\boldsymbol{K}}}$ 上的正交约束保证了 ${\mathit{\boldsymbol{B}}}_{\mathit{\boldsymbol{K}}}$ 的每一列是独立的，即 ${\mathit{\boldsymbol{B}}}_{\mathit{\boldsymbol{K}}}$ 由投影的数据点 ${\mathit{\boldsymbol{G}}}^{\mathrm{T}}\mathit{\boldsymbol{A}}$ 的正交基构成。此外， ${\mathit{\boldsymbol{B}}}_{\mathit{\boldsymbol{K}}}$ 的列可以看作是相应聚类中心的方向。施加在 ${\mathit{\boldsymbol{E}}}_{\mathit{\boldsymbol{K}}}$ 上的正交和非负约束使得 ${\mathit{\boldsymbol{E}}}_{\mathit{\boldsymbol{K}}}$ 的每一行只有一个非零元素。因此，可以利用 $\mathit{\boldsymbol{K}}=\mathit{\boldsymbol{B}}{\mathit{\boldsymbol{E}}}^{\mathrm{T}}$ 来寻找潜在的聚类中心，从而更好地分离聚类。

1.4 单视图谱聚类

本节主要介绍通用的单视图谱聚类算法^[15]。假设存在 $n$ 个数据点，需将其分成 $c$ 个类。谱聚类第1步是构造一个无向相似图 $\mathit{\boldsymbol{G}}=\{\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{W}}\}$ ，其中， $\mathit{\boldsymbol{X}}\in$ ${\mathbb{R}}^{d\times n}$ 为顶点集， $\mathit{\boldsymbol{W}}\in {\mathbb{R}}^{n\times n}$ 为对应的相似矩阵， $\mathit{\boldsymbol{W}}$ 中的元素 ${w}_{i, j}$ 定义为每对顶点 $({x}_{i}, {x}_{j})$ 的相似性，可通过式（7）计算：

${w}_{i, j}=\left\{\begin{array}{l}1, {x}_{i}\in N\left({x}_{j}\right)\mathrm{ }, {x}_{j}\in N\left({x}_{i}\right)\\ 0, \mathrm{其}\mathrm{他}\end{array}\right.$

(7)

其中： $N\left({x}_{\mathrm{*}}\right)$ 为搜索 ${x}_{\mathrm{*}}$ 的k近邻函数。

通过求解一个特征值分解问题得到原始数据的谱嵌入，即：

$\begin{array}{l}\underset{\mathit{\boldsymbol{P}}}{\mathrm{m}\mathrm{i}\mathrm{n}}\ \ \mathrm{t}\mathrm{r}\left({\mathit{\boldsymbol{P}}}^{\mathrm{T}}\mathit{\boldsymbol{L}}\mathit{\boldsymbol{P}}\right)\\ \mathrm{s}.\mathrm{t}.\ \ {\mathit{\boldsymbol{P}}}^{\mathrm{T}}\mathit{\boldsymbol{P}}=\mathit{\boldsymbol{I}}\end{array}$

(8)

其中： $\mathit{\boldsymbol{P}}\in {\mathbb{R}}^{n\times c}$ 为聚类分配矩阵； $\mathit{\boldsymbol{L}}\in {\mathbb{R}}^{n\times n}$ 为图拉普拉斯矩阵，可由 $\mathit{\boldsymbol{L}}=\mathit{\boldsymbol{I}}-\mathit{\boldsymbol{W}}$ 定义。求解得出的最优 $\mathit{\boldsymbol{P}}$ 是 $\mathit{\boldsymbol{L}}$ 最小的k个特征值对应的特征向量。最后，对聚类分配矩阵 $\mathit{\boldsymbol{P}}$ 进行k-means聚类，返回k-means的聚类结果作为最终指标。

1.5 多视图谱聚类

由单视图谱聚类可定义 $\{{\mathit{\boldsymbol{X}}}^{\left(v\right)}\in {\mathbb{R}}^{{d}_{v}\times n}{\}}_{v=1}^{m}(m\ge 2)$ 为多视图数据中第 $v$ 个视图。传统多视图谱聚类^[18-19]目标函数如下：

$\begin{array}{l}\underset{\mathit{\boldsymbol{F}}}{\mathrm{m}\mathrm{i}\mathrm{n}} \ \sum\limits_{v}\left({\alpha }^{\left(v\right)}{)}^{r}\mathrm{t}\mathrm{r}\right({\mathit{\boldsymbol{F}}}^{\mathrm{T}}{\mathit{\boldsymbol{L}}}^{\left(v\right)}\mathit{\boldsymbol{F}})\\ \mathrm{s}.\mathrm{t}{.}_{}\ \ {\mathit{\boldsymbol{F}}}^{\mathrm{T}}\mathit{\boldsymbol{F}}=\mathit{\boldsymbol{I}}, \sum\limits_{v}{\alpha }^{\left(v\right)}=1, {\alpha }^{\left(v\right)}\succ 0\end{array}$

(9)

其中： ${\alpha }^{\left(v\right)}$ 是一个非负归一化系数，可以反映不同视图的权重； $r$ 是一个标量，用于控制权重在不同视图上的分布； ${\mathit{\boldsymbol{L}}}^{\left(v\right)}$ 为第 $v$ 个视图的图拉普拉斯矩阵； $\mathit{\boldsymbol{F}}$ 为求解得出的一致性嵌入，即多视图聚类分配矩阵。

在实际应用中，数据往往由多个不同的特征集或多个异构源来描述，即多视图数据。单视图谱聚类^{[15, 20-22]}并不能独立地处理多视图数据，并且聚类性能一般。为解决这一问题，近年来研究人员在单视图聚类的基础上提出多视图聚类算法。多视图谱聚类通过最大化多视图一致性来提高聚类性能。因此，如何最大化多视图一致性成为一个关键问题。

现有的多视图聚类算法^[5-7]通过学习一致性嵌入或者一致性图来挖掘多视图一致性，但其存在不足之处：一是多视图一致性信息挖掘不充分；二是无法有效地平衡不同视图的质量差异。本文OMTSC算法与现有算法的不同之处在于：OMTSC分解一致性表示，即聚类分配矩阵，分别学习正交基矩阵和聚类编码矩阵。一方面，正交基矩阵可以捕获并储存多视图一致性；另一方面，聚类编码矩阵通过加权融合，可更好地平衡不同视图的质量差异。并且OMTSC算法利用二部图充分挖掘多视图数据的一致性和多样性，通过多样性提升一致性的学习性能。

本文工作的主要贡献如下：

1）提出一种基于正交基的多视图迁移谱聚类（OMTSC）算法。该算法在一个统一框架中学习聚类分配矩阵和特征嵌入。

2）聚类分配矩阵可分解为正交基矩阵和聚类编码矩阵。正交基矩阵保留潜在的聚类中心，并捕获多视图数据之间的一致性信息。

3）OMTSC算法学习特征嵌入，借助其多样性并最大限度地优化多视图一致性。

2 OMTSC算法

为有效地挖掘多视图数据之间的一致性，本节提出基于正交基的多视图迁移谱聚类（OMTSC）算法。

2.1 多视图迁移谱聚类

OMTSC算法沿用文献[17]采用正交基聚类发现潜在的聚类中心的思想，可将每个视图的聚类分配矩阵 $\mathit{\boldsymbol{P}}$ 分解为两个子矩阵，即共享正交基矩阵 $\mathit{\boldsymbol{B}}\in {\mathbb{R}}^{c\times c}$ 和一个聚类编码矩阵 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}\in {\mathbb{R}}^{n\times c}$ 。聚类分配矩阵可表示为 ${\mathit{\boldsymbol{P}}}^{\left(v\right)}={\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}}$ ，则传统多视图谱聚类可以演化为以下形式：

$\begin{array}{l}\underset{{\mathit{\boldsymbol{E}}}^{\left(v\right)}, \mathit{\boldsymbol{B}}}{\mathrm{m}\mathrm{i}\mathrm{n}}\ \sum\limits_{v}({\alpha }^{\left(v\right)}{)}^{r}\mathrm{t}\mathrm{r}\left(\right({\mathit{\boldsymbol{E}}}^{\left(v\right)}{\mathit{\boldsymbol{B}})}^{\mathrm{T}}{\mathit{\boldsymbol{L}}}_{N}^{{}^{\left(v\right)}}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})\\ \mathrm{s}.\mathrm{t}.\ \ {{\mathit{\boldsymbol{E}}}^{\left(v\right)}}^{{}^{\mathrm{T}}}{\mathit{\boldsymbol{E}}}^{\left(v\right)}=\mathit{\boldsymbol{I}}, {\mathit{\boldsymbol{B}}}^{{}^{\mathrm{T}}}\mathit{\boldsymbol{B}}=\mathit{\boldsymbol{I}}\end{array}$

(10)

其中：

$\begin{array}{l}{\mathit{\boldsymbol{L}}}_{N}^{{}^{\left(v\right)}}=\left({\mathit{\boldsymbol{D}}}^{\left(v\right)}{)}^{-\frac{1}{2}}{\mathit{\boldsymbol{L}}}^{\left(v\right)}\right({\mathit{\boldsymbol{D}}}^{\left(v\right)}{)}^{-\frac{1}{2}}=\\ \mathit{\boldsymbol{I}}-\left({\mathit{\boldsymbol{D}}}^{\left(v\right)}{)}^{-\frac{1}{2}}{\mathit{\boldsymbol{W}}}^{\left(v\right)}\right({\mathit{\boldsymbol{D}}}^{\left(v\right)}{)}^{-\frac{1}{2}}\end{array}$

(11)

其中： ${\mathit{\boldsymbol{L}}}_{\mathit{\boldsymbol{N}}}^{{}^{\left(v\right)}}$ 为第 $v$ 个视图的归一化图拉普拉斯矩阵； ${\mathit{\boldsymbol{W}}}^{\left(v\right)}$ 为第 $v$ 个视图的相似矩阵； ${\mathit{\boldsymbol{D}}}^{\left(v\right)}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left({\mathit{\boldsymbol{W}}}^{\left(v\right)}{\bf{1}}\right)$ 。对聚类编码矩阵施加的正交约束促使 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 的每一行只有一个元素。 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 的每一行元素选择了 $\mathit{\boldsymbol{B}}$ 中的一行，这是一个将多个样本分配给不同聚类的过程。对正交基矩阵 $\mathit{\boldsymbol{B}}$ 施加的正交约束促使 $\mathit{\boldsymbol{B}}$ 的每一行相互独立。因此，本文利用 $\mathit{\boldsymbol{B}}$ 来细化潜在的聚类中心，从而捕获多视图数据之间的一致性信息，以获得更好的聚类性能。

OMTSC算法为更好地学习多视图一致性，通过优化学习到的正交基矩阵 $\mathit{\boldsymbol{B}}$ ，并致力于进一步细化潜在的聚类中心。本文为每个视图构建对应的特征嵌入 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}\in {\mathbb{R}}^{{d}_{v}\times k}$ ，其中 $k$ 为降维数目。受文献[16]采用基于二部图协同聚类来控制和实现两个任务之间的知识迁移的启发，OMTSC引入二部图协同聚类，并将多个视图连接在一起。不同于二部图协同聚类算法，OMTSC适用于多视图聚类任务。考虑到 $\mathit{\boldsymbol{B}}$ 是多视图数据的共同聚类中心，它可以在多个视图之间进行迁移。 $\mathit{\boldsymbol{B}}$ 可将在上一视图捕获到的一致性知识迁移到下一视图，从而促进下一视图的学习和优化。同时，OMTSC通过从正交基矩阵 $\mathit{\boldsymbol{B}}$ 和特征嵌入 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 迁移知识来获取并优化每个视图聚类任务的聚类编码矩阵 ${\mathit{\boldsymbol{E}}}^{\left(\mathit{\boldsymbol{v}}\right)}$ 。其相关模型如下：

$\underset{{\mathit{\boldsymbol{A}}}^{\left(v\right)}}{\mathrm{m}\mathrm{i}\mathrm{n}}\ \sum\limits_{v}{||{\mathit{\boldsymbol{A}}}^{\left(v\right)}||}_{\mathrm{2, 1}}+\mathrm{t}\mathrm{r}\left(\right({\mathit{\boldsymbol{A}}}^{\left(v\right)}{)}^{\mathrm{T}}{\mathit{\boldsymbol{X}}}_{N}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})$

(12)

${\mathit{\boldsymbol{X}}}_{N}^{\left(v\right)}=({\mathit{\boldsymbol{D}}}_{1}^{\left(v\right)}{)}^{-\frac{1}{2}}{\mathit{\boldsymbol{X}}}^{\left(v\right)}({\mathit{\boldsymbol{D}}}_{2}^{\left(v\right)}{)}^{-\frac{1}{2}}$

(13)

其中： ${\mathit{\boldsymbol{X}}}_{\mathit{\boldsymbol{N}}}^{\left(\mathit{\boldsymbol{v}}\right)}$ 为第 $v$ 个视图的归一化数据矩阵； ${\mathit{\boldsymbol{D}}}_{1}^{\left(v\right)}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left({\mathit{\boldsymbol{X}}}^{\left(v\right)}{\bf{1}}\right)$ ； ${\mathit{\boldsymbol{D}}}_{2}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left({{\mathit{\boldsymbol{X}}}^{\left(v\right)}}^{\mathrm{T}}{\bf{1}}\right)$ 。

在多视图之间迁移的正交基矩阵 $\mathit{\boldsymbol{B}}$ ，基于多视图数据一致性原则，可以促进一致性信息的学习，多视图谱聚类任务可以从共同聚类中心学习的角度相互迁移一致性知识。以二部图为桥梁， $\mathit{\boldsymbol{B}}$ 可将一致性知识迁移给 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ ，从而促使当前视图更好地学习 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 。得益于协同聚类， ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 可从多视图数据中提取重要特征。具有群稀疏约束的 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 可提升处理每个视图的带噪和高维特征的能力，同时提高被提取特征的多样性和完整性。在 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 提取的多样性信息的基础上， $\mathit{\boldsymbol{B}}$ 可通过二部图有选择性地提取多视图一致性知识，从而进一步细化潜在的聚类中心。此外，从 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 和 $\mathit{\boldsymbol{B}}$ 迁移知识给 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ ，有利于优化 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 。同时， ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 借助其特异性，有效提升多视图一致性。

结合式（10）和式（12），求解最优的聚类分配矩阵 $\{{\mathit{\boldsymbol{P}}}^{\left(v\right)}{\}}_{v=1}^{V}$ ，OMTSC的目标模型定义如下：

$\begin{array}{l}\underset{{\mathit{\boldsymbol{E}}}^{\left(v\right)}, \mathit{\boldsymbol{B}}, {\mathit{\boldsymbol{A}}}^{\left(v\right)}}{\mathrm{m}\mathrm{i}\mathrm{n}}\sum\limits_{v}({\alpha }^{\left(v\right)}{)}^{r}\mathrm{t}\mathrm{r}\left(\right({\mathit{\boldsymbol{E}}}^{\left(v\right)}{\mathit{\boldsymbol{B}})}^{\mathrm{T}}{\mathit{\boldsymbol{L}}}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})+\\ \ \ \ \ \ \ \mu {||{\mathit{\boldsymbol{A}}}^{\left(v\right)}||}_{\mathrm{2, 1}}+\lambda \mathrm{t}\mathrm{r}\left(\right({\mathit{\boldsymbol{A}}}^{\left(v\right)}{)}^{\mathrm{T}}{\mathit{\boldsymbol{X}}}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})\\ \mathrm{s}.\mathrm{t}.\ {{\mathit{\boldsymbol{E}}}^{\left(v\right)}}^{\mathrm{T}}{\mathit{\boldsymbol{E}}}^{\left(v\right)}=\mathit{\boldsymbol{I}}, {\mathit{\boldsymbol{B}}}^{\mathrm{T}}B=\mathit{\boldsymbol{I}}, \sum\limits_{v}{\alpha }^{\left(v\right)}=1, {\alpha }^{\left(v\right)}\succ 0\end{array}$

(14)

其中： $\lambda$ 为每个视图的谱聚类与协同聚类目标之间的权衡； $\mu$ 为稀疏因子。当 $\lambda$ 和 $\mu$ 设置为0时，该模型将退化为具有共同聚类中心的多视图谱聚类。现有的多视图聚类算法^[5-7]通过学习一致性嵌入或者一致性图来挖掘多视图一致性。其不足之处在于：一是多视图一致性信息挖掘不充分，MVGL算法^[8]和MCGC算法^[9]由于没有去除冗余信息或考虑噪声矩阵，将对学习到的一致性图造成影响；二是无法有效地平衡不同视图的质量差异。谱聚类的性能在很大程度上取决于相似矩阵的质量。Co-Reg算法^[23]完全忽略了不同视图相似矩阵之间的质量差异，AASC算法^[24]为每个视图分配了一个特定的权重，但这并不能很好地解决不同相似矩阵之间的质量差异。由于谱嵌入具有严格的一致性约束，AASC算法很有可能学习到较差的谱嵌入。本文提出的OMTSC算法旨在解决上述问题。

在多视图聚类任务中，正交基矩阵 $\mathit{\boldsymbol{B}}$ 迭代迁移一致性知识，聚类编码矩阵 ${\mathit{\boldsymbol{E}}}^{\left(\mathit{\boldsymbol{v}}\right)}$ 对单个视图聚类任务进行编码。一方面， $\mathit{\boldsymbol{B}}$ 可捕获并储存多视图一致性信息，形成潜在聚类中心；另一方面，加权聚类编码矩阵 $\{{\alpha }^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(\mathit{\boldsymbol{v}}\right)}{\}}_{v=1}^{V}$ 可更好地平衡不同视图的质量差异。特征嵌入 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 和 $\mathit{\boldsymbol{B}}$ 在二部图上相互迁移知识，从而相互促进彼此的学习和优化。

2.2 模型优化

本节将主要探讨对OMTSC算法模型的优化。显而易见，直接解决问题式（14）是一项具有挑战性的工作，由于它是非凸的，因此本文采用一种交替方向策略来优化多变量问题。首先固定 $\mathit{\boldsymbol{B}}$ 、 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 和 ${\alpha }^{\left(v\right)}$ 更新 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ ，然后固定 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 、 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 和 ${\alpha }^{\left(v\right)}$ 更新 $\mathit{\boldsymbol{B}}$ ，继而固定 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 、 $\mathit{\boldsymbol{B}}$ 和 ${\alpha }^{\left(v\right)}$ 更新 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ ，最后固定 ${\mathit{\boldsymbol{E}}}^{\left(\mathit{\boldsymbol{v}}\right)}$ 、 $\mathit{\boldsymbol{B}}$ 和 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 更新 ${\alpha }^{\left(v\right)}$ 。重复以上步骤直至目标模型收敛。

下面简单介绍更新的过程：

首先明确更新 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 和 $\mathit{\boldsymbol{B}}$ 的重点，由于对 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 和 $\mathit{\boldsymbol{B}}$ 施加正交约束，因此 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 和 $\mathit{\boldsymbol{B}}$ 实际上是位于Stiefel流形上，这个问题可以通过对流形的反复更新来解决，如果 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 和 $\mathit{\boldsymbol{B}}$ 不在流形上，则通过更新其在流形上的投影来求解。在迭代过程中，Stiefel流形由以下命题定义：

命题1 假设一个秩为p的矩阵 $\mathit{\boldsymbol{Z}}$ ， $\mathit{\boldsymbol{Z}}$ 在Stiefel流形上的投影可以定义为：

$\pi \left(\mathit{\boldsymbol{Z}}\right)=\underset{{\mathit{\boldsymbol{Q}}}^{\mathrm{T}}\mathit{\boldsymbol{Q}}=\mathit{\boldsymbol{I}}}{\mathrm{m}\mathrm{i}\mathrm{n}}{||\mathit{\boldsymbol{Z}}-\mathit{\boldsymbol{Q}}||}_{F}^{2}$

(15)

如果 $\mathit{\boldsymbol{Z}}$ 的奇异值分解（SVD）为 $\mathit{\boldsymbol{Z}}=\mathit{\boldsymbol{U}}\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}{\mathit{\boldsymbol{V}}}^{\mathrm{T}}$ ，则有 $\pi \left(\mathit{\boldsymbol{Z}}\right)=\mathit{\boldsymbol{U}}{\mathit{\boldsymbol{I}}}_{n, p}{\mathit{\boldsymbol{V}}}^{\mathrm{T}}$ 。

固定 $\mathit{\boldsymbol{B}}$ 、 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 和 ${\alpha }^{\left(v\right)}$ ，更新 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ ，当固定 $\mathit{\boldsymbol{B}}$ 和 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 时，聚类编码矩阵 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 的更新问题可表示为：

$\begin{array}{l}\underset{{E}^{\left(v\right)}}{\mathrm{m}\mathrm{i}\mathrm{n}}\sum\limits_{v}t\mathrm{r}\left(\right({\mathit{\boldsymbol{E}}}^{\left(v\right)}{\mathit{\boldsymbol{B}})}^{\mathrm{T}}{\mathit{\boldsymbol{L}}}_{N}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})+\\ \lambda \mathrm{t}\mathrm{r}\left(\right({\mathit{\boldsymbol{A}}}^{\left(v\right)}{)}^{\mathrm{T}}{\mathit{\boldsymbol{X}}}_{N}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})\\ \mathrm{s}.\mathrm{t}.\ {{\mathit{\boldsymbol{E}}}^{\left(v\right)}}^{\mathrm{T}}{\mathit{\boldsymbol{E}}}^{\left(v\right)}=\mathit{\boldsymbol{I}}\end{array}$

(16)

${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 的更新方式如下：

${\mathit{\boldsymbol{E}}}_{T+1}^{\left(v\right)}=\pi \left({\mathit{\boldsymbol{E}}}_{T}^{\left(v\right)}-{t}_{1}\frac{\mathrm{d}}{\mathrm{d}{\mathit{\boldsymbol{E}}}^{\left(v\right)}}\right)$

(17)

其中： $\frac{\mathrm{d}}{\mathrm{d}{\mathit{\boldsymbol{E}}}^{\left(v\right)}}=2{\mathit{\boldsymbol{L}}}_{N}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}}{\mathit{\boldsymbol{B}}}^{\mathrm{T}}+\lambda {\mathit{\boldsymbol{X}}}_{N}^{{\left(v\right)}^{\mathrm{T}}}{\mathit{\boldsymbol{A}}}^{\left(v\right)}{\mathit{\boldsymbol{B}}}^{\mathrm{T}}$ 。本文将对 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 迭代更新10次。

固定 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 、 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 和 ${\alpha }^{\left(v\right)}$ ，更新 $\mathit{\boldsymbol{B}}$ ，当固定 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 和 ${\mathit{\boldsymbol{A}}}^{\left(\mathit{\boldsymbol{v}}\right)}$ 时，正交基矩阵 $\mathit{\boldsymbol{B}}$ 的更新问题可表示为：

$\begin{array}{l}\underset{\mathit{\boldsymbol{B}}}{\mathrm{m}\mathrm{i}\mathrm{n}}\sum\limits_{v}tr\left(\right({\mathit{\boldsymbol{E}}}^{\left(v\right)}{\mathit{\boldsymbol{B}})}^{T}{\mathit{\boldsymbol{L}}}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})+\lambda tr(\left({\mathit{\boldsymbol{A}}}^{\left(v\right)}{)}^{T}{\mathit{\boldsymbol{X}}}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}}\right)\\ \mathrm{s}.\mathrm{t}{.}_{}\ \ {\mathit{\boldsymbol{B}}}^{\mathrm{T}}\mathit{\boldsymbol{B}}=\mathit{\boldsymbol{I}}\end{array}$

(18)

$\mathit{\boldsymbol{B}}$ 的更新方式如下：

${\mathit{\boldsymbol{B}}}_{T+1}=\pi \left({\mathit{\boldsymbol{B}}}_{T}-{t}_{2}\frac{\mathrm{d}}{\mathrm{d}\mathit{\boldsymbol{B}}}\right)$

(19)

其中： $\frac{\mathrm{d}}{\mathrm{d}\mathit{\boldsymbol{B}}}=(\mathit{\boldsymbol{M}}+{\mathit{\boldsymbol{M}}}^{\mathrm{T}})\mathit{\boldsymbol{B}}+\lambda \mathit{\boldsymbol{N}}$ ； $\mathit{\boldsymbol{M}}=\sum\limits_{v}{{\mathit{\boldsymbol{E}}}^{\left(v\right)}}^{\mathrm{T}}$ ${\mathit{\boldsymbol{L}}}_{N}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}$ ； $\mathit{\boldsymbol{N}}={\sum\limits_{v}{{\mathit{\boldsymbol{E}}}}^{{\left(v\right)}^{\mathrm{T}}}}{\mathit{\boldsymbol{X}}}_{\mathit{\boldsymbol{N}}}^{{\left(v\right)}^{\mathrm{T}}}{\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 。本文将对 $\mathit{\boldsymbol{B}}$ 迭代更新10次。

固定 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 、 $\mathit{\boldsymbol{B}}$ 和 ${\alpha }^{\left(v\right)}$ ，更新 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ ，当固定 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 和 $\mathit{\boldsymbol{B}}$ 时，特征嵌入 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 的更新问题可表示为：

$\underset{{\mathit{\boldsymbol{A}}}^{\left(v\right)}}{\mathrm{m}\mathrm{i}\mathrm{n}}\sum\limits_{v}\mu {||{\mathit{\boldsymbol{A}}}^{\left(v\right)}||}_{\mathrm{2, 1}}+\lambda \mathrm{t}\mathrm{r}\left(\right({\mathit{\boldsymbol{A}}}^{\left(v\right)}{)}^{\mathrm{T}}{\mathit{\boldsymbol{X}}}_{N}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})$

(20)

引入一个变量 $\mathit{\boldsymbol{S}}$ 来分离上述问题，即：

$\begin{array}{l}\underset{{\mathit{\boldsymbol{A}}}^{\left(v\right)}}{\mathrm{m}\mathrm{i}\mathrm{n}}\sum\limits_{v}\mu {||\mathit{\boldsymbol{S}}||}_{\mathrm{2, 1}}+\lambda \mathrm{t}\mathrm{r}\left(\right({\mathit{\boldsymbol{A}}}^{\left(v\right)}{)}^{\mathrm{T}}{\mathit{\boldsymbol{X}}}_{N}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})\\ \mathrm{s}.\mathrm{t}.\ \mathit{\boldsymbol{S}}={\mathit{\boldsymbol{A}}}^{\left(v\right)}\end{array}$

(21)

针对上述问题，本文采用ADMM算法，其增广拉格朗日形式如下：

$\underset{\mathit{\boldsymbol{S}}, {\mathit{\boldsymbol{A}}}^{\left(v\right)}}{\mathrm{m}\mathrm{i}\mathrm{n}}\sum\limits_{v}\mu {||\mathit{\boldsymbol{S}}||}_{\mathrm{2, 1}}+\lambda \mathrm{t}\mathrm{r}\left(\right({\mathit{\boldsymbol{A}}}^{\left(v\right)}{)}^{\mathrm{T}}{\mathit{\boldsymbol{X}}}_{N}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})+\\ \frac{\beta }{2}{||\mathit{\boldsymbol{S}}-{\mathit{\boldsymbol{A}}}^{\left(v\right)}+\frac{1}{\beta }\mathit{\boldsymbol{Y}}||}_{F}^{2}$

(22)

其中： $\mathit{\boldsymbol{Y}}$ 是拉格朗日乘数。

然后对于下面问题：

$\underset{\mathit{\boldsymbol{S}}}{\mathrm{m}\mathrm{i}\mathrm{n}}\sum\limits_{v}{\lambda }_{2}{||\mathit{\boldsymbol{S}}||}_{\mathrm{2, 1}}+\frac{\beta }{2}{||\mathit{\boldsymbol{S}}-{\mathit{\boldsymbol{A}}}^{\left(v\right)}+\frac{1}{\beta }\mathit{\boldsymbol{Y}}||}_{F}^{2}$

(23)

有封闭（closed-form）解，即：

$\mathit{\boldsymbol{S}}=(2\mu {\mathit{\boldsymbol{D}}}_{S}+\beta {\mathit{\boldsymbol{I}}}_{\mathit{\boldsymbol{S}}}{)}^{-1}(\beta {\mathit{\boldsymbol{A}}}^{\left(v\right)}-\mathit{\boldsymbol{Y}})$

(24)

其中： ${\mathit{\boldsymbol{D}}}_{\mathit{\boldsymbol{S}}}$ 表示一个对角矩阵，每个对角元素为 ${{\mathit{\boldsymbol{D}}}_{S}}_{ii}={\frac{1}{2||{\mathit{\boldsymbol{l}}}_{\mathit{\boldsymbol{i}}}||}}_{2}$ ， ${\mathit{\boldsymbol{l}}}_{i}$ 为 $\mathit{\boldsymbol{L}}$ 的第i行。

$\underset{{\mathit{\boldsymbol{A}}}^{\left(v\right)}}{\mathrm{m}\mathrm{i}\mathrm{n}}\sum\limits_{v}\lambda \mathrm{t}\mathrm{r}\left(\right({\mathit{\boldsymbol{A}}}^{\left(v\right)}{)}^{\mathrm{T}}{\mathit{\boldsymbol{X}}}_{N}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})+\frac{\beta }{2}{||\mathit{\boldsymbol{S}}-{\mathit{\boldsymbol{A}}}^{\left(v\right)}+\frac{1}{\beta }\mathit{\boldsymbol{Y}}||}_{F}^{2}$

(25)

将目标函数关于 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ 的导数设为0，则有：

${\mathit{\boldsymbol{A}}}^{\left(v\right)}=\mathit{\boldsymbol{S}}+\frac{1}{\beta }\mathit{\boldsymbol{Y}}+\frac{\lambda }{\beta }{\mathit{\boldsymbol{X}}}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}}$

(26)

$\mathit{\boldsymbol{Y}}$ 更新为：

${\mathit{\boldsymbol{Y}}}_{T}={\mathit{\boldsymbol{Y}}}_{T-1}+\beta (\mathit{\boldsymbol{S}}-{\mathit{\boldsymbol{A}}}^{\left(v\right)})$

(27)

固定 $\mathit{\boldsymbol{B}}$ 、 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 和 ${\mathit{\boldsymbol{A}}}^{\left(v\right)}$ ，更新 ${\alpha }^{\left(v\right)}$ ，定义：

$\begin{array}{l}{\gamma }^{\left(v\right)}=\mathrm{t}\mathrm{r}\left(\right({\mathit{\boldsymbol{E}}}^{\left(v\right)}{\mathit{\boldsymbol{B}})}^{\mathrm{T}}{\mathit{\boldsymbol{L}}}_{N}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})+\mu {||{\mathit{\boldsymbol{A}}}^{\left(v\right)}||}_{\mathrm{2, 1}}+\\ \lambda \mathrm{t}\mathrm{r}\left(\right({A}^{\left(v\right)}{)}^{\mathrm{T}}{\mathit{\boldsymbol{X}}}_{N}^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}\mathit{\boldsymbol{B}})\end{array}$

(28)

故 ${\alpha }^{\left(v\right)}$ 的问题可退化为^[25-26]：

$\underset{\sum\limits_{v}{\alpha }^{\left(v\right)}=1, {\alpha }^{\left(v\right)}\succ 0}{\mathrm{m}\mathrm{i}\mathrm{n}}\sum\limits_{v}({\alpha }^{\left(v\right)}{)}^{r}{\gamma }^{\left(v\right)}$

(29)

${\alpha }^{\left(v\right)}$ 的更新方式如下：

${\alpha }^{\left(v\right)}=\frac{{\gamma }^{{\left(v\right)}^{1/(1-r)}}}{\sum\limits_{v}{\gamma }^{{\left(v\right)}^{1/(1-r)}}}$

(30)

通过 $\{{\alpha }^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(\mathit{\boldsymbol{v}}\right)}{\mathit{\boldsymbol{B}}\}}_{v=1}^{V}$ 计算多视图聚类分配矩阵 $\mathit{\boldsymbol{F}}$ ，并使用k-means得到最终指标矩阵。算法1为整个模型优化过程。

算法1 基于正交基的多视图迁移谱聚类

输入归一化图拉普拉斯矩阵 $\{{\mathit{\boldsymbol{L}}}_{\mathit{\boldsymbol{N}}}^{\left(v\right)}{\}}_{v=1}^{V}$ ，归一化数据矩阵 $\{{\mathit{\boldsymbol{X}}}_{\mathit{\boldsymbol{N}}}^{\left(v\right)}{\}}_{v=1}^{V}$ ，参数 $\lambda$ 、 $\mu$ 、 $r$ 、 $\beta$ ，步长 ${t}_{1}$ 、 ${t}_{2}$ ，类数目 $c$ ，降维数目 $k$ ， $k$ 为近邻值

输出最优 $\{{\alpha }^{\left(v\right)}{\mathit{\boldsymbol{E}}}^{\left(v\right)}{\mathit{\boldsymbol{B}}\}}_{v=1}^{V}$

1.初始化 $\{{\mathrm{E}}^{\mathrm{v}}{\}}_{\mathrm{v}=1}^{\mathrm{V}}$ ， $\mathrm{B}$ ， $\{{\mathrm{A}}^{\mathrm{v}}{\}}_{\mathrm{v}=1}^{\mathrm{V}}$ ， $\{{\mathrm{\alpha }}^{\left(\mathrm{v}\right)}{\}}_{\mathrm{v}=1}^{\mathrm{V}}=1/\mathrm{c}$ ；

2.REPEAT

3.根据式（17）更新 $\{{\mathrm{E}}^{\mathrm{v}}{\}}_{\mathrm{v}=1}^{\mathrm{V}}$ ；

4.根据式（19）更新 $\mathrm{B}$ ；

5.根据式（26）更新 $\{{\mathrm{A}}^{\mathrm{v}}{\}}_{\mathrm{v}=1}^{\mathrm{V}}$ ；

6.根据式（30）更新 $\{{\mathrm{\alpha }}^{\left(\mathrm{v}\right)}{\}}_{\mathrm{v}=1}^{\mathrm{V}}$ ；

7.UNTIL目标模型收敛

8.计算最优聚类分配矩阵 $\{{\mathrm{\alpha }}^{\left(\mathrm{v}\right)}{\mathrm{E}}^{\left(\mathrm{v}\right)}{\mathrm{B}\}}_{\mathrm{v}=1}^{\mathrm{V}}$ ，并通过k-means计算最终指标矩阵。

3 实验

本节选用3个数据集进行实验，并同时与9种聚类算法进行比较，以此评估OMTSC算法的聚类性能。最后分析OMTSC算法的时间复杂度、收敛性和参数灵敏性。

3.1 数据集

本文选用3个真实数据集来评估多视图数据聚类的性能。实验数据集包括人脸、图像和文本数据。数据集详细信息如表 1所示。

下载CSV 表 1 数据集信息 Table 1 Introduction to datasets

ORL^[27]是人脸识别领域流行的人脸数据库，共有400个样本，分为40个类，可由3个视图描述，分别是强度特征、LBP特征和Gabor特征。

WikipediaArticles可分为30个类，由于其中一些类很少，因此选取其中10个最受欢迎的类，选取的数据集共有693个样本。

COIL20^[28]是一个图像数据集，共有1 440幅图像，可分为20类，对于每幅图像提取3个不同的特征向量，包括强度特征、LBP特征和Gabor特征。

3.2 对比算法

本文选用1种单视图聚类算法和8种多视图聚类算法，与OMTSC算法进行比较。下文简要介绍对比算法：

1）SC-Best^[15]。SC-Best算法对每个视图中的特征进行标准的谱聚类，并由实验者手动选择最佳的聚类性能作为最终的聚类结果。

2）CoReg SPC^[23]。该算法通过对聚类假设进行共正则化，使不同的视图保持一致。

3）AASC^[24]。该算法将相似矩阵聚集在一起进行谱聚类。

4）RMSC^[29]。该算法为多视图聚类恢复了一个共享的低秩转移概率矩阵。

5）MVGL^[8]。该算法从不同的单视图中学习全局图。由于秩约束，因此聚类指标直接由全局图获得。

6）MVGC^[9]。该算法利用拉普拉斯矩阵上的秩约束学习一致性图，并利用拉普拉斯矩阵直接获取聚类标签。

7）AWP^[5]。该算法利用PA技术从谱嵌入中恢复一致性聚类指标矩阵。

8）WMSC^[7]。该算法利用不同视图的归一化拉普拉斯矩阵的特征向量张成子空间之间的最大标准角，它可衡量不同视图聚类结果之间的差异性。因此，最小化标准角可以为所有视图带来更好的聚类一致性。

9）NESE^[6]。该算法在统一框架中同时学习非负嵌入和谱嵌入，其中非负嵌入直接揭示了一致的聚类结果，从而提升聚类性能。

本文对每种算法分别进行了10次实验，通过比较各评估指标的均值和标准差对比聚类性能。所有算法的聚类结果由3个评估指标测量：即聚类精度（Accuracy，ACC）、归一化互信息（Normalized Mutual Information，NMI）、调整兰特指数（Adjusted Rand Index，ARI）。对于每个评估指标，指标值越大，结果越好。

3.3 实验结果与分析

3个数据集的聚类结果如表 2~表 4所示，其中，粗体字体是最优结果，下划线字体是次优结果，表中数值为均值±标准差。SC-Best是SC在单一视图下得到的最佳结果。

下载CSV 表 2 不同算法在WikipediaArticles数据集上的聚类结果 Table 2 Clustering results of different algorithms in WikipediaArticles dataset

下载CSV 表 3 不同算法在COIL20数据集上的聚类结果 Table 3 Clustering results of different algorithms in COIL20 dataset

下载CSV 表 4 不同算法在ORL数据集上的聚类结果 Table 4 Clustering results of different algorithms in ORL dataset

由表 2~表 4可以得出以下结论：

1）在以上3个数据集中，OMTSC算法的聚类性能均优于其他算法。特别是在与WikipediaArticles、ORL数据集上的次优结果相比，OMTSC算法在ARI指标上的提升超过了近5%。

2）值得注意的是大多数对比算法在不同的数据集上的性能并不稳定。比如NESE算法在COIL20数据集上取得次优结果，然而在另外两个数据集上的性能并不理想，而OMTSC算法在不同数据集上保持着最优结果。这是因为NESE算法是直接学习一致性嵌入，而OMTSC算法将一致性嵌入分解为公共正交基矩阵和聚类编码矩阵，考虑多视图的一致性和不同视图的特异性，并在模型优化过程中促进两者的相互学习。同时，利用每个视图特征嵌入的多样性来捕获多视图潜在的一致性。

3）与SC-Best算法和CoReg算法相比，OMTSC算法可以充分挖掘多视图一致性，捕获潜在聚类中心，并有效消除视图中的噪声和不重要信息，从而提升其聚类性能。其中，SC-Best算法需要对每个视图分别进行聚类，然后手动选择最佳性能视图，故不适用于实际应用。而CoReg算法完全忽略了视图相似矩阵之间的质量差异，对学习到的一致的特征向量集有很大影响。OMTSC算法考虑了不同视图的显著差异，它通过学习加权聚类编码矩阵，可以很好地平衡不同视图相似矩阵之间的质量差异。

4）ORL和COIL20数据集都有3个视图，其中视图的特征数目大多超过3 000个。由于ORL和COIL20数据集的高维性，其中存在一些噪声和冗余信息。OMTSC算法基于群稀疏约束的特征嵌入，可有效消除视图中的噪声，降低视图中高维和噪声特征对聚类性能的影响。可以看出，与ORL数据集上的MVGL算法相比，OMTSC算法在ACC上的提升超过了近10%；与COIL20数据集上的MCGC算法相比，OMTSC算法在AR上的提升超过了近10%。这可能是因为MVGL算法和MCGC算法没有去除冗余信息或噪声矩阵。

综上所述，本文提出的OMTSC算法在聚类性能及稳定性上，均优于其他先进的多（单）视图聚类算法。

3.4 时间复杂度分析

不同算法的时间复杂度如表 5所示。由算法1可知，OMTSC算法可分为2个子问题。对于第1个问题，涉及计算一个正交基矩阵 $\mathit{\boldsymbol{B}}$ 和多个聚类编码矩阵 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 的投影，其计算包括矩阵乘积和加法，时间复杂度为 $O\left({n}^{2}k\right)$ 。为了寻求投影，需要对 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 和 $\mathit{\boldsymbol{B}}$ 进行奇异值分解。已知对于 $m\times n$ 矩阵，奇异值分解的时间复杂度为 $O\left(\mathrm{m}\mathrm{i}\mathrm{n}\right\{m{n}^{2}, {m}^{2}n\left\}\right)$ 。因此，计算正交基矩阵 $\mathit{\boldsymbol{B}}$ 和聚类编码矩阵 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 及投影的时间复杂度为 $O\left(\right({t}_{1}+{t}_{2}\left)\right({n}^{2}k\left)\right)$ 。其中 ${t}_{1}$ 和 ${t}_{2}$ 分别是 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 和 $\mathit{\boldsymbol{B}}$ 单次优化过程的更新迭代次数。对于第2个问题，OMTSC算法计算新的特征嵌入 ${\mathit{\boldsymbol{A}}}^{\left(\mathit{\boldsymbol{v}}\right)}$ 的时间复杂度为 $O\left({n}^{2}k\right)$ ，新的变量 $\mathit{\boldsymbol{S}}$ 的时间复杂度为 $O\left(\mathrm{m}\mathrm{a}\mathrm{x}\right({n}^{2}D, {n}^{3}\left)k\right)$ ， $\mathit{\boldsymbol{Y}}$ 的时间复杂度可忽略不计。因此，OMTSC算法优化迭代部分的总时间复杂度为 $O\left({t}_{3}\right(({t}_{1}+{t}_{2}){n}^{2}k+\mathrm{m}\mathrm{a}\mathrm{x}({n}^{2}D, {n}^{3})k\left)\right)$ ，其中 ${t}_{3}$ 是优化过程的总迭代次数。

下载CSV 表 5 不同算法的时间复杂度 Table 5 Time complexity of different algorithms

3.5 参数灵敏性

在OMTSC算法中存在有3个参数： $\lambda$ 为每个视图的谱聚类与协同聚类目标之间的权衡； $\mu$ 为稀疏因子； $r$ 是一个标量，用于控制权重在不同视图上的分布。根据ORL和WikipediaArticles数据集的实验结果，分析以上参数对聚类评估指标ACC的敏感性，其结果如图 1所示。

	Download: JPG larger image
图 1 不同参数下OMTSC算法在ORL和WikipediaArticles数据集上的聚类性能 Fig. 1 Clustering performance of OMTSC algorithm on ORL and WikipediaArticles datasets with different parameters

1）当固定 $r$ =2时，将参数 $\lambda$ 和 $\mu$ 设置为[0.000 1，10 000]，结果如图 1（a）、图 1（b）所示。可以看出，在ORL和WikipediaArticles数据集中，当 $\lambda$ =[0.000 1，1]和 $\mu$ =[0.000 1，10 000]时，算法能取得最优性能。由此可知，参数 $\lambda$ 对OMTSC算法的性能较敏感，参数 $\mu$ 对OMTSC算法的性能不敏感。

2）在ORL数据集上，固定参数 $\lambda$ =0.1和 $\mu$ =0.001；在WikipediaArticles数据集上，固定参数 $\lambda$ =1和 $\mu$ =1。同时，将参数 $r$ 设置为^{[2, 10]}。结果如图 1（c）、图 1（d）所示。由此可知，在这两个数据集上，当 $r$ =2时算法能取得最优性能。

3.6 收敛性分析

本节采用ORL和WikipediaArticles数据集来评估OMTSC算法的收敛性。当更新 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 和 $\mathit{\boldsymbol{B}}$ 时，对应的更新问题分别是 ${\mathit{\boldsymbol{E}}}^{\left(v\right)}$ 和 $\mathit{\boldsymbol{B}}$ 的连续函数，故只要步长 ${t}_{1}$ 和 ${t}_{2}$ 足够小，其值便可单调递减。一般来说，步长 ${t}_{1}$ 和 ${t}_{2}$ 越小，所需的迭代次数就越大。本文设定 ${t}_{1}$ = ${t}_{2}$ =1。根据式（14），ADMM算法^[30-31]给出详细的解释，并说明了如何保证该算法的收敛性。

4 结束语

本文提出了一种基于正交基的多视图迁移谱聚类（OMTSC）算法。将每个视图的聚类分配矩阵分解为正交基矩阵和一个聚类编码矩阵，正交基矩阵通过捕获并储存多视图一致性，获取多视图数据的潜在聚类中心。同时，基于加权聚类编码矩阵，OMTSC可以更好地平衡不同视图之间的质量差异。通过引入协同聚类控制和实现知识迁移，在二部图上同时学习优化特征嵌入和聚类分配矩阵。在此基础上，利用特征嵌入的多样性最大化多视图一致性，学习最优的潜在聚类中心，进而提升多视图聚类性能。此外，本文设计一种交替迭代优化算法对目标函数进行优化，在3种真实基准数据集上的实验结果验证了该算法的有效性。下一步将考虑构造自适应图，以更好地发现数据的内在关系，提升聚类性能。

参考文献

[1]	NG A Y, JORDAN M I, WEISS Y. On spectral clustering: analysis and an algorithm[C]//Proceedings of NIPSʼ02. Cambridge, USA: MIP Press, 2002: 849-856.
[2]	ELHAMIFAR E, VIDAL R. Sparse subspace clustering: algorithm, theory, and applications[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(11): 2765-2781. DOI:10.1109/TPAMI.2013.57
[3]	LIU G C, LIN Z C, YAN S C, et al. Robust recovery of subspace structures by low-rank representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 171-184. DOI:10.1109/TPAMI.2012.88
[4]	LI L M, CAI M L. Drug target prediction by multi-view low rank embedding[J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2019, 16(5): 1712-1721. DOI:10.1109/TCBB.2017.2706267
[5]	NIE F P, TIAN L, LI X L. Multiview clustering via adaptively weighted Procrustes[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York, USA: ACM Press, 2018: 2022-2030.
[6]	HU Z X, NIE F P, WANG R, et al. Multi-view spectral clustering via integrating nonnegative embedding and spectral embedding[J]. Information Fusion, 2020, 55: 251-259. DOI:10.1016/j.inffus.2019.09.005
[7]	ZONG L L, ZHANG X C, LIU X Y, et al. Weighted multi-view spectral clustering based on spectral perturbation[C]//Proceedings of AAAI Conference on Artificial Intelligence. [S. 1.]: AAAI Press, 2018: 4621-4629.
[8]	ZHAN K, ZHANG C Q, GUAN J P, et al. Graph learning for multiview clustering[J]. IEEE Transactions on Cybernetics, 2018, 48(10): 2887-2895. DOI:10.1109/TCYB.2017.2751646
[9]	ZHAN K, NIE F P, WANG J, et al. Multiview consensus graph clustering[J]. IEEE Transactions on Image Processing, 2019, 28(3): 1261-1270. DOI:10.1109/TIP.2018.2877335
[10]	LIU J, JIANG Y, LI Z C, et al. Partially shared latent factor learning with multiview data[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, 26(6): 1233-1246. DOI:10.1109/TNNLS.2014.2335234
[11]	PAN S J, YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359. DOI:10.1109/TKDE.2009.191
[12]	卢晨阳, 康雁, 杨成荣, 等. 基于语义结构的迁移学习文本特征对齐算法[J]. 计算机工程, 2019, 45(5): 116-121. LU C Y, KANG Y, YANG C R, et al. Text feature alignment algorithm for transfer learning based on semantic structure[J]. Computer Engineering, 2019, 45(5): 116-121. (in Chinese)
[13]	唐绍恩, 李骞, 胡磊, 等. 一种基于迁移学习的能见度检测算法[J]. 计算机工程, 2019, 45(9): 242-247. TANG S E, LI Q, HU L, et al. A visibility detection method based on transfer learning[J]. Computer Engineering, 2019, 45(9): 242-247. (in Chinese)
[14]	BLITZER J, KAKADE S, FOSTER D. Domain adaptation with coupled subspaces[C]//Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. Washington D. C., USA: IEEE Press, 2011: 173-181.
[15]	BLUM A, MITCHELL T. Combining labeled and unlabeled data with co-training[C]//Proceedings of the 11th Annual Conference on Computational Learning Theory. Washington D. C., USA: IEEE Press, 1998: 92-100.
[16]	DE SA V R. Spectral clustering with two views[C]//Proceedings of International Conference on Machine Learning with Multiple Views. Berlin, Germany: Springer, 2005: 20-27.
[17]	HAN D, KIM J. Unsupervised simultaneous orthogonal basis clustering feature selection[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2015: 5016-5023.
[18]	HUANG Z Y, ZHOU J T, PENG X, et al. Multi-view spectral clustering network[C]//Proceedings of the 28th International Joint Conference on Artificial Intelligence. Macao, China: [s. n. ], 2019: 2563-2569.
[19]	LI Y Q, NIE F P, HUANG H, et al. Large-scale multi-view spectral clustering via bipartite graph[C]//Proceedings of AAAI Conference on Artificial Intelligence. [S. 1.]: AAAI Press, 2015, 29(1): 2750-2756.
[20]	SHI J B, MALIK J. Normalized cuts and image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888-905. DOI:10.1109/34.868688
[21]	LUXBURG U. A tutorial on spectral clustering[J]. Statistics and Computing, 2007, 17(4): 395-416. DOI:10.1007/s11222-007-9033-z
[22]	NIE F P, WANG X Q, HUANG H. Clustering and projected clustering with adaptive neighbors[C]//Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, USA: ACM Press, 2014: 977-986.
[23]	KUMAR A, RAI P, DAUME H. Co-regularized multi-view spectral clustering[C]//Proceedings of NIPS'11. Cambridge, USA: MIP Press, 2011: 1413-1421.
[24]	HUANG H C, CHUANG Y Y, CHEN C S. Affinity aggregation for spectral clustering[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2012: 773-780.
[25]	ZHANG Z, LIU L, SHEN F M, et al. Binary multi-view clustering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(7): 1774-1782. DOI:10.1109/TPAMI.2018.2847335
[26]	WEN J, ZHANG Z, ZHANG Z, et al. Generalized incomplete multiview clustering with flexible locality structure diffusion[J]. IEEE Transactions on Cybernetics, 2021, 51(1): 101-114. DOI:10.1109/TCYB.2020.2987164
[27]	SAMARIA F S, HARTER A C. Parameterisation of a stochastic model for human face identification[C]//Proceedings of IEEE Workshop on Applications of Computer Vision. Washington D. C., USA: IEEE Press, 1994: 138-142.
[28]	NAYAR S. Columbia Object Image Library(COIL100)[EB/OL]. [2021-09-20]. https://www1.cs.columbia.edu/CAVE/publications/pdfs/Nene_TR96.pdf.
[29]	XIA R K, PAN Y, DU L, et al. Robust multi-view spectral clustering via low-rank and sparse decomposition[C]//Proceedings of AAAI Conference on Artificial Intelligence. [S. 1.]: AAAI Press, 2014: 458-467.
[30]	WEN Z W, GOLDFARB D, YIN W T. Alternating direction augmented Lagrangian methods for semidefinite programming[J]. Mathematical Programming Computation, 2010, 2(3/4): 203-230.
[31]	LU C Y, FENG J S, YAN S C, et al. A unified alternating direction method of multipliers by majorization minimization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(3): 527-541. DOI:10.1109/TPAMI.2017.2689021

下载CSV 表 1 数据集信息 Table 1 Introduction to datasets

下载CSV 表 2 不同算法在WikipediaArticles数据集上的聚类结果 Table 2 Clustering results of different algorithms in WikipediaArticles dataset

下载CSV 表 3 不同算法在COIL20数据集上的聚类结果 Table 3 Clustering results of different algorithms in COIL20 dataset

下载CSV 表 4 不同算法在ORL数据集上的聚类结果 Table 4 Clustering results of different algorithms in ORL dataset

下载CSV 表 5 不同算法的时间复杂度 Table 5 Time complexity of different algorithms

	Download: JPG larger image
图 1 不同参数下OMTSC算法在ORL和WikipediaArticles数据集上的聚类性能 Fig. 1 Clustering performance of OMTSC algorithm on ORL and WikipediaArticles datasets with different parameters

返回顶部