Chang S, Hu J, Li T, et al. Multi-view clustering via deep concept factorization[J]. Knowledge-Based Systems, 2021, 217: 106807.
摘要翻译
最近的研究表明，矩阵分解技术在多视图聚类(MVC)中得到了令人满意的结果。与单层形成的聚类模型相比，深度矩阵分解的聚类模型能够更好地感知数据的层次信息，从而提高了聚类性能。目前，一种特殊的矩阵分解技术被称为概念分解(CF，Concept Factorization)的矩阵分解技术在聚类研究中得到了广泛的关注。然而，最先进的基于CF的聚类方法并不能同时将MVC和深度CF集成到一个统一的框架中。本文提出了一种新的MVC模型来解决这一挑战，该模型通过执行多层CF为MVC带来深度CF来学习层次信息，并推导出一个共同的共识表示矩阵来获取不同视图之间的共享特征。此外，作者对每个视图进行流形正则化的保留，并利用高斯核将原始空间映射到更高的希尔伯特空间，以有效地区分数据点。最后，提出了一种具有理论保证收敛性的有效优化算法来求解所提出的模型。
关于多视图数据的介绍：
In the real world, the information of an object can be collected from diverse channels which yield heterogeneous but interrelated data, i.e., the multi-view data. Multi-view document data has widespread adoption in data analysis tasks, such as clustering and pattern recognition. Different views show the intrinsic characters of the object in different perspectives, combining the information provided by multiple views can obtain comprehensive knowledge, hence improving the performance of a learning strategy. Clustering method which deals with multiple views should adopt the principles of consistency and complementarity to fully take advantage of the datasets for boosting the clustering performance.
改写：Clustering methods based on the deep learning technique are capable of reducing the data dimensionality[cite,深度学习用于表示学习的] and have gained wide acceptance due to their excellent clustering performance [cite,用于聚类任务].
CF的思想：想学习的概念表示为所有数据点的线性组合，而每个数据点用这些概念的线性组合近似表示。更加形式化的表示为：给定数据矩阵，CF的目标是寻找两个非负矩阵
和
并且需要满足近似
。在当前的定义中，
被称为关联矩阵记录数据的概念，
则是表示对应于数据概念的投影值，被称为表示矩阵。CF的有点主要涵盖两个方面：（1）它允许输入数据包含负条目，这意味着CF与其他矩阵分解技术相比具有更好的兼容性；（2）利用核方法可以在核空间中实现，可以提高特定情况下的聚类性能。
本文的模型，具体来说，MCDCF通过依次分解每个视图的表示矩阵来学习潜在特征，并使用每个视图的最后一层表示矩阵生成一个共同的共识表示矩阵，以满足多视图聚类的一致性原则。
模型记录
- 基础模型介绍（MCCF）
这里作者为数据中的每个视图都分配了一个视图的权重系数。此外，为了获得一个可靠的
的表示，每个视图的表示矩阵
都进行了如下的标准化的转化：
MCCF的核心思想是利用CF技术进行矩阵分解，并通过最小化
- MCDCF模型浅析
CF努力通过使用原始数据点的线性组合的概念来寻找数据表示。作者的思路是通过深度的CF来逐层的揭示数据中存在的不同层级的特征表示。更加具体的说，是应用深度CF以分层的方式分解每个表示矩阵。
如果数据中隐藏了个不同层级的特征，那么层的深度可以设置为
，深度CF的分解过程可以表示为：
在MCDCF中，采用对每个视图的每一层都应用正则化。具体的方法为：通过构造最近邻图，建立流形正则化关系。数据点用图中的一个顶点表示，在顶点之间连接的边表示这些点的p-最近邻。边的权重通过定义 heat kernel来量化：
对于一个特定的表示矩阵
从形式上可，这个loss的改造主要是根据样本之间的表示的一致性和其对应的边的权重来决定。考虑在
这里
和MCCF模型一致，模型主要包含特征表示学习，流形正则化和共识矩阵的学习三个部分。
利用核技巧方法，该模型可以在更高甚至无限维的特征空间中处理CF，而不进行复杂的计算，使线性不可分割的数据点易于区分，从而提高模型在某些数据集上的聚类精度。所以这里在某些数据集的设计上，作者还使用高斯核对数据进行了变换：The Gaussian kernel has many advantages, e.g., it possesses the vigorous capability of data representation since it can map the original input data space to an infinite-dimensional Hilbert space. Another noticeable property of the Gaussian kernel is infinite smoothness , which can alleviate the noise interference.
大致来看，参数优化的部分使用的是控制变量法分别去更新不同的参数。由于推导较为复杂，在补了相关知识后再来填坑。
作者将DMF的思想带入到CF的过程中，通过每次去概念因子分解表示矩阵(首次为原始特征矩阵，之后的每一层则为
)，得出了不同层级的信息。并巧妙的使用了近邻的约束，构造了流行正则化损失进行优化。并使用高斯核的trick对数据进行转换以获得更好的聚类效果。其实可以说是MCCF在深度分解以及manifold regularization的一个升级，思想很巧妙。
