奇异值分解

概述

奇异值分解（Singular Value Decomposition，SVD）是线性代数中一种重要的矩阵分解方法，区别于只适用于实对称矩阵的特征分解方法，奇异值分解可对任意实矩阵进行分解。

特征分解

特征分解（eigendecomposition）又叫谱分解（Spectral decomposition），是把一个矩阵根据其特征值和特征向量分解的过程，只有可以正交化的矩阵才可以进行特征分解。

$A$ 为 $n$ 阶方阵，若存在 $n$ 维非零向量 $x$ 使得：
$Ax = \lambda x$
则称 $\lambda$ 为矩阵 $A$ 的特征值， $x$ 为 $A$ 属于 $\lambda$ 的特征向量（eigenvector）。

有了上述定义，接下来讨论如何计算一个矩阵的特征值和特征向量。由定义可知：
$Ax-\lambda x=0 \Rightarrow (A-\lambda I)x=0$
其中 $I$ 为单位矩阵，显然上式的推导结果是一个 $n$ 元 $n$ 次的齐次线性方程组， $x$ 为该方程组的一个非零解，则有 $r(A-\lambda I)=r < n \Leftrightarrow |A-\lambda I|=0$ ，其中 $|A-\lambda I|=0$ 称为 $A$ 的特征方程， $|A-\lambda I|$ 称为 $A$ 的特征多项式。基于此，可得到求解方阵A特征值和特征向量的步骤如下：

1、计算方阵A的特征多项式 $|A-\lambda I|$ ；

2、求出特征方程 $|A-\lambda I|=0$ 的所有根（包括复根和重根），这些根 $\lambda_1,\lambda_2,\cdots,\lambda_n$ 即为 $A$ 的所有特征值；

3、对于 $A$ 的每一个特征值 $\lambda_i(1\leq i\leq n)$ ，求解齐次线性方程组 $(A-\lambda_i I)x=0$ ，该方程组的每一个非零解都是 $A$ 属于特征值 $\lambda_i$ 的特征向量；

求出矩阵 $A$ 的特征值和特征向量后，若矩阵 $A$ 有 $n$ 个线性独立的特征向量，那么 $A$ 是可以正交化的，此时 $A$ 的特征分解为：
$A = WDW^{-1}$
其中 $W$ 时 $n$ 个特征向量所组成的 $n \times n$ 维矩阵， $D$ 为以这 $n$ 个特征值为主对角线元素的对角阵。

奇异值分解

定义

若 $M$ 为一个 $m \times n$ 阶的矩阵，则存在一个分解，使得：
$M = UDV^T$
其中 $U$ 为 $m$ 阶酉矩阵、 $V$ 为 $n$ 阶酉矩阵、 $D$ 为 $m\times n$ 的非负实对角矩阵。称此分解为奇异值分解，一般我们将 $V$ 中的每一个特征向量叫做 $M$ 的右奇异向量，将 $U$ 中的每个特征向量叫做左奇异向量， $D$ 对角线上的元素称为 $M$ 的奇异值，当规定奇异值降序排列时，可唯一确定一个 $D$ 。

有了定义，接下来需要确定奇异值分解的三个矩阵 $U、D、V$ 。比较直观的想法是通过 $M$ 来构造一个方阵来进行特征分解，间接计算 $U、D、V$ ，由于 $MM^T,M^TM$ 分别为 $m\times m$ 和 $n\times n$ 的方阵，则有：
$\begin{equation} \begin{split} MM^T=UDV^T(UDV^T)^T=UDV^TVD^TU^T = UDD^TU^T=U\sum_1 U^T \\ M^TM = (UDV^T)^TUDV^T=VD^TU^TUDV^T=VDD^TV^T=V\sum_2 V^T \end{split} \end{equation}$
注意到：
$M = UDV^T \Rightarrow MV = UDV^TV \Rightarrow MV= UD \Rightarrow Mv_i = \delta_iu_i \Rightarrow \delta_i = \frac{Mv_i}{u_i}$
其中， $v_i,u_i$ 分别为 $V,U$ 中第 $i$ 个特征向量。这个式子提供了一种计算奇异值的方法，另一种思路是结合式（5）：
$\sum = DD^T=D^2 \Rightarrow \delta_i = \sqrt{\lambda_i}$
即，特征值矩阵为奇异值矩阵的平方，故可以通过计算 $M^TM$ 的特征值取平方根来计算奇异值。
SVD的计算步骤

1.计算 $MM^T$ 和 $M^TM$ ；

2.分别计算 $MM^T$ 和 $M^TM$ 的特征向量和特征值；

3. $MM^T$ 的特征向量组成 $U$ ，而 $M^TM$ 的特征向量组成 $V$ ；

4.对 $MM^T$ 和 $M^TM$ 的非零特征值求平方根，对应上述特征向量的位置，填入对角阵 $D$ 的位置；
计算示例

接下来以计算矩阵 $A=\begin{pmatrix}0&1 \\ 1& 1 \\1&0\end{pmatrix}$ 的奇异值分解为例，来进一步熟悉：

第一步，先计算 $A$ 的两个转置积：
$\begin{equation} \begin{split} &A^TA=\begin{pmatrix} 0 & 1 & 1 \\ 1 & 1 & 0 \end{pmatrix}\begin{pmatrix} 0 & 1 \\ 1 & 1 \\ 1 & 0\end{pmatrix} = \begin{pmatrix}2 & 1 \\ 1& 2\end{pmatrix} \\ &AA^T = \begin{pmatrix}0 & 1 \\ 1 & 1 \\ 1 & 0\end{pmatrix}\begin{pmatrix}0 & 1 &1 \\ 1 & 1 & 0\end{pmatrix}=\begin{pmatrix}1 & 1 & 0 \\ 1 & 2 & 1 \\ 0 & 1 & 1\end{pmatrix} \end{split} \end{equation}$
第二步，分别计算两个转置积的特征值和特征向量：
$\begin{equation} \begin{split} &\color{#F00}{(A^TA-\lambda I)x = 0} \Rightarrow |A^TA-\lambda I|=0 \\ &\Rightarrow \begin{vmatrix} 2-\lambda & 1 \\ 1 & 2-\lambda \end{vmatrix} = 0 \Rightarrow \lambda^2-4\lambda+3=0 \end{split} \end{equation}$
容易得到式（9）中一元二次方程的根为 $\lambda_1 = 3,\lambda_2=1$ ，当 $\lambda=3$ 时，将特征根分别带入式（1）中，得到：
$\begin{equation} \begin{split} &&(A^TA-3I)x = 0 \Rightarrow\begin{pmatrix}-1 & 1 \\ 1 & -1\end{pmatrix}x= 0 \Rightarrow\begin{pmatrix}-1 & 1 \\ 1 & -1\end{pmatrix}\begin{pmatrix}x_1 \\ x_2\end{pmatrix}= 0 \\ \end{split} \end{equation}$
此时的单位特征向量为：

同理得到：
$x_{\lambda=1} = \begin{pmatrix} \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}}\end{pmatrix}$
同理计算 $AA^T$ 的特征根和特征向量：
$\begin{equation} \begin{split} &\lambda_1=3，u_1= \begin{pmatrix} \frac{1}{\sqrt{6}} \\ \frac{2}{\sqrt{6}} \\ \frac{1}{\sqrt{6}} \end{pmatrix}； &\lambda_2 = 1，u_2 = \begin{pmatrix} \frac{1}{\sqrt{2}} \\ 0 \\ -\frac{1}{\sqrt{2}} \end{pmatrix}； &\lambda_3 = 0，u_3 = \begin{pmatrix} \frac{1}{\sqrt{3}} \\ -\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{3}} \end{pmatrix} \end{split} \end{equation}$

第三步，使用两个转置积的单位特征向量构造 $U,V$ 矩阵：
$\begin{equation} \begin{split} &U =(u_1,u_2,u_3)= \begin{pmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \\ \frac{2}{\sqrt{6}} & 0 & -\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{6}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \end{pmatrix} \\ &V^T = (v_1,v_2)^T= \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix} \end{split} \end{equation}$
第四步，计算奇异值，直接使用 $\delta_i = \sqrt{\lambda_i}$ 计算奇异值并组成对角阵 $D$ ：
$D = \begin{pmatrix} \sqrt{3} & 0\\ 0 & 1\\ 0 & 0 \end{pmatrix}$
最终得到矩阵 $A$ 的奇异值分解：
$A= UDV^T =\begin{pmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \\ \frac{2}{\sqrt{6}} & 0 & -\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{6}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \end{pmatrix}\begin{pmatrix} \sqrt{3} & 0\\ 0 & 1\\ 0 & 0 \end{pmatrix} \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix}$

应用

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵：
$A_{m \times n} = U_{m \times m}D_{m \times n}V^T_{n \times n} \approx U_{m \times k} D_{k \times k} V^T_{k \times n}$
这样处理的好处是，我们可以用三个较小的矩阵 $U_{m \times k},D_{k \times k},V_{k \times n}^T$ 来表示一个大矩阵 $A$ ，如下图所示，使用三个灰色部分的小矩阵来表示大矩阵。

SVD

由于这个重要的性质，SVD可以用于PCA降维，来做图片数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。

Note：

需要注意的是，奇异值分解中特征值的求解是比较核心的地方，在工程应用中，往往需要进行奇异值分解都是大矩阵，对这类大矩阵，如果采用上面的方法求解特征值需要花费较多的时间和资源。对此，可以采用乘幂法和反幂法或者QR方法来近似求解矩阵的特征根，在此不做进一步展开，有兴趣的读者可以进一步了解一下。

基本概念说明

矩阵的子式

设有 $m \times n$ 矩阵A，在 $A$ 中任意取定 $k$ 个行和 $k$ 个列（ $k \leq \min\{m,n\}$ ），位于这些行与列交叉处的元素按原来的相对顺序排成一个 $k$ 阶行列式，称它为矩阵 $A$ 的一个 $k$ 阶子式，特别地， $A$ 中每一个元素就是 $A$ 的一阶子式。
　　对于确定的 $k$ ，在 $m \times n$ 矩阵 $A$ 中，总共有 $C_m^k \times C_n^k$ 个 $k$ 阶子式，这些子式的值有的可能是零，也可能不为零，把值不为零的子式称为非零子式。
矩阵的秩

在 $m\times n$ 矩阵 $A$ 中，非零子式的最高阶数称为矩阵 $A$ 的秩，记为 $r(A)$ 或秩规定零矩 $(A)$ ,规定零矩阵的秩为零。

推论1：

$r(A)=r \Leftrightarrow A$ 中所有 $r+1$ 阶子式（如果有的话）全为零，而 $A$ 中至少有一个 $r$ 阶子式非零。
矩阵的谱半径

$A$ 为 $n$ 阶方阵， $\lambda_i（1\leq i\leq n）$ 为其特征值，则 $A$ 的谱半径定义如下：
$\rho(r) = max\{|\lambda_1|,|\lambda_2|,\dots,|\lambda_n|\}$
即方阵 $A$ 的谱半径为 $A$ 特征值中绝对值最大的那个值。
正定矩阵

如果对于所有的非零实系数向量 $z$ ，都有 $z^TAz>0$ ，则称矩阵 $A$ 是正定的。正定矩阵的行列式必然大于0，所有特征值也必然大于0。相对应的，半正定矩阵的行列式必然 ≥ 0。
正交矩阵

若一个方阵其行与列皆为正交的单位向量（即二者的内积为0），则该方阵为正交矩阵。
酉矩阵

酉矩阵（unitary matrix）是一种特殊的方阵，它满足 $UU^H=U^HU=I_n$ （ $U^H$ 为 $U$ 的共轭转置，其在转置的基础上，增加了复数的共轭）。酉矩阵实际上是推广的正交矩阵（orthogonal matrix）；当酉矩阵中的元素均为实数时，酉矩阵实际就是正交矩阵。另一方面，由于 $U^{-1}U=UU^{-1}=I_n$ ，所以酉矩阵 $U$ 满足 $U^{−1}=U^H$ ；事实上，这是一个矩阵是酉矩阵的充分必要条件。
正规矩阵

同酉矩阵一样，正规矩阵（normal matrix）也是一种特殊的方阵，它要求在矩阵乘法的意义下与它的共轭转置矩阵满足交换律，即 $MM^H=M^HM$ 。显然，复系数的酉矩阵和实系数的正交矩阵都是正规矩阵。
谱定理和谱矩阵

矩阵的对角化是线性代数中的一个重要命题。谱定理（spectral theorem）给出了方阵对角化的一个结论：若矩阵 $M$ 是一个正规矩阵，则存在酉矩阵 $U$ ，以及对角矩阵 $\sum$ ，使得 $M=U\sum U^H$ 。也就是说，正规矩阵，可经由酉变换，分解为对角矩阵；这种矩阵分解的方式，称为谱分解（spectral decomposition）。

参考文章

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 160,108评论 4赞 364
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 67,699评论 1赞 296
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 109,812评论 0赞 244
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 44,236评论 0赞 213
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,583评论 3赞 288
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,739评论 1赞 222
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,957评论 2赞 315
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,704评论 0赞 204
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,447评论 1赞 246
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,643评论 2赞 249
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 32,133评论 1赞 261
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,486评论 3赞 256
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 33,151评论 3赞 238
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,108评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,889评论 0赞 197
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,782评论 2赞 277
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,681评论 2赞 272

奇异值分解

概述

特征分解

奇异值分解

应用

基本概念说明

参考文章

推荐阅读更多精彩内容