MIT线性代数 30 奇异值分解

奇异值分解

全称Singular Value Decomposition，简称 $SVD$ 分解
任意矩阵都可以进行的一种分解
$A=U\Sigma V^T$
其中 $U$ 为正交矩阵 $\Sigma$ 为对角矩阵 $V$ 为正交矩阵

我们知道正定矩阵的奇异值分解是
$A=Q\Lambda Q^T$ ,也就是说对于正定矩阵不需要两个矩阵 $U$ 和 $V$ ，这只需要一个 $Q$ 就可以放在特征值 $\Lambda$ 左右两边

而奇异值分解要研究的如下图，寻找矩阵 $A$ 的行空间的正交向量如 $v_1,v_2$ ，通过 $A$ 的变换之后会转换到A的列空间的正交向量 $u_1,u_2$

image.png

为啥教授说
$A=U\Sigma V^T$ 这个等式 $V$ 在矩阵 $A$ 的行空间， $U$ 在矩阵 $A$ 的列空间

这里笔者做一个证明
对等式稍作整理可得 $AV=U\Sigma$
根据我们之前的求解 $AX=b$ 的解方程的经验，可以很明显的知道 $b$ 是 $A$ 的列空间的线性组合时候有解，同样类比 $AV=U\Sigma$ 即， $A$ 可以被这样分解的前提在于 $U$ 向量的每一列都是 $A$ 向量列空间的线性组合，因此 $U$ 在矩阵 $A$ 的列空间
对 $V$ 向量的分析同理
对 $AV=U\Sigma$ 取转置
有 $V^TA^T=\Sigma^TU^T$ 取转置
即 $A^TU=V\Sigma^T$ ，类比上面的分析，可见 $V$ 在 $A^T$ 的列空间，即 $V$ 在 $A$ 的行空间

上面我们没有提到零空间，如果把零空间补全等式大概是这样的
$A\begin{bmatrix} v_1&v_2&...&v_r&v_{r+1}&...&v_n \end{bmatrix}= \begin{bmatrix} u_1&u_2&...&u_r&u_{r+1}&...&u_m \end{bmatrix} \begin{bmatrix} \sigma_1 \\&\sigma_2 \\&&\ddots \\&&&u_r \\&&&&u_{r+1} \\&&&&&\ddots \\&&&&&&u_m&0&0 \end{bmatrix}$

其中
$v_1,v_2,....v_r$ 是矩阵 $A$ 的行空间标准正交基
$v_{r+1},...,v_n$ 是矩阵的 $A$ 的零空间，我们知道矩阵 $A$ 的行空间和零空间是互为正交补的，他们共同补全了 $\mathbb{R}^n$ 空间
再看
$u_1,u_2,u_r$ 是矩阵 $A$ 的列空间标准正交基
$u_{r+1},...,u_m$ 是矩阵 $A$ 的左零空间，它和矩阵 $A$ 的列空间互为 $\mathbb{R}^m$ 的正交补共同构成 $\mathbb{R}^m$ 空间
这里再多做一点说明
右边 $\Sigma$ 矩阵的0列数占几列取决于 $n-m$ 的正值是多少，若为负或 $0$ ，则不需要额外补 $0$

接下来的问题是应该如何求矩阵 $A$ 的 $SVD$ 分解的 $U$ 和 $V$ 矩阵
基本的思路很简单
虽然 $A$ 可能是长方形的，即不一定是对称矩阵，这会导致
$A=U\Sigma V^T$ 的左右两边的正交矩阵不是同一个
，但我们发现
$A^TA$ 是一个性质很好的对称矩阵
$A^TA=V\Sigma^T U^TU\Sigma V^T=V\Sigma^T\Sigma V^T$
我们发现这个 $V\Sigma^T\Sigma V^T$ 很像对称矩阵的 $Q\Lambda Q^T$ ,其实不能说像，因为它本来就是对称矩阵，而且我们发现它还是一个正定矩阵，因为特征值全为正的，这样只需要对 $A^TA$ 进行特征值分解就可以把特征向量矩阵 $V$ 和特征值矩阵 $\Sigma$ 求出来

而对于另一个矩阵 $U$ ，同理
$AA^T$ 也是一个性质很好的对称矩阵
$AA^T=U\Sigma V^TV\Sigma^T U^T=U\Sigma \Sigma^TU^T$
这同样是一个对称正定矩阵，对 $AA^T$ 进行特征值分解即可得到特征向量矩阵 $U$ 和特征值矩阵 $\Sigma$

接下来来个实际的例子
对 $A=\begin{bmatrix} 4&4 \\-3&3 \end{bmatrix}$ 进行SVD分解

求 $V$

令 $B=A^TA=V\Sigma^T\Sigma V^T=\begin{bmatrix} 4&-3 \\4&3 \end{bmatrix}\begin{bmatrix} 4&4 \\-3&3 \end{bmatrix} =\begin{bmatrix} 25&7 \\7&25 \end{bmatrix}$

特征值的乘积等于行列式 $\lambda_1 \lambda_2=25^2-7^2$
特征值的和等于迹 $\lambda_1 + \lambda_2=50$

于是 $\lambda_1=32,\lambda_2=18$
代入 $(B-\lambda I)V=0$
当 $\lambda_1=32$
$(B-\lambda I)=\begin{bmatrix} 25-32&7 \\7&25-32 \end{bmatrix}$
则 $B$ 的特征向量即是 $(B-\lambda I)$ 零空间基向量 $v_1=\begin{bmatrix} 1/\sqrt{2} \\1/\sqrt{2} \end{bmatrix}$ (注意归一化)

当 $\lambda_2=18$
$(B-\lambda I)=\begin{bmatrix} 25-18&7 \\7&25-18 \end{bmatrix}$
则 $B$ 的特征向量即是 $(B-\lambda I)$ 零空间基向量 $v_2=\begin{bmatrix} 1/\sqrt{2} \\-1/\sqrt{2} \end{bmatrix}$

于是 $V=\begin{bmatrix} v_1 &v_2 \end{bmatrix}=\begin{bmatrix} 1/\sqrt{2}&1/\sqrt{2} \\1/\sqrt{2}&-1/\sqrt{2} \end{bmatrix}$

求 $U$

令 $C=AA^T=U\Sigma \Sigma^T U^T=\begin{bmatrix} 4&4 \\-3&3 \end{bmatrix}\begin{bmatrix} 4&-3 \\4&3 \end{bmatrix} =\begin{bmatrix} 32&0 \\0&18 \end{bmatrix}$

其实特征值和特征向量一眼就看出来了，不过我们还是算一算
特征值的乘积等于行列式 $\lambda_1 \lambda_2=32*18$
特征值的和等于迹 $\lambda_1 + \lambda_2=50$

于是 $\lambda_1=32,\lambda_2=18$
代入 $(C-\lambda I)U=0$
当 $\lambda_1=32$
$(C-\lambda I)=\begin{bmatrix} 32-32&0 \\0&18-32 \end{bmatrix}$
则 $C$ 的特征向量即是 $(C-\lambda I)$ 零空间基向量 $u_1=\begin{bmatrix} 1 \\0 \end{bmatrix}$ (注意归一化)

当 $\lambda_2=18$
$(C-\lambda I)=\begin{bmatrix} 32-18&0 \\0&18-18 \end{bmatrix}$
则 $C$ 的特征向量即是 $(C-\lambda I)$ 零空间基向量 $u_2=\begin{bmatrix} 0 \\1 \end{bmatrix}$

于是 $U=\begin{bmatrix}u_1 &u_2 \end{bmatrix}=\begin{bmatrix} 1&0 \\0&1 \end{bmatrix}$

最后
$A=\begin{bmatrix} 4&4 \\-3&3 \end{bmatrix}=U\Sigma V^T$ 把上面算的 $V,U$ 和 $\Sigma$ 代入发现
$=\begin{bmatrix} 1&0 \\0&1 \end{bmatrix}\begin{bmatrix} \sqrt{32}&0 \\0&\sqrt{18} \end{bmatrix}\begin{bmatrix} 1/\sqrt{2}&1/\sqrt{2} \\1/\sqrt{2}&-1/\sqrt{2} \end{bmatrix}$
$=\begin{bmatrix} 4&4 \\3&-3 \end{bmatrix}$
我们发现结果并不一致，出现问题的原因是因为选择的特征基向量组V和特征向量组U没有形成关联，即前面我们提到的，给定 $v_1,v_2$ ，通过AV的方式得到正交的 $u_1,u_2$ ，即， $u_1$ 应该是由 $v_1$ 关联而来， $u_2$ 应该由 $v_2$ 关联而来,而像上面这种分开计算的方法虽然特征向量没问题，但是特征向量的方向性就无法确定了
$U\Sigma =AV$
$u_1\sigma_1=Av_1\Longrightarrow \sqrt{32}u_1=\begin{bmatrix} 4&4 \\-3&3 \end{bmatrix}\begin{bmatrix} 1/\sqrt{2} \\1/\sqrt{2} \end{bmatrix}=1/\sqrt{2}\begin{bmatrix} 8 \\0 \end{bmatrix}\Longrightarrow u_1=\begin{bmatrix} 1 \\0 \end{bmatrix}$
$u_2\sigma_2=Av_2\Longrightarrow \sqrt{18}u_2=\begin{bmatrix} 4&4 \\-3&3 \end{bmatrix}\begin{bmatrix} 1/\sqrt{2} \\-1/\sqrt{2} \end{bmatrix}=1/\sqrt{2}\begin{bmatrix} 0 \\-6 \end{bmatrix}\Longrightarrow u_2=\begin{bmatrix} 0 \\-1 \end{bmatrix}$
所以正确的 $U=\begin{bmatrix} 1&0 \\0&-1 \end{bmatrix}$

$=========================$
接下里看第二个例子,秩 $1$ 矩阵的分解
$A=\begin{bmatrix} 4&3 \\8&6 \end{bmatrix}$
在开始之前我们先分析一下这个矩阵，因为秩为 $1$ ，所以矩阵的行空间和列空间都是一维的
我们选择行空间基 $v_1=\frac{1}{5}\begin{bmatrix} 4\\3 \end{bmatrix}$ ,列空间基 $u_1=\frac{1}{\sqrt{5}}\begin{bmatrix} 1\\2 \end{bmatrix}$
$V$ 矩阵的另一列 $v_2$ 怎么找呢,没错它在矩阵 $A$ 的零空间，零空间和行空间垂直，我们利用正交性直接写出 $v_2=\frac{1}{5}\begin{bmatrix} 3\\-4 \end{bmatrix}$
同理 $U$ 矩阵的第二列怎么找，和上面一样，它在 $A$ 的左零空间，即 $A^T$ 的零空间，于是也可以直接根据正交性写出 $u_2=\frac{1}{\sqrt{5}}\begin{bmatrix} 2\\-1 \end{bmatrix}$

于是
$V=\frac{1}{5}\begin{bmatrix} 4&3 \\3&-4 \end{bmatrix}$

$U=\frac{1}{\sqrt{5}}\begin{bmatrix} 1&2 \\2&-1 \end{bmatrix}$
那么 $\Sigma$ 怎么求,
我们来计算 $A^TA=\begin{bmatrix} 4&8 \\3&6 \end{bmatrix}\begin{bmatrix} 4&3 \\8&6 \end{bmatrix}$
$=\begin{bmatrix}80&60\\60&45 \end{bmatrix}$
考虑到 $A$ 是秩1矩阵， $A^TA$ 并不会改变矩阵A的秩，因此其中一个特征值肯定是 $0$ ，因为特征值之和等于迹，所以另一个特征值肯定是 $125$
因此 $A=U\Sigma V^T=\frac{1}{\sqrt{5}}\begin{bmatrix} 1&2 \\2&-1 \end{bmatrix}\begin{bmatrix} \sqrt{125}&0 \\0&0 \end{bmatrix}\frac{1}{5}\begin{bmatrix} 4&3 \\3&-4 \end{bmatrix}$
一般而言可以这么做，当然实际情况下，要自己稍微验算以下，以防符号出错
以上的等式也充分说明了四个基本子空间之间的关系

题外话：笔者最近看slam关于求 $AH=0$ 的解的问题

在slam话题中， $A$ 矩阵是由一系列匹配点生成的矩阵，问题在于如何求解对 $AH=0$ 的问题，实际上因为误差关系， $AH=0$ 的解一般是不存在的，即不存在一个精确解 $H$ 使得等式成立，
但是我们会想，既然不存在这样的精确解，但可以肯定是存在一个 $H$ 使得 $AH=b$ ，即，我们希望这里的 $b$ 的模长尽量足够小，
不过这里也需要做一些限定，毕竟如果 $H$ 直接为 $0$ 向量，其实就是最优解了，因此需要限定 $H$ 是非零向量，我们限定 $||H||=1$
于是问题就转换为求 $||AH||的最小值$
于是
$||AH||=\sqrt{(AH)^TAH}$
$=\sqrt{H^TA^TAH}$
根据奇异值分解的知识
$A^TA=V\Sigma^TU^TU\Sigma V^T=V\Sigma^T\Sigma V^T$
于是 $||AH||=\sqrt{H^TV\Sigma^T\Sigma V^TH}$
令 $Y=V^TH$
则 $||AH||^2=Y^T\Sigma^T\Sigma Y$
$=\begin{bmatrix}y_1&y_2&...&y_n\end{bmatrix} \begin{bmatrix}\sigma_1^2\\&\sigma_2^2\\&&\ddots\\&&&\sigma_n^2\end{bmatrix} \begin{bmatrix}y_1\\y_2\\\vdots\\y_n\end{bmatrix}$
$=\begin{bmatrix}\sigma_1^2y_1^2+\sigma_2^2y_2^2+...+\sigma_n^2y_n^2\end{bmatrix}$
假设 $\sigma_n<=\sigma_2<=...<=\sigma_1$
那么 $(\sigma_n^2y_1^2+\sigma_n^2y_2^2+...+\sigma_n^2y_n^2)<=(\sigma_1^2y_1^2+\sigma_2^2y_2^2+...+\sigma_n^2y_n^2)<=(\sigma_1^2y_1^2+\sigma_1^2y_2^2+...+\sigma_1^2y_n^2)$
即 $\sigma_n^2(y_1^2+y_2^2+...+y_n^2)<=(\sigma_1^2y_1^2+\sigma_2^2y_2^2+...+\sigma_n^2y_n^2)<=\sigma_1^2(y_1^2+y_2^2+...+y_n^2)$
$\sigma_n^2Y^TY<=(\sigma_1^2y_1^2+\sigma_2^2y_2^2+...+\sigma_n^2y_n^2)<=\sigma_1^2Y^TY$
因为 $Y^TY=H^TVV^TH=||H||=1$
所以 $\sigma_n^2<=(\sigma_1^2y_1^2+\sigma_2^2y_2^2+...+\sigma_n^2y_n^2)<=\sigma_1^2$
上面这段什么意思呢，
其实就是说，
当对 $A$ 矩阵执行 $A^TA$ 的分解的所有 $\sigma^2$ 其实就是原来矩阵 $A$ 的SVD分解的所有的奇异值 $\sigma$ ，即
$Av_1=\sigma_1u_1$
$Av_2=\sigma_2u_2$
...
$Av_n=\sigma_nu_n$
$v_i,u_i$ 都是单位向量，如果分别取
$\sigma_n<=(||Av_i||=||\sigma_iu_i||=\sigma_i)<=\sigma_1$
可见最小的那个奇异值对应的 $v_i$ ，，即就是我们需要找的最小的目标向量，反之，最大的那个奇异值对应的 $v_i$ 则是误差最大的目标向量，一般在SVD的分解中 $\Sigma$ 会按 $\sigma$ 从大到小排序，因此最优解一般是 $V$ 矩阵的最后一列，也就是 $V^T$ 的最后一行
这其实表明了一个事实，任意一个矩阵对单位圆上的向量执行左乘，比如这里的 $AX$ ,假设 $AX=Y$ ，那么目标向量 $Y$ 的模长是和 $A$ 的奇异值相关的，即 $Y$ 的模长不会小于 $A$ 的最小的奇异值，也不会大于 $A$ 的最大的奇异值

下面找了一张图方便理解，椭圆长轴向量模长表示大的奇异值，椭圆的短轴向量模长表示小的奇异值，而其他方向向量的模长都在二者之间

image.png

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 160,026评论 4赞 364
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 67,655评论 1赞 296
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 109,726评论 0赞 244
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 44,204评论 0赞 213
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,558评论 3赞 287
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,731评论 1赞 222
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,944评论 2赞 314
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,698评论 0赞 203
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,438评论 1赞 246
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,633评论 2赞 247
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 32,125评论 1赞 260
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,444评论 3赞 255
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 33,137评论 3赞 238
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,103评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,888评论 0赞 197
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,772评论 2赞 276
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,669评论 2赞 271

MIT线性代数 30 奇异值分解

奇异值分解

推荐阅读更多精彩内容