Linear Algebra Review - SYSU-SoftEng15

Chapter 4 Vector Spaces

Theorems

  1. If v1, ... ,vp are in a vector space V, then Span{v1, ... ,vp} is a subspace of V.
    张成集性质,说明张成集是一个子空间。向量空间的一些向量的张成集必定是这个向量空间的子集。
  1. The null space of an m*n matrix A is a subspace of Rn. Equivalently, the set of all solutions to a system Ax = 0 of m homogeneous linear equations in n unknowns is a subspace of Rn.
    一个m*n的矩阵A的零空间是Rn的子空间。(定义域的感觉)
  1. The column space of an m*n matrix A is a subspace of Rm.
    一个m*n矩阵的列空间是Rm的子空间。(值域的感觉)
  1. An indexed set {v1, ... , vp} of two or more vectors, with v1 != 0, is linearly depedent if and only if some vj (with j > 1) is a linear combination of the preceding vectors, v1, ... , vj-1.
    线性相关性定理,有一个向量是前面不全为零向量的线性组合,则集合线性相关
  1. 张成集定理
    a.对于一个可以张成H的张成集中的一个向量v,是其余向量的线性组合,那么去掉这个向量v,这个张成集仍然可以张成H。(导致线性相关的老鼠屎可以去掉)
    b.如果一个张成集不张成零子空间, 那么这个张成集的某一个子集是H的一个基。(张成集中必有一个线性无关集)
  1. 矩阵A的主元列构成Col A的一个基。(A化为阶梯型后,阶梯型的主元列通常不在Col A中)
  1. 唯一表示定理
    向量空间中关于一组基的表示是唯一的,一组基对应的线性组合的权是唯一的。
  1. 坐标映射是一对一的线性变换 (例如从多项式空间到Rn空间的坐标映射就是线性变换)(单射)
  1. 向量个数多于基的个数的向量集合必定线性相关(基是极大线性无关集)
  1. 同一个向量空间中,基的个数是一样多的
  1. 子空间维数 ≤ 向量空间维数
  1. 基定理
    在一个非零维的向量空间中,一组基中,基的个数 = 向量空间的维数
  1. 若两个矩阵A和B行等价,则他们的行空间相同。若B是阶梯形矩阵, 则B的非零行构成A的行空间的一个基的同时也是B的行空间的一个基。(行变换对矩阵的行不保持线性相关关系)
  1. 秩定理(m*n矩阵A)
    rank A + dim Nul A = n 且 dim Row A = dim Col A = rank A = 主元位置的个数

Important skills

  • Determine if a set of vectors spans (or is a basis for) Rn.
    这个向量集合必须是线性无关集合
    c1v1 + c2v2 + ... + cnvn = 0 当且仅当 c1 = c2 = ... = cn = 0
  • Determine if a set is a subspace (using theorem 1,2,or 3 inchapter 4).
    只需判断这个集合的向量的生成集是否是这个子空间 th3 th1
    这个集合能否表示成另一个矩阵的零空间 th2
  • Determine if a vector is in Nul *A *or in Col A.
    零空间:Ax 是否 = 0
    列空间:[A b]是否相容,行化简
  • Determine if a set is a basis for a subspace.
  • Find a basis for Nul *A *or in Col A, or other subspace.
    零空间: 解Ax = 0 写出x的解集
    列空间: 行化简[A 0] 主元位置对应着A的主元列,A的主元列向量就是基的元素
  • Find the coordinate vector of a vector relative to a basis.
    x = Pβ[x]β 其中 β = {b1, ... ,bn}
    那么[x]β = Pβ^-1x
  • Use coordinate vectors to check if a set is linearly independent.
  • Find the dimension of Nul *A *,Col A, Row A, or other subspace.
  • Determine the rank of a matrix.
    (1)转置后秩不变
    (2)r(A)<=min(m,n),A是m*n型矩阵 秩最大不超过A的行数和列数中较少的那一个
    (3)r(kA)=r(A),k不等于0
    (4)r(A)=0 <=> A=0
    (5)r(A+B)<=r(A)+r(B)
    (6)r(AB)<=min(r(A),r(B))
    (7)r(A)+r(B)-n<=r(AB)
  • Use the Rank Theorem to determine facts about a system of linear equations.

Chapter 5 Eigenvalues and Eigenvectors

Theorems

  1. 三角矩阵矩阵的主对角元素是其特征值 (不能用行化简来求特征值)
  1. 不同特征值对应的特征向量线性无关
  1. 行列式的性质:
    只有是方阵才能谈行列式:
    A 可逆 <===> det A != 0
    det AB = (det A)(det B) 这个重要
    det A的转置 = det A
    行变换中倍加不会改变行列式的值
  1. 方阵A、B相似
    <===> 特征多项式相同
    <===> 特征值相同(代数重数也相同)
    相似性和行等价不是一回事,行变换通常会改变特征值!!
  1. 对角化定理
    方阵A可对角化
    <===> A有n个线性无关的特征向量
    <===> 有足够的特征向量形成Rn的基(特征向量基)
    <===> 每个特征值对应的 dim 特征空间 = 代数重数
  1. n*n的一个方阵有n个不同的特征值 ===> 可对角化 (反推不成立)
  1. 对于n*n 方阵A
    <===> 一个特征值对应的dim 特征空间 小于等于 这个特征值的代数重数
  1. 对角矩阵表示:


    两个举证表示的相似性.png

Important skills

  • Determine if a number (vector) is an eignenvalue (eigenvector)of a matrix.
    |A-λI| = 0 或验证方法 Ax = λx 则 λ是一个A的特征值
  • Find the characteristic equation and eigenvalues of a 3×3matrix.
  • Find an basis for an eigenspace.
  • If A is diagonalizable, find *P *and D such that A=PDP^-1.
    1.|A-λI| = 0 得到λ的特征方程,计算出λ的值
  1. 对于每一个特征值单独讨论,解方程 (A-λI)x = 0 得到x的解集,并用向量表示出来,得到的向量就是特征向量
    3.用步骤2中的特征向量构造P
    4.用对应的特征值构造D
  • Show how to compute high powers of a diagonalizable matrix.
    A^k = PDk*P*-1
  • Find the B-matrix [T]B of a linear transformation T:V→*V *relative toa basis *B of V.
    1.计算出T(b1), T(b2), ... , T(bn) 先把B的分量线性变换过去
    2.分别把这些分量做“相对于B”的处理,合起来就是[T]
    B *
  • Find complex eigenvalues and corresponding eigenvectors.
    求特征向量用倍数关系?
  • A and B are similar, then A=PBP-1, and det(AI)= det(BI)

CHAPTER 6 Orthogonality and Least Squares

Theorems

  1. 内积 uTv = u·v
  1. 勾股定理
定理三.png
  1. 非零向量构成的正交集
    ===> 线性无关
  1. 一个子空间的向量y 可以分解成为 正交基的线性组合
    且权值为
权值.png
  1. U的列向量是单位正交集 <===> UTU = I
  1. U的列单位正交
    ===> ||Ux|| = ||x|| 保长度
    ===> (Ux)·(Uy) =** x·y** 保正交
    任何列单位正交的方正 ===> 是正交矩阵
    ===> 行也单位正交
  1. 正交分解定理
    正交分解定理

    关键: 唯一表示性 W是Rn的一个子空间
    正交投影只依赖于子空间的选择,而不依赖于基的选择
  1. 最佳逼近定理
    正交投影是 y尖 在W这个空间中 最接近y的一点


    最佳逼近.png
定理10

U的列是正交的(不一定是单位的),且构成了W的基

定理11.png
  1. QR分解** R = QTA **
  1. 最小二乘解:
最小二乘解.png

Important skills

  • Compute length of a vector, distance between two vectors.
  • Normalize a vector.
  • Check a set for orthogonality.
    单位正交矩阵 U的转置 = U的逆
  • Compute the orthogonal projection onto a line (through 0) or other subspace.
  • Decompose a vector into a component in the direction of ***u ***and a component orthogonal to u.
  • Decompose a vector into the sum of a vector in W and a vector inW⊥.
  • Determine if a set is orthogonal, normalize a vector, constructan orthonormal set from an orthogonal set.
    线性无关集变到正交集,层层分解
  • Know ||x||2=xTx=x⋅x. 有用
  • Compute orthogonal projection of a vector onto a subspace,find the closest point in a subspace, find the distance from avector to a subspace, decompose a vector as in the orthogonalde composition theorem.
    b尖 = proj Col A b 是最接近的向量
  • Perform the Gram-Schmidt process on a linearly independentset of vectors.
    v1 = x1;
    v2 = x2 - (x2*v1)/(v1*v1)v1; 减去投影到span{v1}
    v3 = x3 - (x3*v1)/(v1*v1)v1- (x3*v2)/(v2*v2)v2; 减去投影到span{v1,v2}
    ....
  • Construct a *QR *factorization of a matrix.
    1.把A的列向量化为正交向量 v1, v2, v3, ... ,vn
    2.将正交向量单位化为 u1,u2,...,un
    3.用u1,u2,...,un,构造Q。
    4.将A左乘Q的转置得到R。QTA = QT(QR) = IR = R
  • Find a least-squares solution to Ax=b, find the least-squareserror associated with this solution, know the normal equations,or solve it by QR factorization.
    最小二乘解:法方程 AT Ax' = AT b
    误差为:||b - proj Col A b|| = ||b - Ax'||
    利用QR分解求最小二乘解:Rx = QTb
  • AT*A *is invertible if and only if the columns of *A *are lineraly independent.
    Ax = 0 只有平凡解 可以推出 ATAx = 0 也只有平凡解 ATA是可逆矩阵

CHAPTER 7 Symmetric Matrices and Quadratic Forms

Theorems

  1. A是对称矩阵 <===> 不同特征空间的任意两个特征向量正交
    (至于同一个特征空间,没有说)
  1. 方阵A 可以正交对角化 <===> A是对称矩阵
  1. 谱定理
    A是对称矩阵(n×n的)
    <===> 有n个实数特征值(包括重根)
    <===> dim 特征空间 = λ 的代数重数
  1. 主轴定理:
    A是对称矩阵(n×n的)
    ===> 存在一个正交变量变换 x = Py,可以去除交叉项
  • orthogonally diagonalize a symmetric matrix.
    A是对称矩阵当且仅当A可正交对角化!!
    对称矩阵不同特征空间的向量是正交的!!
    如何正交对角化一个对称矩阵A?
    1.计算A的特征值和对应的特征向量v1, v2, v3, ... ,vn
    2.将同一特征值对应的同一个特征空间的不同特征向量正交化z1, z2...
    保证所有特征向量都是正交的。
    3.将所有特征向量单位化得到u1,u2,...,un
    4.用u1,u2,...,un,构造P (相当于是QR分解中的Q)
    5.用对应特征值构造D
    6.A = PDP^-1 = PDPT.
  • Find the matrix of the quadratic form. (Q(x)=xTAx)
  • Classifying Quadratic Forms (positive definite , negative definite ,indefinite)
    二次型与特征值
    A的一个二次型是正定的当且仅当A的所有特征值都是正数
    A的一个二次型是负定的当且仅当A的所有特征值都是负数。
    A的一个二次型是不定的当且仅当A的既有正特征值又有负特征值。
    特征值之积 = 行列式, 行列式无法判断二次型
    det A = det PDP-1 = det(PP-1)det D = det D = λ1*λ2*...*λn
  • Make a change of x=Py transforms xTAx into a quadratic form with nocross-product term.
    主轴定理:
    对于对称矩阵A,存在一个正交变量变换 x = Py, 它将二次型xTAx变换为不含交叉项的二次型yTDy
    1.计算A的特征值和对应的特征向量v1, v2, v3, ... ,vn
    2.将同一特征值对应的同一个特征空间的不同特征向量正交化z1, z2...
    保证所有特征向量都是正交的。
    3.将所有特征向量单位化得到u1,u2,...,un
    4.用u1,u2,...,un,构造P (相当于是QR分解中的Q)
    5.用对应特征值构造D = PTAP
    6.二次型 Q(x) = xTAx = (Py)TA(Py) = yT PT A P y = yT D y
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容