我们曾经用内积定义了向量空间中一个元素的长度,它是几何长度的推广,利用这个长度的概念我们可以讨论极限、逼近的问题。在分析解决这些问题时最重要的是利用了长度的基本性质、非负性、齐次性和三角表达式。
向量的范数
范数的定义
- 定义4.1:若对任意的都有一个实数与之对应,且满足:
- 非负性:时,,当时,;
- 齐次性:对任意的,;
- 三角不等式:对任意的, 都有:
则称为上的向量范数,简称向量范数。
几种常见的范数
- 2范数
设:
规定:
很容易证明这是范数,叫作向量的2范数。2范数在酉变换下不变。
- 1范数
设:
规定:
则是范数,叫做向量的1范数。
- 向量的范数
设:
规定:
则是范数,叫做向量的范数。
- 向量的范数
设,规定,
则也是范数,叫做向量的范数。
- 其它:
规定:
则是函数的范数
在连续函数的空间中,规定:
则也是范数。
生成范数
在一个向量空间之中可以构造无穷多种范数,前面所述只是最常用的范数。下面给出从已知范数构造新的向量范数的方法。
- 例4 设:
规定
则是范数。
- 例5 设,是上的一种范数,对于任意的,规定,则是上的范数。
由于矩阵可以有无穷多,所以用这种方法可以构造无穷多种范数。
范数的等价
- 定义4.2:给定上的向量序列,其中
如果:
则称收敛,记作:
不收敛的序列叫作发散序列。
- 定理4.1 中的向量序列收敛于的充分必要条件是,对于上的范数,
收敛是向量序列的性质,这种性质不应该受到度量方式的影响,也就是一个向量序列在一种范数的意义下收敛,那么它在另一种范数的意义下也应该收敛。一个空间中的序列在一种范数下收敛,那么它在另一种范数下也是收敛的。
- 定义4.3 设和是上的两种向量范数,如果存在正数和使得对于任意的都有:
则称向量范数和等价。
- 定理4.2:空间上所有范数等价。
即若在意义下收敛,则在意义下也收敛。向量序列的收敛不受范数选择影响。
同一个向量在不同的范数下长度一般不同,如:
则:
相差很大,但是在讨论收敛时,效果也是一样的,但是要注意,这里讨论的是有限维的空间,无穷维空间可以不等价。
矩阵的范数
由于一个矩阵可以看作维向量,因此可以按照定义向量范数的方法来定义矩阵范数,但是矩阵之间还有矩阵的乘法,在研究矩阵范数时应该给予考虑。
方阵的范数
- 定义4.4 :若对于任意的都有一个实数与之对应,且满足:
- 非负性:,;,;
- 齐次性:对任意的:
- 三角不等式:对任意的,
- 相容性:对任意的都有
则称为上矩阵的范数,简称矩阵范数。
- 由于定义中的前三条与向量范数一致,因此矩阵范数有与向量范数有类似的性质,如:
以及上的两个矩阵范数等价。
常用的范数
- 矩阵范数:
与相仿,设,规定:
则是上的矩阵范数,称为范数。
- 矩阵范数:
与相仿,对于,规定:
则是上的一种矩阵范数,称为矩阵的Frobenius范数,简称范数。
- 矩阵的范数:
设,规定:
则是上的矩阵范数。
与向量范数的相容性
- 定义4.5:设是上的矩阵范数,是上的向量范数,对任意的,,都有:
则称矩阵范数与向量范数是相容的。
- 上的范数与上的1范数相容。
- 上的范数与上的2范数相容。
用矩阵范数来定义向量范数
- 设是上的一种矩阵范数,则在上可以定义一种向量范数。以二维空间为例,如设,取 ,设是中的范数,任取:
则:
现在任取:
则:
是的矩阵。规定:
则在中定义了一种运算。
- 如取:
则:
取:
则:
- 定理4.3:设是上的一种范数,则在上必存在与它相容的向量范数。
从属范数
前面介绍了由矩阵范数定义向量范数的方法,接下来将要介绍由向量范数来定义矩阵范数的方法。
我们知道,单位矩阵在矩阵的乘法中的作用类似于1在乘法中的作用。但是对于已经知道的矩阵范数,如,,范数,阶单位矩阵的范数。
能否构造出使得的范数呢?
- 定理4.4:已知上的向量范数,对于任意的,规定:
则是上的矩阵范数,称为由向量范数导出的矩阵范数,简称导出范数或者从属范数。
从属范数的计算
从属范数的计算是求多元函数的最大值,计算并不容易,我们只就向量的1,2, 导出的矩阵范数分别是,,,则:
- 。
- 。
- ,为的最大特征值。
是矩阵的元素取模,然后把每一列元素加起来,取这些列和的最大值。而是把每行的模加起来,然后取最大值。
范数的应用举例
定义4.6:设,是的个特征值,称为的谱半径,即的谱半径是的特征值模的最大值。
定理4.6:设,则对上的任何一个矩阵范数,都有:
- 定理4.7:设,任取一个正数,都可以找到一个矩阵范数,使得:
我的微信公众号名称:深度学习与先进智能决策
微信公众号ID:MultiAgent1024
公众号介绍:主要研究分享深度学习、机器博弈、强化学习等相关内容!期待您的关注,欢迎一起学习交流进步!