【机器学习中的数学】函数空间

数学的空间

数学中的空间概念是要有研究工作的对象和遵循的规则。其中,包含元素和结构。
如线性结构中,定义加法和数乘;拓扑结构中,要有距离、范数、开集三要素。

距离

范数是具有“长度”概念的函数。
距离、范数可以指向量的距离,我们可以定义以下几种向量的距离:

  • d1(x,y)=sqrt((x1-y1)^2 + ... + (xn-yn)^2)
  • d2(x,y) = max{|x1-y1|, ..., |xn-yn|}
  • d3(x,y) = |x1-y1|+ ...+ |xn-yn|

距离、范数也可以指曲线的距离,即函数f(x)到函数g(x)的距离:

  • d1(f,g) = ∫ (f(x)-g(x))^2 dx
  • d2(f,g) = max |f(x)-g(x)|
  • d3(f,g) = ∫ (f(x)-g(x))^k dx
    以上x都定义在[a,b]之间

接下来我们要去定义距离的抽象概念。
我们要知道,如果一个对象不是具体的,是抽象的,是泛指的,那么我们就抓最重要的属性来描述这个对象,而舍弃其他的属性。

距离的定义

设X是非空集合,任给一对这一集合的元素x、y,都给定一个实数,d(x,y)与它们对应,并且满足:
(1) 非负性:d(x,y)≥0 ; d(x,y)=0, then x=y
(2) 对称性:d(x,y)=d(y,x)
(3) 三角不等式:d(x,y) ≤ d(x,z)+d(z,y)
则称d(x,y)是两点之间的距离。

tips:
为什么曲线距离中可以用maximum来定义距离,而不能用minimum来定义距离。
因为如果两条曲线相交时,对|f(x)-g(x)|取最小,就等于0,那么按照距离的定义,那么f(x)=g(x),这显然违背了距离的定义。所以并不是随意的度量方式都可以作为一种距离的定义的。

范数

范数的定义

设||x||是R^n的范数,若满足:
(1)||x|| ≥ 0, for all x∈R^n; ||x||=0 is equal to x=0
(2)||αx||=|α|·||x||, for all α∈R, x∈R^n
(3)||x+y|| ≤ ||x||+||y||, for all x,y ∈R^n
这里范数可以简单看成到零点的距离,并且多了第(2)条

tips:
由范数可以定义距离:d(x,y)=||x-y||
但是由距离不一定可以定义范数,例如:||x||=d(0,x),但||αx||=d(0,αx)≠|α|·||x||
之所以有这样的区别,我们可以简单理解成,范数是带有限制条件的距离,是更加具体的距离,而距离比范数要少一些东西。

除了距离,我们还需要线性结构。
在线性空间中,向量定义了加法和数乘运算,它们还满足加法交换律、加法结合律、负元、零元;数乘的交换律、单位一、数乘与加法交换律。

赋予范数或距离的集合分别称为:赋范空间和度量空间;若在其上再加上线性结构称为线性赋范空间和线性度量空间。

内积空间

复返空间有向量的模长,即范数。但是还缺乏一个很重要的概念——两个向量的夹角,为克服这一缺陷,我们引入内积。
内积的定义:

设(x,y)∈R,且满足:
(1)对称性
(2)对第一变元的线性性
(3)正定性,大于等于零
则称(x,y)为内积。

  • 内积可导出范数,||x||^2 = (x,x),但是范数不能表示内积,因为内积比范数又多了东西。
  • 在线性空间上定义内积,其空间称为内积空间。
  • 内积可在空间中简历欧几里得集合学,例如交角、垂直和投影等,故习惯上称为欧几里得空间。
  • 1904年-1910年希尔伯特引入无穷实数组并定义内积,其空间称为内积空间,再加上完备性,称为希尔伯特空间(无穷维,而欧几里得空间是n维)。
  • 1922年巴拿赫提出赋范空间,其完备性的赋范空间称为巴拿赫空间。
    这里提到的完备性可以理解为,在该空间中的极限运算中,它取极限不能跑出去。比如在有理数集中不行,必须到实数集中求极限得到的结果依然在实数集中。

拓扑空间

欧几里得几何学需要内积,但连续的概念不需要内积,甚至不需要距离。
仔细考察连续的概念,其实他需要的是开集,即用开集可以定义连续。
原来的连续定义:

for all ε>0, exist δ>0, (|x-x_0|<δ) => (|f(x)-f(x_0)|<ε)

现在不在需要距离之后,我们来定义连续的概念:

记 x_0∈D belong to R,
x_0的邻域定义为O(x_0,δ)={x; |x-x_0|<δ}
f(x_0)的邻域定义为O(f(x_0),ε)={y; |y-f(x_0)|<ε}
那么可定义连续为
for all ε>0,exist δ>0, f(O(x_0,δ) ∩ D) belong to O(f(x_0),ε)
即把x_0的邻域用f函数映射之后还在f(x_0)的邻域里就称为连续。

拓扑的定义:

设X是任一集合τ belong to 2^X,若满足:
(1)τ内任意个集合的并仍属于τ
(2)τ内有限个集合的交仍属于τ
(3) X和空集属于τ
则称τ是X上的一个拓扑。
其中元素是X,规则是τ,称(X,τ)为拓扑空间;

总结

范数可以定义“强化”了的距离
内积是较距离和范数又更多的内涵
拓扑是“弱化”了的距离

有了拓扑就有了拓扑空间,有了距离就有了度量空间,有了范数就有了赋范空间,有了内积就有了内积空间(已有线性结构)。
如果将上述空间再加上线性结构就成为拓扑线性空间,线性度量空间,线性赋范空间,内积空间。
如果对于线性赋范空间又加上完备性,那就是巴拿赫空间;内积空间再加上完备性,那就是希尔伯特空间。
(完备性就是玩极限游戏不能玩出去~~)
数学中,函数空间是从集合X到集合Y的给定种类的函数的集合。它叫做空间是因为在很多应用中,它是拓扑空间或向量空间或这二者。

研究无穷维内积空间或者无穷维线性赋范空间中映射的数学分支叫泛函分析,又分为线性泛函分析和非线性泛函分析。
研究拓扑空间的数学分支叫拓扑学,又分为点集拓扑、代数拓扑和微分拓扑。

参考资料

上海交通大学公开课:数学之旅

转载请注明作者Jason Ding及其出处
Github博客主页(http://jasonding1354.github.io/)
GitCafe博客主页(http://jasonding1354.gitcafe.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)
Google搜索jasonding1354进入我的博客主页

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容