支持向量机随笔

(1)为什么是1/||W||:

这个得先看约束函数,yi(wT*xi+b)>=1,按比例规定最小函数距离等于1,其他所有的都大于它,这就是约束。最佳分类超平面wT*xi+b=0。1/||W||这既是到它的最小的那个几何距离,在最大化它的时候,自然分割线就到两类样本支持向量的中间去了。

(2)关于KKT条件:

KKT条件是原问题产生最优解的必要条件,不是对偶问题等于原问题的条件。当原问题满足Slater’s condition,Slater条件即是说存在x,使不等式约束中的“小于等于号”要严格取到“小于号”(g(x)>0)同时存在至少一个可行解满足。可以证明,对于凸优化问题,如果Slater条件满足了,则原问题和它的对偶问题相等。(这里具体原因我也不是很理解,网上找遍资料也没有)。

(3)为什么对偶问题等于原问题和对支持向量的理解:

对于一个优化问题的不等式约束,若这个函数本身不加约束时的最优值在不等式约束的的可行域内,那么这个不等式约束就不起作用,就相当于无约束的最优化,这个不等式连同等于号的部分都是非有效约束,他对应的拉格朗日乘子等于零(就是公式里面的λg(x)的λ和g(x)都等于零)。但是在svm中不存在这种情况,因为原问题1/2||w||^2显然关于他的无约束问题最优值是等于0,加之他对应的函数间隔为1,而我们的约束条件是yg(x)>=1,最小才是1,所以所有点的不等式约束在取等号的时候都是有效约束,所以不存在λg(x)的λ和g(x)都等于零这种情况。当这个不等式约束把不加约束的原问题的最优值排除在约束范围之外时这个不等式约束就起作用了,从上面分析显然svm的所有不等式约束是满足的,由于原问题是凸的,那么约束条件直接取这个不等式约束的等于号就好了,因为最优值肯定是在等于号的这条线上面取得,这个时候就退化为等式约束了。既然是可以看成等式约束,那么显然他的对偶问题一定等于原问题啊(感性理解未加证明),还有上面的Slater条件说的存在一个x使不等式约束中的“小于等于号”要严格取到“小于号”,可以反过来理解为当所有x都取等号时,这个问题不就是等式约束的拉格朗日问题了吗,就不存在所谓最大最小,和最小最大之类的,也就不存在对偶问题了,所以这个条件应该是保证对偶问题存在,终于明白为什么说他是非常弱的一个条件了,真的是弱啊。当然这里最主要的还是f(x)为凸函数,无论是在满足kkt条件时能满足全局最优还是在后面使对偶问题能成立,真的是非常重要啊。再看支持向量,就是那些函数间隔等于1的点的约束,它们的不等式约束取等于0,λ有值,即拉格朗日乘子不为0,这些是支持向量。其他的约束其实都能归到这个等式约束上,它们其实不起作用,对用的拉格朗日乘子都是0。▽f(x)-∑λi▽g(x)=0可以看出,原问题在最优解处的导数是约束条件在这里导数的线性组合。换句话说假如在三维中它们的梯度共面。

(4)关于smo求解:

一次只优化a1和a2,其他固定不变,当ai完全满足ktt条件时,那么他就是最优的了。从ktt条件入手,而不是只关注要优化的函数,真是另辟蹊径啊。首先找出不满足的a1,然后再随机找个不满足的a2(实际中有更好的挑选方法)。那么选出来之后怎么来修改这个数呢,总不能随便给一个满足ktt约束的就行吧。再回头看看原始需要优化的函数,使它变小就行了,改变的方向一定也是向ktt条件靠拢的方向。用a2表示a1,再把它带到优化函数中,他就成了一个一元的凸函数,直接求导就行了。这里算出了a2,但是还没有结束,他还要满足前面的约束,超出约束就取约束条件边界。【0,c】之间

(5)a更新上下界的求法,超出上下界就取边界值:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容