燕乐存上海行

​ 在今年3月的时候,Yann LeCun 燕乐存访问过自动化所, 在清华做过报告。这次他要来上海了。 受上海交通大学邀请, 他将于2017年7月4日,周二下午在闵行校区的做"Deep Learning and AI: Past, Present and Future"的报告! 报名请点击"阅读原文"链接。





关于这个话题, 网上有个SAP的工程师 Lukas Masuch的报告

https://www.slideshare.net/LuMa921/deep-learning-the-past-present-and-future-of-artificial-intelligence 讲的一般吧, 大家可以看下下,以后对比LeCun高明在哪里?

卷积神经网络的发明人

燕乐存一直以卷积神经网络CNN的发明人被世人知道。 但是, LSTM 发明人Juergen Schmidhuber指出,某种意义上, CNN不是 LeCun 发明的, 而是京都大学毕业的博士Kunihiko Fukushima在1980年的神经网络Neocognitron里面提出来的。  LeCun不过是把BP算法用在上面下下。 为此两人争论起来了,于是 LeCun有一个著名的论断, 叫Recreate,回炉再造,重新发明~~~



Juergen Schmidhuber

而就是这个Recreate,让大部分人居然就接受了。 我们要高举Recreate的大旗!!! 让知识活起来,火起来~~~



其实, 某种意义上Fukushima ( http://personalpage.flsi.or.jp/fukushima/index-e.html )的Neocognitron的确意义巨大, 他当时就有 "Selective Attention Model " 这个机制的说明。  不过总得来说, 深度学习的大旗是Hinton抗的(攒说 Geoff Hinton), 圈子也是他创造的, 而LeCun是他的博士后。  同时Schmidhuber和Fukushima都没有一开始就在这个圈子里面混,就没有办法了。

MNIST手写数字库的创建者

乐存一开始的CNN网络就是用在MNIST手写数字识别上的(http://yann.lecun.com/exdb/mnist/) , 不过当时CNN的效果的确不如SVM效果好。



这个就涉及到95年的时候,SVM的发明人Vapnik在苏联解体后,来到美国,加入贝尔实验室, 然后SVM一下子爆火。Vapnik (参考机器学习背后的男人们)和他的老板Jackel的赌约,当时的见证人就是LeCun,他们都是贝尔实验室的员工,其实LeCun在博士后之后的1988年就加入了贝尔实验室了,到1996年的时候,他已经是图像处理研究部的主任,这也就是打赌的前一年。 这也是为什么他要在图像的手写体上和SVM比较的理由。而到2000年,肯定是Vapnik胜了。没想到再过15年后, 翻盘了。 而这距离赌约已经20年了。



深度学习的巨头

LeCun是1987年从UPMC获得计算机博士学位之后,就跑到多伦多大学做了Hinton的博士后,不到1年的时间, 他在1988年就去了贝尔实验室了。 然后这短暂的时间,为他之后的生涯带来的极大的影响。 Hinton是一个能在一个领域坚持三十年的人。 LeCun也深受影响。 之后一直在神经网络方向坚持。

2014年, 他获得了IEEE神经网络领军人物奖, 2015年,他和Hinton还有Bengio一起在自然杂志上发表了深度学习的文章。 宣告深度学习时代的来领。





这个文章某种意义上,奠定了深度学习三巨头的称谓。 而这个Bengio其实也是贝尔实验室的。 他那时候和LeCun是同事,不过他93年的时候去了学校当老师。 贝尔实验室真是养人的地方呀!!! Bengio是另外一个大拿乔丹的博士后(参考乔丹上海行)。  2013年, LeCun和Bengio共同搞了International Conference on Learning Representations ICLR的深度学习方向的会议。 也的确是领头人了!



而Andrew Ng吴恩达因为上面这个照片,常常被称为四巨头, 就深度模型的贡献而言, 个人感觉还是换成Schmidhuber比较好。 的确Ng在优化等方面也是很多贡献的!

Facebook的人工智能实验室的领头人

后来facebook几乎把贝尔实验室的图片处理组接管了。 2013年, 他被挖到facebook成立AI实验室,称为主任。 第二年,他就把Vapnik又挖过去了, 这样Vapnik和LeCun这对老同事又Facebook亮起来了。







说起贝尔实验室, 这个曾经实际上超级牛的企业实验室,衰落的太厉害了。  想当年, 她的投资, 真是不逊于政府在高科技的方方面面的投资。  后来,IBM和微软吸取了教训, 不再养着科学随意研究,物理化学天文等等都不允许了,必须和公司业务相关。  谷歌实验室更进一步, 必须预计能给公司带来利润。 不知道Facebook的实验室未来的大战略如何?

小结:

欢迎乐存来上海, 一代牛人,很想去听!

相关话题:

机器学习背后的男人们

攒说 Geoff Hinton

乔丹上海行

免费: 大赏新书CASI

恭喜周志华老师当选ACM Fellow

变分の美

Lasso简史

信息熵的由来




推荐阅读更多精彩内容