程序员的学习之路

序员要开始学习深度学习,该如何入手?

看网上搜集的各种庞杂的DL学习资料列表,你可能会被吓死。但实际上大部分学习资料都包含了相当多重复的内容,下面是我个人总结的一些学习经验,希望能去芜存菁,帮助程序员快速进入深度学习的圣殿。

数学基础。如果你去读深度学习的论文,会发现数学对于DL非常重要,线性代数、概率论、甚至微积分都有用武之地。这些知识都还给学校了怎么办?难道要把所有这些课程再学一遍?大可不必。只要把DL需要用到的部分好好复习一下就好。这里推荐《Deep Learning》这本权威著作的第一部分,详述了机器学习需要的数学基础,另外也讲了机器学习领域的很多基本概念。

一本入门教材。虽然上面提到的《Deep Learning》是公认的DL最权威教材,但是一般人会觉得过于艰深,包含太多数学方面的论证。如果你对数学公式不太感冒,建议不要用这本书入门。我推荐一本《Hands on Machine Learning》。不要被书的名字欺骗了,本书的内容其实一点也不初级,讲述的很全面深入。但是语言非常流畅,容易读懂。这本书分为两部分,第一部分讲述了机器学习的各种传统算法,第二部分才是深度学习的内容。传统算法的学习很有必要,一方面帮助我们理解ML发展的脉络,另一方面,很多传统算法其实并没有被淘汰,比如RandomForest这种基于决策树的算法,在结构化数据的挖掘方面非常有效。

一个入门课程。这里我提供两个选项:

第一推荐Andrew Ng刚刚上线的Deeplearning.ai。Andrew Ng的课,品质应该不会差,而且估计他会加入很多最前沿的研究。这门课刚刚开课,应该会持续几个月的时间。所以要做好长期学习的准备。

第二个是我上过的fast.ai。这门课的讲师Jeremy也是个牛人,曾负责Kaggle平台的研发。这个课程的教学理念更加注重实践,在讲解概念的同时,用Keras+Jupyter Notebook直接演示模型的训练。总共只有7节课,每课时两个小时,但是每节课的Notes里面附带大量的参考资料,需要花很多时间去自学、消化。这门课现在开始了第二学期,讲DL最前沿的研究进展,也是7节课。另外,需要习惯一下讲师的澳洲英语。

一个方向。深度学习可应用的领域很多,我们需要选择其中一个深入研究。方向包括:计算机视觉(图像、视频处理,主要用CNN)、自然语言处理NLP(包括文本、语音处理,序列数据往往需要RNN)、增强学习(用在机器人、自动驾驶等方面),此外对于生成模型(GAN、VAE等等)的研究也是一个热点。

CV推荐学一下Stanford的CS231, 李飞飞的课,讲的很清楚;NLP可以听Stanford的CS224,Manning教授的,NLP的泰斗,从传统算法到DNN一路走过来的;或者牛津的这个课也可以:oxford-cs-deepnlp-2017/lectures,请到了DeepMind的大牛来讲。斯坦福的课油管上都有视频,搜课程号就能找到。

一些论文。在选定方向以后,我们可以去读一下这个方向的经典论文。说是经典,但是深度学习这个方向真正爆发也就是最近几年的事情,所以很多东西其实都是前两年的论文结果。推荐一个Awesome Deep Learning Papers的论文列表,个人觉得整理得不错,有参考价值。DL这个领域进展特别快,前几年的研究结果可能早已经被超越了,所以读论文要保持开放心态。不过,论文有的时候真的很啰嗦,幸好有网友总结了一下:aleju/papers,先读这个总结,带着问题再去读论文效果好很多。

一个框架。DL现在有很多非常成熟的框架了,每个科技公司都有自己的一套东西,Google系的TensorFlow现在似乎风头更劲一些。他们之间的比较可以看看这篇文章。我觉得这个跟编程语言之争一样,没必要太纠结,选一个自己喜欢的就好。各个框架训练出来的模型一定可以互相转换的。PyTorch方便构造动态的网络结构,似乎很多人看好。

动手做一些深度学习项目。网上有很多开放的数据集,可以拿来做训练,先做些简单的,比如MNIST,IMDB影评的情感分析等。然后可以去Kaggle上做一些以前的的竞赛项目,比如Cats VS Dogs一类的。如果你足够厉害,可以参加当前的Kaggle挑战,说不定顺便赢个几十万美金呢:)

最后,关注一下DL最新的研究动向。这方面的媒体非常多,公众号、知乎专栏,一搜一大把,还有很多科技博客也是频繁更新,我个人推荐Joy老师858288017,是很不错的导师

所以你看,深度学习其实没有那么难学,不需要你制定几年计划。但是要有一定自学的能力,尽快动手写程序出来,就能建立自信突破心理障碍,再学下去就非常自如了。

Keep Calm and Carry On!

P.S. 我提到的很多资料都要翻墙,相信这对于程序员不是问题。另外建议书籍、文章读英文原版,我个人做过技术书的翻译,对中文技术译作没什么好感,大部分技术书翻译以后都难以表达原意,甚至包含错误,读起来比原版费劲。

我个人对DL也是在自学摸索,大家可以一块交流、共同进步。群231158925

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 161,601评论 4 369
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 68,367评论 1 305
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 111,249评论 0 254
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,539评论 0 217
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,967评论 3 295
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,929评论 1 224
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,098评论 2 317
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,825评论 0 207
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,609评论 1 249
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,796评论 2 253
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,282评论 1 265
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,603评论 3 261
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,277评论 3 242
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,159评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,959评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 36,079评论 2 285
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,874评论 2 277

推荐阅读更多精彩内容