从小白到入门算法,我的经验分享给你~

研究生三年,作为一名非计算机专业的学生,能够从一名纯小白(Python不会,机器学习没听说过)到最后校招拿到几个不错的offer,个人感觉可以给自己打个及格分吧。写本文的目的,一是对自己研究生阶段所学习的知识做一个总结,二是希望对那些刚接触机器学习,准备往这个方向发展的同学们提供一些可借鉴的经验。

1、入门Python,掌握数据分析常用工具

第一次接触Python是在2016年4月,本科阶段的工作差不多完成,就开始联系研究生阶段的导师,希望能够跟他做一些项目。他给我安排的第一个工作便是使用Python爬取空气质量数据,并告诉我可以使用scrapy这个库。我与Python的邂逅,便从这个爬虫开始了。

由于上来就写的是爬虫,所以关于Python的基础我也没有系统的学习,不过还是推荐给大家廖雪峰老师的免费教程:https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000

如果想要深入了解一些Python的知识,推荐大家学习《流畅的Python》一书,封面如下。这本书我看了前面的九章,讲的十分不错,加深了自己对于Python里面内存管理、常用函数、类等的认识。

除了Python的基础知识,想要往数据分析、机器学习方向发展的话,还需要掌握一些常用的库,包括Pandas、Numpy、Matplotlib、Sklearn等等。

关于前三个,推荐的书是《利用Python进行数据分析》:

关于Sklearn的使用,包括调用常见的机器学习算法、使用网格搜索寻找最优的参数,可以参考的一本书是《Python机器学习及实践 从零开始通往Kaggle竞赛之路》

如果上面的书你都看完了,我觉得算是入门Python数据分析了。

2、初识机器学习,反复读反复看

第一次听说机器学习这个名词,大概是在2016年8月份,是我现在的舍友向我提到的,当时并没有太在意,直到研究生阶段开始,才慢慢有所接触。当时身边的人的普遍反应是,这家伙大家都在学,特别能挣钱。也许当时自己也是想着能多挣钱,才会开始入门机器学习的吧。不过现在,已经开始慢慢把机器学习当做一种兴趣,一种爱好去看待了。

想必大家都知道,入门机器学习,不得不看的三本书是吴军老师的《数学之美》、李航博士的《统计学习方法》和周志华老师的《机器学习》,也就是所谓的西瓜书。

但是有时候,有些算法比如SVM,说实话两本书讲的都不是最好的,还是得结合网上比较流行的帖子进行学习,整理了几个我看过的一些比较好的帖子,分享给大家:

SVM:http://blog.pluskid.org/?page_id=683
Word2Vec:https://blog.csdn.net/itplus/article/details/37969519
EM算法:https://blog.csdn.net/randy_01/article/details/88407432

其他的算法,大家结合两本书进行学习就可以了。值得一提的是,Xgboost和LightGBM是在面试阶段比较常考的两个机器学习方法,但是在上面的几本书中都没有涉及,我之前整理了一个简单的帖子,希望对大家有所帮助(最后的参考资料里面会有)。

除了书籍资料外,视频资料推荐的主要是吴恩达老师和李宏毅老师的机器学习入门课,地址如下:

吴恩达机器学习:https://www.bilibili.com/video/av50747658?from=search&seid=9310704140991725193
李宏毅机器学习:https://www.bilibili.com/video/av35932863?from=search&seid=16150707490146939986

如果你是刚入门机器学习的话,我的建议就是反复看,反复读,直到你能不依靠书本将模型的原理解释清楚为止。

3、面试不断碰壁,Leetcode得刷,得多刷

理想很丰满,现实很残酷,在自己刚学了点机器学习知识的时候,就出去面试闯荡,结果却是不断的碰壁,机器学习理论和经验少是一方面,数据结构题也是一问三不知,能想到的,只有时间或者空间复杂度最差的那种解法。所以我说啊,Leetcode不仅得刷,还得多刷。

不过咱也没必要着急,你得有一个计划,比如每天做三道五道,日积月累才行。尽管我现在在面试的过程中还是有一些问题写不出来,但大部分情况下,还是能够得到一个比较优的解。

关于刷leetcode这事,你可以往两个方向上走。一是按照从easy到medium到hard的方向。二是按照分类走,比如先刷树相关的,再刷数组相关的,依次类推。我自己是用的第一种方式啦,不过从校招面试的经验看,面试官关注的题主要集中在数组、链表、二叉树和动态规划上面,可以先把这几部分的弄明白。

在语言选择上,建议还是不要用Python吧,Python的小trick还是有点多的,就比如字符串表达式的值,我们用eval函数就可以得到,但是在真正面试的时候,这样是绝对不行的,所以建议还是Java或者C++吧。毕竟这两门语言,你总要掌握一门的。

除了在Leetcode上面刷题外,有两本书可以给大家参考,一是《剑指offer》,二是《程序员代码面试指南:IT名企算法与数据结构题目最优解》,封面如下:

4、相遇深度学习,论文积累是关键

关于深度学习,也是研一下才开始慢慢学习的,当时主要接触的是CNN、LSTM这些个算法,对于一些比较深入的如GAN、Seq2Seq、Transformer之类的,还没有接触。真正带我相遇深度学习的,可以说是李宏毅老师的深度学习课:https://www.bilibili.com/video/av9770302?from=search&seid=6099263941108862254

当然,吴恩达老师的课也十分精彩:https://mooc.study.163.com/university/deeplearning_ai#/c

除此之外,不得不提的一本书是我们所谓的深度学习圣经,不过说实话,我觉得这本书虽然写得好,但还是有一定阅读难度的:

个人感觉,深度学习这东西,重在不断积累和反思吧,多读论文,多写代码。论文的话大家平常可以多关注PaperWeekly这个公众号,代码的话我建议如果论文给出了参考代码,大家可以尝试着去敲一敲,不仅加深自己对于论文思路的认识,还可以提升自己的动手实践能力。

5、推荐与计算广告,广度优先VS深度优先

在整个研究生阶段,我其实并没有形成一个主要的研究方向,大家可能看我平时的公众号推荐系统相关的东西比较多,但我并不是研究这个的,主要还是自己对这个东西比较感兴趣,所以看的多了些。推荐系统的两本入门书籍是《推荐系统实践》和《推荐系统与深度学习》:

深度学习领域还是挺多的,如推荐系统和计算广告、CV、NLP等等,这就引出了广度优先VS深度优先的问题。个人感觉还是深度优先为主吧,确定好自己的一个研究方向,然后在这个领域进行深挖。不过同时,也要兼顾广度,深度学习的东西都是相通的,比如Transformer最开始主要应用于文本领域,GAN主要应用于图像领域,这两种方法现在也都开始在推荐系统中使用。

最近自己要开始研究计算广告方面的知识了,因为自己入职之后可能从事这一方面的工作,那还是给大家推荐两本书吧,一本是大家所熟知的《计算广告》,另一本是黄皮书《互联网广告的市场设计》,想要入门这个方向的同学,建议先看黄皮书,再看《计算广告》一书。

6、Hive和Spark,数据处理的标配

Hive和Spark大家还是要学一下的,使用Hive来存储数据,使用spark sql和Hive sql来处理数据,感觉是互联网里面的主流方式。关于hive,掌握一些常用的函数的使用方法,如concat_ws,row_number,case..when,if,get_json_object等等,对于spark sql,掌握其运行的基本原理,以及一些常见问题的处理方法。首先,学会如何处理数据倾斜,有时候因为一个数据倾斜问题,一整天都浪费在调试一个spark代码中了,其次,学习如何尽量减少spark任务的空间占用,同时加速spark任务运行速度,spark作业在线上调用时,会占用公共资源,你的任务占用的资源越多,别人占用的资源就越少,同时,如果你的任务运行的快,也可以给别人的任务更多的空间。spark可以通过很多语言来实现,不过我建议还是学习一下scala吧,毕竟可以和java无缝衔接。除了spark和hive,掌握一定的excel知识也是必要的。

那么这里有两本书推荐给大家,《Hive编程指南》和《Spark内核机制解析及性能调优》:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 156,907评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,546评论 1 289
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,705评论 0 238
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,624评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,940评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,371评论 1 210
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,672评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,396评论 0 195
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,069评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,350评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,876评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,243评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,847评论 3 231
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,004评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,755评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,378评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,266评论 2 259

推荐阅读更多精彩内容