Udacity 无人驾驶工程师 学习笔记 2

学什么

这篇学习笔记对应 Udacity 无人驾驶工程师课程的 5-8 课,在这四课组成的第一个项目里,主要教学了神经网络的基础知识。使用的例子是「交通标识识别」。

深入神经网络

无人驾驶技术在近几年的快速崛起很大程度上得益于神经网络的快速发展。这一章节的跨度实在是非常大,从 BP 神经网络的入门到卷积神经网络,又到神经网络的一些细节问题,例如 one-hot 编码与 softmax 函数,再到 tensorflow 框架的基础使用。自底向上的学习路径使得知识掌握非常扎实,但紧凑的课程也让很多学员有点接受不能。而对于已经熟悉神经网络的学员来说,里面的一些例题需要一些枯燥的计算,还挺打断学习的节奏的。

关于神经网络的入门,如果觉得第五章太过简单跳过,影响到后面的学习的话,我这里推荐一个我很喜欢的 Youtuber 3Blue1Brown 的 Neural Networks 课程 Youtube Bilibili 官方汉化。学习这部分内容还需要有一定线性代数知识,你可以在 Udacity 的无人驾驶的入门课程中学习到,3Blue1Brown 也有一套可视化做得很棒的线性代数课程 Youtube Bilibili。如果你很熟悉这两块内容,那么第五章内容就可以很快跳过。

卷积神经网络在图像识别领域已经可以说是非常常用的技术了,作为最简单的例子,你可以看卷积网络之父 Yann Lecun 的网站。Lecun 先生 1988 年在贝尔实验室工作室,为了实现手写识别,引入了卷积神经网络模型。LeNet-5 的模型虽然称之为卷积神经网络,但其实结构极其简单,非常适合作为入门的例子。

至于 softmax 和 one-hot 编码,如果有用过 Matlab 之类做过研究的同学应该很熟悉了,一言以蔽之就是:

\sigma(\mathbf{z})_j = \frac{e^{z_j}}{\sum_{k=1}^K e^{z_k}}, for j = 1, …, K.

对这个函数的感性理解就是,我们把每个分类都给出一个 0-1 之间的概率,softmax 能约束每个分类的概率都在 (0, 1) 之间,且所有项和为 1,是解决分类问题的常见手段。

至于 tensorflow 库的具体使用,我建议直接看 Google TensorFlow 的 Tutorials。Google 家的东西众所周知都是让 Google 自己用得爽的东西,API 有的时候不是特别稳定,而 Udacity 课程的篇幅有限,也不能很具体的解释细节。

项目设计

回到解决这个识别交通标识的问题上,项目提供了一些 pickle 文件作为训练集、测试集和验证集,这里有一个小坑:

pickle 库在 Python 中保证其向后兼容和跨平台兼容,但在实际使用中有遇到过 pickle 在 Windows 操作系统上严重的问题。虽然我不用 Windows,但是对所有其它学员做个提醒好了。

image.png

我的预处理方式和网络非常粗暴,毕竟图像识别在今天的神经网络研究中已经不算什么新鲜事了。我使用 OpenCV 简单对图片都进行了降采样,然后降低了对比度,每次训练时做一次随机打散。然后对 LeNet-5 进行了一些简单的优化就基本满足课程项目的要求了。

image.png

不过有两个事情我没有尝试过,如果其它学员有多时间的话可以试一试。一个是使用 AutoKeras 这样的项目,通过神经网络自动架构搜索 (ENAS),理论上可以一键建出我们需要的分类网络。另外一个是,我怀疑如果我们使用非常深的网络像是 DenseNet,由于训练集只有 100MB,个人认为会很容易产生过拟合,所以也没有太冒进。如果有同学试一下有结果的话可以发在评论里哦~

image.png

不过虽然我说着容易,对于第一次接触 TensorFlow 的同学来说,要想把那么多东西一次消化调通还是一个挺难的事情。我个人认为这个项目对于刚开始接触神经网络框架的来说有一点偏难,个人建议如果在第六课后加一个比较正式的 Project,而不是一个简单的 Quiz,先能跑通整个工作流,再来做具体的图像识别会更容易一些。

另外,Udacity 虽然含有一个 GPU 实例的 Workspace,一方面 Workspace 服务在国内不是很稳定。另一方面是,一共只有 50 小时,而且不停需要手动开关。如果有条件的话,我建议还是本地找个能简单跑 CUDA 显卡的机器吧。像是这次的如果只是 LeNet-5 的话,CPU 也够跑了,但对于之后的课程,可能会有更复杂更依赖 GPU 的课程内容出现,大家也要提前做好准备。

工商时间

如果你也想报名 Udacity 的课程可以从 这里 报名,购买任何课程(除小程序开发)使用 delton0416 作为优惠码可以获得 300 元的折扣。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,511评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,495评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,595评论 0 225
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,558评论 0 190
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,715评论 3 270
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,672评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,112评论 2 291
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,837评论 0 181
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,417评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,928评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,316评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,773评论 2 234
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,253评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,827评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,440评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,523评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,583评论 2 249

推荐阅读更多精彩内容

  • 文章主要分为:一、深度学习概念;二、国内外研究现状;三、深度学习模型结构;四、深度学习训练算法;五、深度学习的优点...
    艾剪疏阅读 21,617评论 0 57
  • 与 TensorFlow 的初次相遇 https://jorditorres.org/wp-content/upl...
    布客飞龙阅读 3,857评论 2 89
  • 当第一缕晨光走近窗前的时候,我就在晨风中读取你的温热,门前那快要干涸的池塘里,几尾小鱼正在慌张地躲避鸭子的追捕,只...
    红薯福娃阅读 164评论 0 2
  • 此趟台北行收穫滿滿~昨天原本只是華師同學聚會,結果小雯一見面就送了一本和諧粉彩的書給我,聊著聊著,擇日不如撞日,立...
    Ivy6113阅读 443评论 0 4
  • 最近,一款在去年 11 月 19日上架的社交APP-“Dubsmash”在国外彻底的火了起来,于是也引来了国内爱好...
    魔术师阅读 19,940评论 1 15