AI学习笔记——End-to-End(端到端)的深度学习

1. 什么是End-to-End 学习

要知道什么是End-to-End学习首先要知道传统的非End-to-End学习是什么。以语义分类(判断评论为正面评论还是负面评论)为例,非End-to-End的学习需要对语音识别之前要经过两步处理:解析器(Parser) 注释文本和情感分类器(Sentiment Classifier)预测文本。

解析器是对文本进行标注,比如形容词(好,坏,糟糕等),情感分类器再来预测文本是正面的还是负面的,整个过程如图:


End-to-End 学习不需要这些步骤,像黑盒子一样一步到位解决问题。神经网络算法就是一个被广泛应用的End-to-End学习的算法。End-to-End 算法尤其适用于数据量巨大的机器学习任务中。


2. 更多End-to-End 的例子

在语音识别领域,非End-to-End 的学习大致经历:计算特征解析得到人工设计的频谱特征,音素(Phonemes)识别器识别语音中的“音素”和最终识别三个步骤:



然而End-to-End 也只需要一步就搞定了


3. End-to-End 学习的优缺点

非End-to-End的学习算法中,需要人类做大量的前期准备工作,比如在上述语音识别的例子中,"音素"是语言学家发明的,在处理过程虽然提高了效率但是无疑会丢失语音中的其他信息。但是这种算法需要的数据量比较小。

End-to-End学习算法虽然不需要太多的人工干预,但是需要大量标记的数据,并不是在所有领域都是最好的选择。

4.非End-to-End 学习算法中pipline(管道)的选择

正如上文提到的,End-to-End的学习方法并不是在所有的领域都是最好的选择。最重要的是到底有没有足够可靠的数据。以自动驾驶为例,通过摄像头识别人和车辆,然后规划驾驶路径。如果用End-to-End的方法,需要积累海量量标记好的数据,各种路况不同的路径规划,非常困难。

然而,如果使用非End-to-End的方法,比如下图,先识别车和人,再进行路径规划



人和车的被标记好的数据很容易找到,完成这一步,再进行路径规划,这样训练起来就容易很多了。而这样设计算法的步骤就是pipline.

再举一个识别图片中猫的品种的例子,我们可以这样设计Pipline: 第一步先识别图片中是否有猫,第二步再识别猫是不是这个品种:


————
相关文章
AI学习笔记——循环神经网络(RNN)的基本概念
AI学习笔记——神经网络和深度学习
AI学习笔记——卷积神经网络1(CNN)
————
首发steemit

欢迎扫描二维码关注我的微信公众号“tensorflow机器学习”,一起学习,共同进步


image

推荐阅读更多精彩内容

  • 这一篇文章其实是参考了很多篇文章之后写出的一篇对于语言模型的一篇科普文,目的是希望大家可以对于语言模型有着更好地理...
    云时之间阅读 2,531评论 2 7
  • 栈 1. 栈(stack)又名堆栈,它是一种运算受限的线性表。其限制是仅允许在表的一端进行插入和删除运算。这一端被...
    程序员高级码农阅读 4,027评论 0 8
  • 读完三年中师后,以为自己可以顺顺当当地当上国家编制的正式老师。谁知,那一届的毕业生由于当时政策的改变,...
    绿色点点灰阅读 97评论 0 0
  • 不止向日葵在朝光生长啊 我们啊 都望着透过玻璃的那一丝一缕 也不去试图抓住
    京初阅读 20评论 0 0
  • 老菜, 投稿,交友 ,无图 ,无介绍。 七宗罪,哥哥所犯者,曰暴力,曰怠惰。 没办法,生下来心脏就比别人的重力加速...
    慕玖哥哥阅读 92评论 0 0