深层神经网络简单介绍(1)

1/神经网络构架:

前向神经网络,典型代表CNN;循环神经网络:典型代表RNN;对称神经网络:典型代表DBN


2/常见激活函数:(激活函数不可以是线性的)

sigmoid函数,tanh函数,Relu函数https://wenku.baidu.com/view/3f14f716a76e58fafab003f1.htmlhttps://wenku.baidu.com/view/3f14f716a76e58fafab003f1.html

(各种激活函数的优缺点比较参见: https://zhuanlan.zhihu.com/p/25110450)

(Relu函数可以逼近任意函数参见: https://zhuanlan.zhihu.com/p/23186434)


3/感知机与神经网络:

可以看做线性的二分类神经网络,寻找一个超平面将正负样本分开

感知机的局限:(1)对特征工程要求过于苛刻(2)不能处理线性不可分的情况

神经网络需要解决的问题:(1)如何放宽特征要求(2)如何处理非线性可分的情况(加入隐藏层)


4/神经网络的BP算法:

参见:    https://wenku.baidu.com/view/3f14f716a76e58fafab003f1.html

(上述链接可以作为一个参考)

关于BP算法的解释参见:   https://www.zhihu.com/question/24827633


5/神经网络的参数和超参数:

参数: 权重w ,偏移b

超参数:(1). 学习率η,(2). 正则化参数λ,(3). 神经网络的层数L,(4). 每一个隐层中神经元的个数j,(5). 学习的回合数Epoch,(6). 小批量数据minibatch的大小,(7). 输出神经元的编码方式,(8). 代价函数的选择,(9). 权重初始化的方法,(10). 神经元激活函数的种类,(11).参加训练模型数据的规模

推荐阅读更多精彩内容

  • 街上有人唱歌 城上钟声响起 灯火通明的晚上 没有星星和烟火 你还不回家 你这个傻瓜
    七个小老头阅读 28评论 0 1
  • 第八章的主题是“认知”,很好玩,跟那章“意识”一样好玩。总体上来说应该是这章的内容比较能够吸引人,有可爱的案例子和...
    落微阅读 118评论 0 1
  • 冬天的夜干冷,尤其在北方。好久都没有这么忙碌过了,也没有好好审视自己了。我大概是一个冲动决策者,也是一个善变者,冒...
    __柒柒阅读 20评论 0 0
  • 学习地址:https://github.com/AttackOnDobby/iOS-Core-Animation-...
    机器人小雪阅读 856评论 0 7
  • 源代码 目的 针对marshmallow和peewee进行数据库字段整合,便于自动映射、验证和序列化行为。通过下面...
    极光火狐狸阅读 1,782评论 1 2