Please enable JavaScript.
Coggle requires JavaScript to display documents.
神经网络 (组成部分 (结构（Architecture） (基本组成：神经元 (构成 (激活函数 (种类 sigmoid函数
…
神经网络
组成部分
结构（Architecture）
-
基本组成：神经元
构成
激活函数
种类
- sigmoid函数
优点：二分类问题的输出取值为{0,+1}，所以一般会选择sigmoid作为激活函数。
- tanh函数
优点：因为tanh函数的取值范围在[-1,+1]之间，隐藏层的输出被限定在[-1,+1]之间，可以看成是在0值附近分布，均值为0。
- ReLU函数
优点：解决tanh和sigmoid当|z|很大的时候，激活函数的斜率（梯度）很小的问题
- Leaky ReLU函数
优点：解决ReLU当z小于零时，存在梯度为0的问题
作用
产生非线性结果
没有激活函数的话，无论多少层，都只能学习到一个线性模型
- 输入向量A
- 权重向量W
个数=本层#unit*上层#unit
- 偏置向量b
个数=本层#unit
定义
- 结构指定了网络中的变量和它们的拓扑关系
- 通过组合神经元构成神经网络
学习规则（Learning Rule）
学习规则指定了网络中的权重如何随着时间推进而调整
初始化权重，然后通过定义计算y和y_hat的代价函数，计算代价函数的导数，利用导数减小代价函数的值
激励函数（Activity Rule）
大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值
-
定义
- 神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似
人工神经元代替生物神经元，既然婴儿利用生物神经元能学会说话，那么人工神经元应该也可以
- 神经网络由大量的人工神经元联结进行计算
- 大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统
- 现代神经网络是一种非线性统计性数据建模工具