Please enable JavaScript.
Coggle requires JavaScript to display documents.
网络框架调整 (超参数 (学习率 (学习率衰减 (避免算法在一个最小值点较大的范围内不断波动)), 迭代次数, 隐藏层层数, 每一层的神经元个数,…
网络框架调整
超参数
学习率
学习率衰减
避免算法在一个最小值点较大的范围内不断波动
迭代次数
隐藏层层数
每一层的神经元个数
激活函数的选择
Mini-batch
随机梯度下降
Mini-batch=1
会丢失向量化带来的计算加速
因为每次迭代都是在不同样本集上进行的，所以损失函数，不会像Batch 那样一直下降，但是其整体趋势是呈下降的。
Batch
Mini-batch = m
损失函数总是向减小的方向下降
Mini-batch 的大小要符合CPU/GPU内存，一般按应用方面来设置，如果不符合的话，算法性能会受到影响。
池化层
Max pooling
最大池化的作用是：如果在过滤器(卷积核)中提取到某个特征，那么保留其最大值，如果没有提取到这个特征，可能在右上限中不存在这个特征，那么其中的最大值也还是很小。
Average pooling
平均池化不太常用，不过也有例外，就是对于很深的神经网络，我们可以用平均池化来分解，比如可以将一个7×7×1000 的网络表示层，在整个空间内求平均值，继而得到一个1×1×1000 的网络层。
在池化过程中，并没有需要学习的参数
参数
W
b
查看网络结果情况
过拟合
训练集的loos值很低，但验证集的loss值很高
解决方法
1、使用更多的数据
2、正则化
欠拟合
训练集的loss值很高
解决方法
1、选择一个新网络，比如有更多的隐藏层或隐藏层单元
2、花费更多的时间去训练
Batch Norm
将输入特征进行归一化，可以加速模型的训练
Batch Norm 操作发生在计算激活函数值a 之前
网络压缩
对于输入图像的高度和宽度，可以使用池化层来压缩
对于其深度(信道数量nC)，我们则可以使用1×1 卷积来进行压缩
Padding
若p 表示Padding的值，则输入n×n 大小的图片，最终的到的图片大小为(n+2p−f+1)×(n+2p−f+1) ，其中f 表示卷积核的大小 ，步长默认为1