Please enable JavaScript.
Coggle requires JavaScript to display documents.
Network in Network(2013) (针对的问题 (GLM (改进 (mlpconv (原理 (所有局部感受野共享 …
Network in Network(2013)
针对的问题
GLM
问题描述
- GLM的抽象程度较低。这里的抽象较低是指该特征对同一概念的变体是不变的。
- 当样本的隐含概念(latent concept)线性可分时,GLM可以达到很好的抽象程度
一个卷积核只是whc的线性相乘后做relu,只有一层,相当于单层的感知器
- 同一概念的数据通常是非线性流形的(nonlinear manifold),捕捉这些概念的表达通常都是输入的高维非线性函数
改进
mlpconv
描述
- 将局部块的输入通过一个由全连接层和非线性激活函数组成的多层感知器(MLP)映射到了输出的特征向量
在普通的卷积核后加入n个1*1的卷积核
- 用更有效的非线性函数逼近器代替GLM可以增强局部模型的抽象能力
原理
所有局部感受野共享
- 在二维上的卷积相当于图片的每个元素和一个卷积核数字相乘,没什么意义
- 在三维上相当于有一个全连接层与每一个channel连接,有几个filter就有几个神经元
-
概述
CNN的卷积滤波器是底层数据块的广义线性模型(generalized linear model )(GLM),而且我们认为它的抽象程度较低。
全连接过拟合
概述
CNN最后的全连接层容易过拟合,从而阻碍了整个网络的泛化能力
问题描述
全连接层中的参数往往占据CNN整个网络参数的一大部分,从而使用全连接层容易导致过拟合
改进
Global Average Pooling
描述
在channel维度上求平均值,得到的结果向量直接输入softmax层
优点
- 增强特征图与类比间的对应关系使卷积结构保留的更好,使特征图分类是可信的得到很好的解释
- GAP层中没有参数设置,因此避免了过拟合
-