Please enable JavaScript.
Coggle requires JavaScript to display documents.
ResNets(2015) (特点 (残差 (原理
(可学习深度 (描述
如果网络已经到达最优,继续加深网络,residual…
ResNets(2015)
特点
描述
- ResNet提出了identity mapping和residual mapping
- identity mapping(恒等映射)顾名思义,就是指本身,也就是公式中的x,指的就是图中”弯弯的曲线”
- residual mapping指的是“差”,也就是y−x,所以残差指的就是F(x)部分,指的就是除了”弯弯的曲线“那部分
问题描述
随着网络的加深,出现了训练集准确率下降的现象,我们可以确定这不是由于Overfit过拟合造成的(过拟合的情况训练集应该准确率很高)
原理
可学习深度
-
-
分析
- 在平直(plain)神经网络,2个神经网络层都必须被学习,所以参数和层数都是固定
- 在残差神经网络中,残差块可以是2层网络,也可以是0层
- 假设网络中均使用Relu激活函数,所以最后的输出a大于等于0。这里我们给出a[l+2]
- 如果使用L2正则化或者权重衰减,会压缩W和b的值,当w[l+1]和b[l+1]为0时,a[+2]=a[l]
identity mapping(恒等映射)
问题描述
如果F(x)和x的channel个数不同怎么办,因为F(x)和x是按照channel维度相加的,channel不同怎么相加呢
描述
将Identity mapping的x调整至和residual mapping的输出的维度数一样(w、h必须一样)
- 当维度不一样时使用1*1的卷积操作,用来调整x的channel维度后相加
- 当维度一样时直接相加
问题描述
残差外的多余深度以及计算量可以通过残差解决,残差内的呢
描述
不同的深度制定不同的残差构造块,利用bottlenet以减少计算量和参数量
原理
第一个1x1的卷积把256维channel降到64维,然后在最后通过1x1卷积恢复,整体上用的参数数目:1x1x256x64 + 3x3x64x64 + 1x1x64x256 = 69632,而不使用bottleneck的话就是两个3x3x256的卷积,参数数目: 3x3x256x256x2 = 1179648,差了16.94倍
论文
Deep residual learning for image recognition