Please enable JavaScript.
Coggle requires JavaScript to display documents.
SENet(2017) (做法及原理 (Excitation 操作 (描述
通过参数 w 来为每个特征通道生成权重,其中参数 w…
SENet(2017)
做法及原理
一般卷积转换
给定一个输入 x,其特征通道数为 c_1,通过一系列卷积等一般变换后得到一个特征通道数为 c_2 的特征
Squeeze 操作
描述
顺着空间维度(利用Global Average Pool)来进行特征压缩,将每个二维的特征通道变成一个实数
做法及原理
使用 global average pooling 作为 Squeeze 操作,某种程度上具有全局的感受野,并且输出的维度和输入的特征通道数相匹配
Excitation 操作
描述
通过参数 w 来为每个特征通道生成权重,其中参数 w 被学习用来显式地建模特征通道间的相关性
做法及原理
- 两个 Fully Connected 层组成一个 Bottleneck 结构去建模通道间的相关性,使输出和输入维度相同。
- 第一个全连接层将特征维度降低到输入的 1/16,激活函数用Relu
- 第二个全连接层升回到原来的维度,然后通过一个 Sigmoid 的门获得 0~1 之间归一化的权重
优点
- 具有更多的非线性,可以更好地拟合通道间复杂的相关性
- 极大地减少了参数量和计算量
Reweight操作
描述
将 Excitation 的输出的权重看做是经过特征选择后的每个特征通道的重要性,然后通过乘法逐通道加权到先前的特征上,完成在通道维度上的对原始特征的重标定
做法及原理
最后通过一个 Scale 的操作来将归一化后的权重加权到每个通道的特征上
特点
问题描述
是否能从特征通道之间的关系来考虑去提升性能
描述
通过学习的方式来自动获取到每个特征通道的重要程度,然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征
论文
Squeeze-and-Excitation Networks