Please enable JavaScript.
Coggle requires JavaScript to display documents.
SK Net(2019 ) - Coggle Diagram
灵感
人们在看不同尺寸不同远近的物体时,视觉皮层神经元接受域大小是会根据刺激来进行调节的
组件
Split
概述
对输入向量X进行不同卷积核大小的完整卷积操作
做法
- 分别进行5x5 和 3x3的卷积
- 为了保证不同卷积核的结果可以有一样的维度,3x3的卷积步长为2
- Batch Normalization
- ReLU
Fuse
-
做法
- 将3x3卷积核5x5卷积的结果加起来
- 全局平局池化得到1x1xC的向量
- 像SE模型一样的先降维再升维的两层全连接得到
1x1xC的向量
Select
概述
用Fuse中得出的注意力向量与卷积结果分别进行加权操作
-
-