Please enable JavaScript.
Coggle requires JavaScript to display documents.
ResNeSt(2020) - Coggle Diagram
ResNeSt(2020)
组件
分组卷积
概述
- 类似ResneXt里面的分组卷积,但这里分组是先分成K个大组,然后再分R个小组,所以总共是K*R个组,每个小组的channel数是C/K/R
- 同时组合SK net里面的Split
步骤
- 对输入进行1x1x(C/K/R)的卷积
- 对上一步输出进行3x3x(C/K)的卷积
Self Attention
-
概述
类似SKnet的操作,但是相对SKnet只有2个分块,它又K个分块
步骤
- 分组卷积的结果加起来然后全局池化
- 压缩全连接+Batch Normalization + ReLU
- K个不同的扩张全连接+softmax得到权重
- 用上一步得到的权重加权求和得到k租的输出
模型
步骤
- 分组卷积得到R组(h,w,c‘/k)的结果
- 经过Self Attention后得到R组(h,w,c’/k)的结果
- 将上一步的结果concat起来得到和输入一样的(h,w,c’)的结果
- 再经过1x1卷积得到(h,w,c)的结果进行残差连接
-