Please enable JavaScript.

Coggle requires JavaScript to display documents.

DenseNet(2016) (特点 (稠密连接(Densely Connect) (优点 (减轻了梯度弥散带来的问题因为每一层都直连最后一层,…

- - - - 稠密连接数
        
        concat前面来自不同层的特征图作为新一层的输入，所以连接有L*(L+1)/2层
      - 非线性转化
        
        问题描述
        
        网络增长率。那么这样随着Dense Block模块深度的加深，后面的输入feature map的维度是很大的
        
        描述
        
        对输入进行非线性转化函数（non-liear transformation）操作。它是一个组合操作，其可能包括一系列的BN(Batch Normalization)，ReLU，Pooling及Conv操作
        
        解决方法
        
        加入了Bottleneck 单元，即1*1卷积进行降维，输出维度都被降到4K维(K为增长率)
    - - 减轻了梯度弥散带来的问题
        
        因为每一层都直连最后一层
      - 增强了特征的传播
        
        之前的网络是层层学习而来，这种方式更像是一种状态算法，这种状态从一层传到下一层，每一层从它的前一层读取状态，并写入到后面的层。而稠密连接可以直接从所有的特征图中学习它需要哪些特征
      - 鼓励特征重用
        
        如图，因为第一、二个隐藏层的特征对输出是有用的，但是因为特征量和可承载的信息量成正比，第二个隐藏层在传统模型中就必须是可承载第一第二层的信息量，而稠密连接则可以分开承载，从而实现特征重用
      - 大大减少了参数量
        
        因为特征被重用了，所以参数量自然减少了
        
        稠密连接可以自己学习成如图的连接，第二个隐藏层不一定需要第一个隐藏层的特征，而在传统的连接中则需要人为的增加模型宽度才能实现之个目标，模型会自适应到最适合的宽和深，从而减少了参数量
  - - - 原始DenseNet
        
        Dense Block模块:BN+Relu+Conv(3*3)+dropout
        
        transition layer模块:BN+Relu+Conv(1*1)(filternum:m)+dropout+Pooling(2*2)
      - DenseNet-B
        
        Dense Block模块:BN+Relu+Conv(1*1)(filternum:4K)+dropout+BN+Relu+Conv(3*3)+dropout
        
        transition layer模块:BN+Relu+Conv(1*1)(filternum:m)+dropout+Pooling(2*2)
      - DenseNet-BC
        
        Dense Block模块:BN+Relu+Conv(11)(filternum:4K)+dropout+BN+Relu+Conv(3\3)+dropout
        
        transition layer模块:BN+Relu+Conv(1*1)(filternum:θm，其中0<θ<1，文章取θ=0.5)+dropout+Pooling(2*2)