Please enable JavaScript.

Coggle requires JavaScript to display documents.

CNN (:cherry_blossom:theory (:one:参数量链接数 (:pencil2:\( 链接数 = (卷积核的大小 +…

- - - - :explode:图像的每一个像素点都要和所有参数建立且仅建立一次连接
    - - from keras.layers import Dense, Conv2D from keras.models import Sequential model = Sequential() conv1 = Conv2D(5, 3, input_shape=(10, 10, 3), data_format="channels_last") model.add(conv1) print(model.summary())
  - - - :maple_leaf:我觉得是计算第k个输出channel的时候,输入的每张图片都和[F, F, i, k]卷积核计算,即\( \sigma(\sum_i({图片和[F, F, i, k]卷积}) + bias_k) \)
  - - - :explode:max-pooling直接将梯度作用在感受野max_id的一个位置上,而mean-pooling则将梯度除以n(感受野总共n个位置)作用在感受野的所有位置上
      - :star:upsample需要补零
    - - :explode:前向传播计算公式为\( a^l = \sigma(a^{l - 1} * W^l + b^l) \)
      - :bread:\( * \)为卷积操作, \( a^l \)表示第l层的输出
      - :green_apple:error
        
        :one:误差的递推公式为\( \delta^{l-1} = \dfrac{\partial loss_{total}}{\partial z^{l - 1}} = \dfrac{\partial loss_{total}}{\partial z^{l}} \dfrac{\partial z^{l}}{\partial z^{l - 1}} = \delta^{l} \dfrac{\partial z^{l }}{\partial z^{l-1}} \), 所以我们要计算得到\( \dfrac{\partial z^{l}}{\partial z^{l-1}} \)
        
        :two:计算偏微分肯定要先知道原来的公式,前向传播的公式就是\( z^{l} = \sigma(z^{l-1}) * W^{l} + b^l \)
        
        :warning:这里的\( * \)是卷积操作.也就是框框移动
        
        :three:最后偏微分的结果就是\( \delta^{l-1} = \delta^{l} \dfrac{\partial z^{l}}{\partial z^{l-1}} = \delta^{l} * rot180(W) \odot \sigma^{\prime}(z^{l-1}) \)
        
        :star:不好直接推导,还是举例说明好
        
        :question:为什么backforward的时候要旋转W
        
        :bread:对于l-1层layer的一个像素,它在l层layer中最早是通过乘以kernel的最右下角的,然后最晚是kernel的最左上角,所以从l往回的时候,是右下-左上(即反转180°)
  - - - :explode:不考虑batch_size,如果我的输入矩阵是\( [w, h, c_{in}] \)大小,而kernel大小为\( [w_k, h_k, c_{in}] \),那么对于第i个2D输入矩阵来说,总共\( c_{in} \)个2D输入矩阵,分别和各自对应的\( [w_k, h_k, i] \)做卷积,然后相加起来作为输出矩阵的一个元素.
        
        :arrow_right:1个\( [w_k, h_k, c_{in}] \)得到1个2D图形.而\( [w_k, h_k, c_{in}, c_{out}] \)可以得到\( c_{out} \)个2D图形 = \( [w_{out}, h_{out}, c_{out}] \)
    - - :question:为什么池化层常用的是max,mean,而不是min呢
        
        :explode:mean容易理解.使用max是因为当一个神经元的值特别大时,它很可能表示一个特征,比如一条直线,一条狗,所以我们要用max来保留这个特征
      - :musical_note:strengths
        
        :one:减少矩阵占用内存空间
        
        :two:改变感受野的大小,提取多层次的特征
    - - :musical_note:strengths
        
        :one:reverse corner information
        
        :bread:Without padding, very few values at the next layer would be affected by pixels at the edges of an image
        
        :two:keep the height and weight
  - - - :pencil2:\( O = \lfloor\dfrac{I + P_{start} + P_{end} - F}{S}\rfloor + 1 \)
      - :bread:输入长度为I,过滤器长度为F,补零数量为P,Stride量为S,而该维度下特征映射的输出大小为O
    - - :pencil2:\( O = \lfloor\dfrac{I - F }{S}\rfloor + 1 \)
- - - - :one:扩展性好,容易扩展到其他图像的数据集
      - :two:全部使用3*3的卷积核和2*2的池化核
        
        :musical_note:优点
        
        :one:2个3*3的卷积核等效于1个5*5的卷积核,而3个3*3的卷积核等效于1个7*7的卷积核,而前者的参数量只有3*3*3,后者却是接近一倍的7*7个参数量 :
        
        :two:多个卷积核可以有更多的非线性转换(relu),更多的非线性转换意味着模型对特征的学习能力更强
        
        :warning:VGGNet的参数量主要在全连接层,而不是卷积/池化层
      - :three:预测的时候采用Multi-Scale方法,将图像scale到一个尺寸Q进行运算,最后使用滑窗的方式进行分类预测,将不同窗口的分类结果平均,再将不同尺寸Q的结果平均得到最后的结果,这样可以提高图片数据的利用率并提升预测准确率
      - :four:训练的时候使用Multi-Scale做数据增强,将原始图像缩放到不同尺寸S,然后随机裁剪成224*224的图片,这样可以增加数据量,防止模型过拟合
    - - :one:先训练第一层网络,再利用这个网络的参数初始化后面的网络,提高收敛速率
    - - :one:LRN层作用不大
      - :two:越深的网络效果越好
      - :three:1*1的卷积有效,但是3*3更好,因为大一点可以根号地提取空间特征
    - - :one:VGG16
      - :two:VGG19
      - :classical_building:structure
        
        conv3 means the kernel size is 3x3
- - - - :palm_tree:因为有些特征在图片中只是一小部分
  - - - :musical_note:一个图片可能有多个相同patterns,用相同参数可以同时提取它们
      - :icecream:捕捉正对角线都是1的Pattern
        
        :bread:如果存在就输出大值,这里可以看到Share参数能捕捉一张图片的相同Pattern
    - - :poultry_leg:为什么pooling后可以得到相同结果?
        
        :palm_tree:比如鸟的图片去除奇数行和奇数列,还是一只鸟
        
        :poultry_leg:Alpha Go的围棋如果做pooling不就结果不同了吗
        
        :palm_tree:Alpha Go没有做pooling
- - - - :one:conv结果最大化
      - :two:标签的最大化