Please enable JavaScript.

Coggle requires JavaScript to display documents.

Batch Normalization(2015) - Coggle Diagram

- - - - 白化必须以整个训练集为基础
        
        概述
        
        如果只以mini-batch为基础，会影响参数的更新，导致模型爆炸
        
        公式
        
        $$\hat{x}=x-E[x]$$
        
        $$x=u+b,X=[x_{1...N}]$$
        
        $$E[x]=\frac{1}{N}\sum_{i=1}^N x_i$$
        
        $$b\leftarrow b+\Delta b$$
        
        $$u+(b+\Delta b)- E[u+(b+\Delta b)]=u+b-E[u+b]$$
        
        说明
        
        因为白化需要减去均值，当只在mini-batch求均值时，b的影响被抹平了，但是在反向传播的时候仍会计算b，这就导致b一直会加delta b而没反映在loss计算中。所以计算平均值时需要用整个训练集
      - 整个训练集计算白化成本太高
        
        概述
        
        白化不单止需要拿整个训练集进行归一化而且需要计算协方差矩阵
      - 白化过程改变了网络每一层的分布
        
        概述
        
        因为白化过程是不可逆的，所以它会改变网络的每一层分布
- - - - 公式
        
        $$\hat{Z}_j=\frac{Z_j-u_j} {\sqrt{\sigma^2_j+\epsilon}}$$
        
        $$u_j=\frac{1}{m}\sum_{i=1}^mZ^{(i)}_j$$
        
        $$\sigma_j^2=\frac{1}{m}\sum_{i=1}^m (Z_j^{(i)}-u_j)^2$$
      - 解释
        
        只对某个特征进行正则化，而不是像白化一样对整个输入
    - - 公式
        
        $$\tilde{Z}^{[l]}=\gamma*\frac{Z^{[l]}-u}{\sqrt{\sigma^2+\epsilon}}+\beta$$
        
        $$Z^{[l]}=g^{[l]}(\tilde{Z}^{[l]})$$
      - 解释
        
        通过正则化，大部分的结果会落在函数的线性部分，多层的线性函数变换是没有意义的，而且结果是不可逆，所以加入了两个科学系的参数gamma和beta，让转换可逆
        
        b在这里因为单独计算维度的平均值，所以被减掉了，不在会有影响
    - - 概述
        
        利用BN训练好模型后，保留每组mini-batch训练数据在网络中每一层