Please enable JavaScript.

Coggle requires JavaScript to display documents.

正则化 (分类 (Dropout (特征通过随机行为训练网络并平均多个随机决定进行预测，实现了一种参数共享的Bagging形式 …

- - - - $$\tilde{J}(\theta;X;y)=J(\theta;X;y)+\alpha \Omega(\theta)$$
    - - L^2参数正则化
        
        公式
        
        $$\tilde{J}(\theta;X;y)=\frac{\alpha}{2}\omega^\top\omega+J(\theta;X;y)$$
        
        概述
        
        L^2权重衰减是权重衰减最常见的形式
      - L^1正则化
        
        公式
        
        $$\tilde{J}(\theta;X;y)=\alpha ||\omega||_1+J(\theta;X;y)$$
        
        概述
        
        L1正则化使用的是w的绝对值
        
        特征
        
        相比L2正则化，L1正则化会产生更稀疏的解
        
        由L1正则化导出的稀疏性质已经被广泛地用于特征选择机制
  - - - 特征
        
        对于某些模型而言，向输入添加方差极小的噪声等价于对权重施加范数惩罚
    - - 概述
        
        假设数据标注存在极小的错误率e，那么y正确的概率是1-e
        
        标签平滑：通过把确切的分类从0和1替换成e/(k-1)和1-e，因为softmax在极端饱和，而修改后就不能饱和，所以会一直学习
  - - - 背景
        
        有类似输入和输出的模型A和B，他们的参数应该是类似的
      - 定义
        
        正这话一个模型的参数，使其接近另一个无监督模式下训练的模型的参数
      - 公式
        
        $$\Omega(\omega^{(A)},\omega^{(B)})=||\omega^{(A)}-\omega^{(B)}||_2^2$$
    - - 定义
        
        将各种模型或模型组件解释为共享唯一的一组参数
      - 例子
        
        CNN里的卷积核
  - - - $$\tilde{J}(\theta;X;y)=J(\theta;X;y)+\alpha ||h||_1$$
      - 解释
        
        使用L以范数得到神经元的稀疏表示，然后对他进行惩罚
  - - - $$\tilde{J}(\theta;X;y)=J(\theta;X;y)+\alpha \Omega(\theta-k)$$