Please enable JavaScript.

Coggle requires JavaScript to display documents.

机器学习模型 (神经网络 (权重初始化 (用小数值的随机数初始化 (虽然不能设为0，但是仍然希望权重接近于0。.通过随机选取接近于0的数，可以打破对…

- - - - ReLU
      - Sigmoid
      - Binary
      - Tanh
      - Softplus
      - Softmax
      - Maxout
  - - - 虽然不能设为0，但是仍然希望权重接近于0。.通过随机选取接近于0的数，可以打破对称性。由于在开始的时候神经元的选择都是随机且独特的，所以它们能够计算出区别明显的更新，使得整个网络的神经元更加多样化。
        
        其参数可能是按照均值为0，标准差为1的正态分布来初始化。
    - - 神经元随机初始化的一个问题是其输出方差随着输入的数量增加而增加。结果表明, 通过输入数量的平方根来缩放权重向量, 可以将每个神经元输出的方差规范化到1。
        
        这保证了神经网络的所有神经元接近一个相似的输出分布并且加快收敛
    - - 在理想的情况下，在使用了合适的数据规范化后，可以假定一半的权重是正值，一半的权重是负值。但是在全0初始化的时候会产生错误，因为如果神经网络的所有神经元计算的输出都是一样的话，其反向传播输出的梯度是一样的，因此更新也是一样的。换句话说，如果权重被设置成一样的，那么就会缺失不对称性的来源
  - - - 然而，如果这样操作的话，在每轮迭代中权重会变化很多（修正过度），会使得损失发散。因此，通常会在导数乘上一个小数值“学习率”
    - - 固定学习率，并对所有参数使用
      - 通过减小学习率获得更好的结果
        
        当验证误差不再减小时，学习率减至0.5倍
        
        当迭代次数超过τ的时候，学习率更新为(t/τ)*α，α为原来的学习率，t为当前迭代次数。
        
        非手动的修改方法，如Adagrad，学习率 η 会随着每次迭代而根据历史梯度的变化而变化
  - - - 通过随机梯度下降，训练一一个个step进行，在每一个step，我们考虑使用一个数量为m的mini-batch。mini-batch是用来估算损失函数的梯度
- - - - 逆
      - 对数
      - 单位
- - - - 连接
        
        全连接(complete)
        
        单一(single)
        
        平均值
        
        中心点
      - 差异度测量
        
        欧几里得
        
        两点间直线距离
        
        曼哈顿
        
        两个点在标准坐标系上的绝对轴距总和
  - - - 连接度
      - 轮廓宽度
      - Dunn指数
    - - 无覆盖APN
      - 平均距离AD
      - 距离均值的平均距离ADM
      - 品质因数FOM