Please enable JavaScript.

Coggle requires JavaScript to display documents.

训练模型 (训练策略 (怎样制定策略 (制定策略相关因素数据量计算能力, 原则在有大量数据的时候，我们更倾向于使用简单的算法和更少的手…

- - - - 定义
        
        把从一个问题上学习到的知识，应用到另外一个相似的问题上
      - 实现
        
        步骤
        
        ConvNet作为固定特征提取器
        
        前面的卷积层保持不变，把前面的卷积层当做CNN Code，重新定义后面的全连接层
        
        Fine-tune
        
        不单只调整最后的全连接层，还会微调前面的卷积层
        
        数据量越大，重新微调的参数越多越前，甚至可以全部重新训练
        
        多种预训练模型
        
        网上有很多已经训练好的的模型
        
        不同模型针对的问题可能不一样
        
        概述
        
        在网上下载已经训练好的CNN，并根据数据量的大小，从后往前重新训练部分参数
        
        指导思想
        
        什么时候和怎么微调
        
        衡量标准
        
        数据量
        
        数据相似度
        
        实现方法
        
        新数据量小而且新旧数据相似度高：只重新训练最后的全连接层
        
        新数据量大而且新旧数据相似度高：整个网络尝试fine-tune
        
        新数据量小而且新旧数据相似度低：截断某处网络，接入全连接层进行分类
        
        新数据量大而且新旧数据相似度低：数据量越大，重新训练的参数就越多越前
        
        使用建议
        
        因为用的是已经训练好的模型，所以不能随意更改模型结构，否则提前训练的参数会无效
        
        用与预训练相似的学习率
      - 原因
        
        卷积神经网络前面层训练的参数捕捉的特征基本相似
        点、线、面，再到高级的五官特征等
        
        训练需要大量的数据和运算能力
        *后面层的神经网络大多是高级特征
        猫、狗、人
    - - 怎样实现数据扩充
        
        镜像翻转（Mirroring）
        
        随机剪裁（Random Cropping）
        
        旋转（Rotation）
        
        Shearing
        
        把图像变斜
        
        Local Warpping
        
        颜色转换
        
        为图片的RGB三个色彩通道进行增减值，如（R：+20，G：-20，B：+20）；PCA颜色增强：对图片的主色的变化较大，图片的次色变化较小，使总体的颜色保持一致
      - 训练中怎样实现数据扩充
        
        以管道的形式分工处理
      - 原因
        
        机器学习对于随机错误并不敏感，但是对系统错误敏感，数据扩充加入了随机错误，但是吧该有的特征都留下来了
- - - - 重复实验
        
        多次运行网络（30+），然后运用统计学方法概括模型的性能，并与其他模型作比较（推荐这种方法，但是由于有些模型的训练时间太长，这种方法并不总是可行的）
      - 设置随机数字生成器的种子
        
        随机生成器需要一个种子点开启该进程，在大多数实现中，通常默认使用以毫秒为单位的当前时间
        
        最好在代码文件的顶部导入和调用seed函数
    - - 来自第三方库的随机性
        
        试着将你的代码简化到最低要求（例如，一个数据样本，一轮训练等等），并仔细阅读API文档，尽力减少可能引入随机性的第三方库。
      - 使用GPU产生的随机性
        
        有证据显示如果你在堆栈中使用了 Nvidia cuDNN，这可能引入额外的随机源
      - 来自复杂模型的随机性
        
        这很可能是由后端库的效率造成的，或者是不能在内核中使用随机数序列(作者没有遇到过)
  - - - 现知特性
        
        破坏对称性
        
        概述
        
        初始参数需要在不同单元间“破坏对称性”
        
        原理
        
        如果同一层的两个神经元具有相同参数，那么学习算法将一直以相同的方式更新这两个单元
        
        结论
        
        用高斯或者均匀分布随机初始化模型的权重
        
        每个单元计算不同函数的目标导致了参数的随机初始化
        
        大初始值的两面性
        
        优点
        
        因为相互初始值相差较远，就会有更强的破会对称性的作用，有助于避免冗余的单元
        
        有助于避免梯度消失
        
        缺点
        
        可能会导致混沌（对于输入中很小的扰动非常敏感，导致确定性钱箱传播过程表现随机）
        
        梯度爆炸
        
        较大的权重也会产生是的激活函数饱和的值
      - 初始化方法
        
        标准初始化
        (normalized initialization)
        
        实现
        
        根据网络的输入m和输出n初始化权重
        
        公式
        
        $$U(-\sqrt{\frac{6}{m+n}},\sqrt{\frac{6}{m+n}})$$
        
        稀疏初始化
        (sparse initialization)
        
        实现
        
        每个单元初始化为恰好有k个非零权重
      - 背景
        
        设定改进的初始化策略是一项困难的任务，因为神经网络优化至今还未被很好地理解
        
        对于初始点如何影响泛化的理解是相当原始的，几乎没有提供如何选择初始点的任何指导
    - - 概述
        
        设置偏置的方法必须和设置权重的方法卸掉，设置为零在大多数权重初始化方案是可行的
      - 例外情况
        
        输出单元
        
        原因
        
        如果初始化权重足够小，那么该单元的输出仅由偏置决定，过大的偏置要更长的学习时间且可能导致饱和
        
        做法
        
        初始化偏置以获取正确的输出边缘统计通常是有利的(通过y=softmax(b)计算b)
        
        避免神经元饱和
        
        原因
        
        如果将ReLU的神经元偏置设为0，那么该单元就会饱和，无法学习
        
        做法
        
        根据神经元类型选择偏置以避免初始化引起太大饱和
        
        门电路单元
        
        原因
        
        如果门电路单元一开始就为0，那么就无法学习该门电路控制的输入了
        
        做法
        
        使门电路单元h约等于1