Please enable JavaScript.

Coggle requires JavaScript to display documents.

超参数 (选择超参数) - Coggle Diagram

- - - - T0
        
        学习率(Learning Rate)
        
        概述
        
        学习率可能是最重要的超参数。
        
        理论
        
        在理想化的二次情况下，如果学习率是最佳值的两倍大时，则会发生训练误差不降反而大幅上升的情况
      - 其他
        
        T3
        
        学习率衰减值
        
        T4
        
        Beta1、Beta2、e：Adam算法参数
        
        正则化(Regularization)方法
        
        激活函数
        
        T1
        
        冲量Beta：动量梯度下降因子（Gradient with momentum）
        
        模型结构
        
        batch_size
        
        Mini-Batch Size
        
        概述
        
        调整学习率外的其他参数时，需要同时监测训练误差和测试误差，以判断模型是否过拟合或欠拟合，然后适当调整其容量
  - - - 优点
        
        了尽可能地得到更多种参数组合
        不需要离散化超参数的值如果是表哥选择，5*5序列每个参数只有5个不同的值
        
        对重要性不同的参数之间的选择效果更好
        在实际应用中完全不知道哪个参数更加重要的情况下，随机采样的方式能有效解决这一问题
        
        没有浪费的使用，不想网格的会有重复
      - 例子
        
        有两个待调试的参数，随机生成5*5=25个点
      - 神经网络
        
        每层神经网络的神经元个数
        
        有多少层神经网络
        
        激活函数
      - 做法：
        
        为每个超参数定义一个边缘分布，例如对数尺度上的均匀分布
    - - 例子
        
        有两个待调试的参数，分别在每个参数上选取5个点，这样构成了5x5=25中参数组合
      - 缺点
        
        计算代价会随着超参数数量呈指数级增长
      - 使用情况
        
        当有3个或更少的超参数时，常见的超参数搜索方法是网格搜索
      - 做法
        
        通过经验保守挑选最小和最大值
        
        遍历网格中的数值（例如0）
        
        重复搜索在对数尺度下挑选合适的值（0.1,0.01,0.001....）
    - - 转化为优化问题
        
        概述
        
        计算验证集上可导误差函数关于超参数的梯度，然后遵循梯度更新
        
        问题
        
        过高的计算成本
        
        超参数不可导
      - 建模
        
        概述
        
        对验证集误差建模，然后通过优化模型来提升新的超参数
        
        缺点
        
        在模型能够从实验提取任何信息之前，它们需要运行完整的训练实现，但在初期实验的次数是明显不够的