Please enable JavaScript.

Coggle requires JavaScript to display documents.

optimization for deep training deep models - Coggle Diagram

- - - - 平坦
        
        平坦移大推error function變動很小
      - 陡峭
        
        移一點error就會下降很多
    - - 動量
      - 適應性學習
- - - - m=1代表每筆都更新一次
      - 如果M=N那SGD=GD
    - - 發生原因
        
        在一側進行初始化而且無法越過
        
        如果局部表面不指向全局解，則基於下坡運動的優化可能會失敗。
      - 更高維度空間可以超過但軌跡可能會很長並導致訓練時間過長
  - - - 差異
        
        評估梯度的地方
      - 在標準動量中添加一個校正因子
    - - 目的
        
        poor conditioning of the Hessian matrix
        
        variance in the stochastic gradient
      - 計算參數更新方向前會考慮前一次參數更新的方向(v(t-1))
        
        當下梯度方向和歷史參數更新的方向一致，則會增強這個方向的梯度
        
        當下梯度方向和歷史參數更新的方向不一致，則梯度會衰退。然後每一次對梯度作方向微調
        
        增加學習上的穩定性
        
        擺脫局部最佳解
- - - - 學習率快速下降
    - - 學習率下降相對小
  - - - 調整量小
    - - 調整量大