Please enable JavaScript.

Coggle requires JavaScript to display documents.

神經網路調教(AIA) (hidden layer 常見的激發函數 (ReLU (優點 (收斂較快, 可以克服梯度消失), 零以上 (丟什麼近來…

- - - - 值太過接近1 or -1
  - - - 丟什麼近來就什麼值出去
    - - 就給零
    - - softplus
    - - 收斂較快
      - 可以克服梯度消失
    - - 值接近0還是沒梯度
  - - - 值太過接近1 or 0
  - - - 最後一層的值先取exponential
        
        Normalized by the sum
      - 用於多分類
- - - - 不太需要更改預設的參數
- - - - one-hot encoding
        
        缺點
        
        資料可能會太sparse
      - 地址
        
        轉成經緯度
      - 權重型
        
        labelencoding
    - - 區間型
        
        取代表值
        
        例:0-17?
      - 程度型
        
        Low, Medium, High
        
        給1,2,3
  - - - 不同scale的weights修正需要不同的learning rates
      - 相同scale
        
        loss等高線較接近圓形
        
        收斂較快
      - internal covariate shift
        
        降低 learning rate
        
        訓練會變慢
        
        Batch normalization
        
        beta , gama
        
        聽不懂
        
        可以用較高的learning rate
    - - Normalization
- - - - 兩點相減的平方
    - - 兩點的水平距離加上垂直距離
    - - linear
  - - - 輸出層的激活函數
        
        sigmoid
    - - 輸出層的激活函數
        
        softmax
  - - - unbalanced dataset
- - - - 限制 weights 的大小
      - L1、L2
        
        為什麼可以重複使用?
    - - 減少支援浪費
    - - 隨機 disable 一定比例的連結
      - 可視為一個最終的ensemble
  - - - 但test的loss 停滯不前
    - - 但test的auc停滯不前