Please enable JavaScript.

Coggle requires JavaScript to display documents.

Deep feedforward networks - Coggle Diagram

- - - - 和標準答案的差異
      - 激活函數
        
        1
        
        z is ture
        
        0
        
        otherwise
        
        常用激活函數
        
        Sigmoid function
        
        介於01之間
    - - 一開始隨機設定
    - - 起始化權重
      - 調整權重
        
        輸出與目標值越來越接近
        
        minmize function
        
        gradient-decent method
        
        一階微分找斜率
        
        learning rate
        
        調整幅度的大小
        
        倒傳遞
- - - - 線性不可分
        
        透過類神經網路轉換(空間轉換)
      - 每個node都是一個向量或變數
    - - batch_size
        
        幾個資料集調整一次權重
      - epochs
        
        把完整訓練資料過一次
      - 中間層避免使用sigmoid
      - example
        
        MNSIT dataset
        
        movie review
        
        Boston housing price
    - - 多層但不要太寬
        
        太淺有可能需要以指數方式增加寬度
        
        太淺可能會過擬合
        
        使用更深的模型可以使用更少的單元跟參數減少泛化誤差
        
        淺層2000萬過擬合深層6000萬
      - 使用較少的單元跟參數
    - - 用feedback signal調整權重
      - 反向傳播
  - - - binary cross entropy
        
        for single class
        
        P19
        
        multiclass, multilabel classification
        
        regression between 0 and 1
      - categorical cross entropy
        
        multiclass, single-label classificaion
        
        多類別單一答案
      - MSE
        
        regression
        
        regression between 0 and 1
  - - - linear
        
        線性
      - reLU
        
        最常看見90%
        
        負的輸出0正的輸出值
        
        Leaky Relu
        
        alpha to a snail value like 0.01
        
        absolute value rectification
        
        alpha = -1
      - Sigmoid
        
        0-1之間
      - Hyperbolic Tangent
        
        -1至1之間
      - Gaussian
        
        RBF NN
        
        不容易訓練
        
        因為數值範圍比較小超過範圍就會變0
      - Threshold or Step
      - Ramp
      - Softplus
        
        沒有比較好
      - Hard tanh
    - - 飽和難調
      - widespread saturation of sigmoid unit
    - - 節點分群，輸出單一群的最大值