Please enable JavaScript.

Coggle requires JavaScript to display documents.

深度學習導論(AIA) (深度學習 (經典的神經網路 (AlexNet(8 layers), VGGNet(19 layers),…

- - - - SVM可視為單層
  - - - 多重神經元(MLP)
      - 線性轉換
  - - - weights 、bias
    - - 計算loss
        
        loss function
        
        MAE
        
        MSE
        
        可自行定義
      - 梯度下降、反向傳播
        
        梯度下降
        
        Chain Rule
        
        stochastic gradient descent
        
        mini-batch
        
        batch size 不會設定太大
        
        利用少量樣本更新權重
        
        gradient descent
        
        梯度消失
        
        利用momentum 克服梯度消失
        
        先算gradient
        
        加上 momentum
        
        Nesterov momentum
        
        顛倒
        
        想法
        
        參考前一次的gradient當作 momentum
        
        Learning Rate 的影響
        
        太大沒法收斂
        
        太小算得太慢
        
        反向傳播
        
        目的
        
        算梯度
        
        weight沿著梯度反方向更新
- - - - 改善
        
        止於至善
        
        監督式學習
        
        CNN、RNN
  - - - Hierarchical Clustering
        
        資料的距離分很散可以使用
      - Center-based Clustering
        
        KNN
        
        優勢快速
      - Density-based Clustering
        
        DBSCAN
- - - - 觀察反應(reviewing)
        
        抽象概念(concluding)
        
        主動實驗(planning)