Please enable JavaScript.

Coggle requires JavaScript to display documents.

神經訓練的探討 - Coggle Diagram

- - - - 小batch(機槍)
        
        更新多，步伐小，有noisy(雜訊)
        
        一個epoch時間長
        
        noisy(雜訊)可幫助訓練
        
        正確率高
        
        每次更新時都能在找到新的gradient(坡度)往下
        
        testing 效果比較好
        
        可能的解釋:
        
        遇到峽谷會有誤差，平原誤差不大
      - 大batch(狙擊槍)
        
        更新少，能踩出去的步伐較大
        
        更新時間慢
        
        有了平行運算，一個epoch更新時間比 "多batch" 少
      - 懶人包表格
- - - - saddle point 鞍點
        
        還有救
        
        local minima 局部最小值
        
        critical point 跨越不了的門檻
        
        束手無策，等死
        
        很少出現，尤其維度越高，越難出現
        
        loss 掉不下去