Please enable JavaScript.
Coggle requires JavaScript to display documents.
ML model, hyper-parameter optimization (HPO), ML (HPO), HPO組成, 正在查找相關說明的文獻…
ML model
Hyper-parameter
無法直接從資料學習中估計，必須在訓練 ML 模型之前設定，因為它們定義了模型架構
types
categorical
discrete
continous
parameter
透過資料學習過程進行初始化和更新的參數（例如神經網路中神經元的權重），稱為模型參數
hyper-parameter optimization (HPO)
HPO的主要目標是自動化超參數調整流程，使用戶能夠有效地將機器學習模型應用於實際問題
進行HPO的原因
減少了所需的人力
提高 ML 模型的效能
使模型和研究更具可重複性。只有實現相同等級的超參數調整過程，才能公平地比較不同的ML演算法
機器學習的關鍵過程是解決最佳化問題。為了建構ML模型，透過最佳化方法初始化並最佳化其權重參數，直到目標函數接近最小值或精度接近最大值
HPO的挑戰
傳統最佳化不適用的原因
目標函數，通常是非凸且不可微的函數。
機器學習模型的超參數包括連續、離散、分類和條件超參數。
大規模資料集上的訓練計算成本很高
表現不佳的原因
搜參空間不對
離散空間所產生的問題
非NP問題
非凸函式(non Convex function)
超參數組合的選擇
超參數重要性分析
模型特有的超參
不特定于模型超參
與模型權重(weight)有關?
影響資料迭代後的評估結果?
ML
HPO
optimal ML
HPO組成
1.估計器estimator
2.搜尋空間search space
3.查找超參數組合的搜尋或最佳化方法search or optimization method
4.評估函數evaluation function
正在查找相關說明的文獻
方向－fine tuned