Please enable JavaScript.

Coggle requires JavaScript to display documents.

模型選擇與調參 (模型狀態 (學習曲線 (一開始訓練集的準確率會非常高，原因是訓練集樣本少，容易擬合，當訓練集學的東西越多，準確率會下降,…

- - - - 訓練集上跟驗證集的Accuracy有很大的差異
  - - - 所學習的Accuracy會跟理想的準確率差很多的
  - - - 增大正則化係數
      - 減少特徵個數(不是太推薦)
        
        不要以為降低維度能達到過擬合
      - 找更多的數據來學習
    - - 找更多的特徵
      - 減少正則化係數
- - - - 多個局部最優解的平均更接近全局最憂解
    - - 真實假設f可能不在已知的假設空間H內，平均可能更接近H外的真實假設f
    - - 假設空間h的平均更接近真實假設f
  - - - 模型stacking
        
        先分別訓練出多個模型
        
        在其分別答案再將答案給到一個最終模型
        
        有過擬合風險
      - blending
        
        弱化版的stacking
        
        做投票或加強平均
        
        弱化成線性模型
    - - boosting
        
        考得不好的原因是什麼?
        
        還不夠努力要多做題(重複迭袋訓練)
        
        2.時間要分配合理，放在重點題目上(每次分配給分錯樣本更高的權重)
        
        我不聰明，但腳踏實地(用簡單的分類器疊加)
        
        Adaboost
        
        Xgboost
    - - Bagging
        
        1.效果不好的原因是過擬合還是欠擬合
        
        2.如何緩解過擬合?(1)少給點題(2)找多個人來做綜合答案
        
        sklearn.ensemble.BaggingClassifier
      - 隨機森林/Random Forest
        
        基於樹模型的Bagging
        
        特徵也會做採樣處理
      - Voting 投票器
        
        單個模型很難控制過擬合
        
        sklearn.ensemble.VotingClassifier
- - - - 做更細化的工作
      - 特徵組合
  - - - 分類問題
        
        哪部分特徵使他們分錯
        
        這些錯誤的分類有沒有共性
        
        哪些訓練樣本分錯了?
        
        是否有還沒挖掘的特性
        
        ...
      - 回歸問題
        
        哪些樣本預測結果差距大,why?
        
        ....
- - - - 如果不用正則化Lambda 會過擬合，如果過大會失去學習效果，Lambda 就是為超參數
    - - 交叉驗證
        
        驗證在這組參數下效果的好壞
        
        哪些參數能被考慮?
        
        用網格搜索(Grid_Search)
        
        候選參數集中最加參數
        
        參數列表沒有固定數學公式，只能慢慢試
        
        先用粗列的參數列表選出最佳，再進行細分
        
        sklearn.model_selection.GridSearchCV
- - - - 有效特徵選擇