Please enable JavaScript.

Coggle requires JavaScript to display documents.

決策樹（Decision tree） (1.資料設定： (2.決策樹生成： (3.剪枝： (使用測試資料來進行決策樹修剪將以上1~3步驟不斷重複進行…

- - - - 每個內部節點表示一個評估欄位
        
        每個分枝代表一個可能的欄位輸出結果
        
        每個樹葉節點代表不同分類的類別標記
- - - - 終結點：通常用三角形來表示
- - - - 兼具分類與迴歸兩種功能，同時支援分類(Classification)與數字預測(Regression)，由於不限制應變數與自變數的類型，因此在使用上較具彈性，是目前最為常用的決策樹方法。
- - - - 這種演算法不能保證建立全域性最好的決策樹。Random Forest 引入隨機能緩解這個問題
- - - - 過於複雜的樹，無法好好的概括數據，過度擬合
        
        對有時間順序的數據，需要很多預處理
        
        當要分析的類別太多時，錯誤率可能會明顯升高
        
        剪枝可以緩解過擬合的負作用，常用方法是限制樹的高度、葉子節點中的最少樣本數量
  - - - 表示有可能測量該模型的可信度
      - 在相對短的時間內能夠對大型數據源做出可行且效果良好的結果
        
        處理數據與常規型屬性
        
        白盒模型
        
        如果模型中可以觀察到給定的情況，則可以通過布爾邏輯輕鬆解釋條件。相反，在黑匣子模型中（例如，在人工神經網絡中），結果可能更難以解釋
        
        可以處理連續與種類
        
        能夠處理數值型和連續的樣本特徵
- - - - Minimum samples for a terminal node (leaf)：要成為葉節點，最少需要多少資料
        
        Maximum depth of tree (vertical depth)：限制樹的高度最多幾層
        
        Maximum number of terminal nodes：限制最終葉節點的數目
        
        Maximum features to consider for split：在分離節點時，最多考慮幾種特徵值
  - - - 從底部開始，移除所有回傳為負值（與上一層相比）的節點葉子
        
        如果有一分枝回覆值為-10，但下一個分枝回覆+20，整體加總為+10，因此Tree pruning仍會保留該分枝（但一般的決策樹算法只看到分枝回覆-10便會停止而不會考慮到下一個分枝會回覆+20
- - - - C5.0
        
        CART
        
        每一個節點上都是採用二分法，也就是一次只能夠有兩個子節點
        
        分類與迴歸
        
        可應用於海量資料集合上之分類。主要在執行準確度和記憶體耗用方面做了改進
      - 利用屬性的獲利比率(Gain Ratio)克服問題
        
        獲利比率是資訊獲利正規化後的結果
      - 分類
  - - - χ2獨立性檢定 – CHAID
- - - - 使用測試資料來進行決策樹修剪將以上1~3步驟不斷重複進行，直到所有的新產生節點都是樹葉節點為止。
- - - - 針對每一個新產生的分支，將訓練資料重新排列，以進行下一個內部節點的產生
        
        重複上面的過程 (Recursive)，直到滿足終止條件