Please enable JavaScript.

Coggle requires JavaScript to display documents.

Decision Tree (:moneybag:pruning (:one:prepruning (:explode:在构造decision…

- - - - :one:information entropy
        
        :pencil2:\( \text{Ent}(D) = - \sum_{k=1}^{|\gamma|}{p_k log_2 p_k} \) (\(p_k\)表示被当前样本集合D中第k类样本所占的比例)
        
        :arrow_right:empirical information entropy
        
        :bread:概率\(p_k\)由极大似然估计得到的时候,称作这个
      - :two:information gain
        
        :pencil2:\( Gain(D, a) = Ent(D) - \sum_{v=1}^{V}{\dfrac{|D^v|}{|D|}Ent(D^v)} \) 或者 \( Gain(D, A) = Ent(D) - Ent(D|A) \),
        
        :star:points
        
        :one:这个公式是在指定其中一个feature来计算的,计算出来的是这个属性的information gain, 最终的选择是对多个属性多次带入这个公式计算,选择最大的作为划分属性
        
        :two:\(\dfrac{|D^v|}{|D|}\)表示这个属性上取值为v的样本集合所占比例,作为information entropy的weight加权求和
        
        :bread:集合D的empirical entropy和给定集特征A下集合D的empirical conditional entropy, 前者表示对集合D分类的不确定性,后者表示对给定特征A的情况下对集合D分类的不确定性
      - :two:conditional entropy
        
        :pencil2:\( Ent(Y|X) = \sum_{i=1}^n{p_i \text{Ent}(Y|X = x_i)} \)
        
        :bread:给定随机变量X的条件下,随机变量个Y的conditional entropy
        
        :arrow_right:empirical conditional entropy
        
        :bread:概率\(p_i\)由极大似然估计得到的时候,称作这个
  - - - :one:\( Gain_ratio(D, a) = \dfrac{Gain(D, a)}{IV(a)} \)
      - :two:\( IV(a) = - \sum_{v=1}^{V}{\dfrac{|D^v|}{|D|} log_2 \dfrac{|D^v|}{|D|}} \), 称为属性a的intrinsic value
- - - - :arrow_right:选择包含样本数量最多的类别
      - :star:后验分布
    - - :arrow_right:选择父节点的类别
      - :star:先验分布