Please enable JavaScript.

Coggle requires JavaScript to display documents.

贝叶斯分类器 (半朴素贝叶斯 (SPODE (Super-Parent ODE, 1. 假设所有属性依赖于同一个属性(super-parent),…

- - - - 1. 计算条件互信息
      - 2. 构建完全图
        
        任意亮点之间边权设为
      - 3. 构建生成树
        
        挑选根变量，将边值设为有向
      - 4. 加入类别节点 y，增加从 y 到每个属性的有向边
    - - 条件互信息刻画了属性xi和yi在已知类别情况下的相关性
      - 保留了强相关属性之间的依赖性
  - - - 1. 尝试将每个属性作为超父来构建SPODE
      - Averaged One-Dependent Estimator
      - 2. 将那些具有足够训练数据支撑的SPODE集成起来作为最终结果
- - - - 对Z求期望，最大化已观测数据的对数“边际似然”
  - - - 若参数Θ已知，则可根据训练数据推断出最优隐变量Z的值
    - - 若Z的值已知，方便得对Θ做极大似然估计
  - - - 以当前参数Θt推断隐变量分布 P(Z|X, Θt)
      - 计算对数似然LL(Θ | X, Z)关于 Z 的期望
    - - 寻找最大化参数似然
- - - - h*(x) 被称为最优分类器
      - R(h*) 被称为贝叶斯风险
  - - - 给定x直接建模 P(c | x) 来预测c
    - - 先对联合概率分布 P(c, x) 建模，由次获得 P(c|x)
      - 考虑
        
        基于贝叶斯定理
        
        先验概率 × 似然 / 证据因子
        
        如何基于训练数据D估计
        
        先验 P(c)
        
        似然 P(x|c)
- - - - 对已知类别，假设所有的属性相互独立
  - - - 有充足的独立同分布样本
      - 得
    - - 离散属性
        
        表示Dc中第i个属性上取值为xi的样本组成的集合
      - 连续属性
        
        考虑概率密度函数
        
        高斯分布为例
  - - - N 表示训练集 D中可能的类别数
      - Ni 表示第 i 个属性可能的取值数
    - - 先验概率
      - 条件概率
- - - - 条件概率表(CPT)
      - 属性xi在中的父节点为
        
        包含了每个属性的条件概率表
    - - 有向无环图(DAG)
      - 每个节点对应一个属性
        
        两个属性有直接依赖关系则连接一条边
  - - - 同父结构
      - V型结构
      - 顺序结构
    - - 一个变量取值的确定与否，能对另两个变量的独立性发生影响
    - - 转化
        
        找出有向图中的V型结构，在两个父节点之间增加一条无向边
        
        将所有有向边改为无向边
      - 寻找变量间的条件独立性
        
        x 和 y能被集合z分开，即z被去除后，x和y分属两个连通分支
        
        则称x 和y 被 z有向分离
  - - - 评估贝叶斯网和训练数据的契合程度
      - MDL准则
        
        训练集 D
        
        贝叶斯网B
        
        |B| 是贝叶斯网参数个数
        
        f(θ)表示描述每个参数θ所需的字节数
        
        贝叶斯网的对数似然
    - - 贪心法
      - 约束网络空间削减搜索空间
  - - - 随机产生与证据 E = e一致的样本q0作为起始点
      - 每步从当前样本出发产生下一个样本
      - 得后验概率
    - - 每一步仅依赖于前一步的状态
- - - - 假设样本独立同分布
      - 表示训练集D中第c类样本组成的集合
    - - 寻找最大化似然的参数值