Please enable JavaScript.

Coggle requires JavaScript to display documents.

支持向量机 (核函数 (引入 (解决 (3. 使得样本在新的空间线性可分, 2. 将样本从原始空间映射到更高维的特征空间), 问题 (1.…

- - - - 1. 原始样本空间不存在能正确划分两类样本的超平面
    - - 3. 使得样本在新的空间线性可分
      - 2. 将样本从原始空间映射到更高维的特征空间
  - - - xi与xj在特征空间的内积等于它们在原始样本空间中通过计算的结果
  - - - 高斯核、拉普拉斯核、Sigmoid核
      - 线性核、多项式核
    - - 线性组合
      - 直积
      - 对任意函数 g(x)
  - - - 可以作为核函数
      - 隐式定义一个“再生核希尔伯特空间”(RKHS)的特征空间
- - - - 间隔(margin)
      - 划分超平面
      - 支持向量(support vector)
        
        距离超平面最近的几个训练样本点
      - 支持向量机(SVM)基本型
  - - - 得到对偶问题
        
        解出a后，求w与b即可得到模型
      - KKT条件
    - - 选取一堆需要更新的变量ai和aj
      - 固定ai和aj以外的参数，求解对偶问题获得更新后的ai和aj值
    - - 1. 对任意支持向量有
      - 3. 使用所有支持向量求解的平均值
      - 2. 即
- - - - 为0/1损失函数
      - 替代损失(surrogate loss)
        
        数学性质
        
        凸函数
        
        的上界
        
        常见的替代损失
        
        hinge损失
        
        指数损失(exponential loss)
        
        对率损失(logistic loss)
    - - 软间隔支持向量机
        
        引入松弛变量
        
        用以表征该样本不满足约束的程度
        
        求解
        
        拉格朗日乘子法
        
        KKT条件
      - 软间隔支持向量机的最终模型仅与支持向量有关
        
        通过采用hinge损失函数仍保持了稀疏性
- - - - 用于描述模型 f 的某些性质
      - 正则化项
    - - 用于描述模型和数据的契合程度
    - - 被称为正则化常数
- - - - 优化问题
      - 最优解
      - 条件
        
        任意单调递增函数
        
        任意非负损失函数
        
        H是再生核希尔伯特空间，是H空间中关于h的范数
    - - 对于一般的损失函数和正则化项，优化问题的最优解都可以表示成核函数的线性组合
      - 通过“核化”（即引入核函数）来将线性学习器拓展为非线性学习器
  - - - 将样本映射到一个特征空间 F
      - x的核函数
    - - 第 i 类样本在特征空间 F 的均值
      - 散度矩阵
        
        类间散度矩阵
        
        类内散度矩阵