Please enable JavaScript.

Coggle requires JavaScript to display documents.

线性模型 (线性判别分析（LDA） (方法 (求解方法 (分子分母为二次型 (uploaded image), 拉格朗日乘子法 (uploaded…

- - - - 给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能近、异类点尽可能远
    - - 将新样本投影到训练出的直线上，根据投影点的位置确定新样本的类别
  - - - 异类样本尽可能远
        
        异类样例的投影点尽可能远
        
        类间散度矩阵
      - 同类样本尽可能近
        
        同类样例点协方差尽可能小
        
        类内散度矩阵
    - - 广义瑞丽商
    - - 分子分母为二次型
      - 拉格朗日乘子法
      - 对Sw奇异值分解
  - - - 全局散度矩阵
      - 类内散度矩阵
      - 类间散度矩阵
    - - 优化目标
        
        W是 d * (n-1) 矩阵
        
        tr(·)表示矩阵的迹(trance)
      - 通过广义特征值求解
  - - - LDA可达到最优分类
- - - - 属性间存在“序”(order)，则通过连续化转化为连续值
      - 不存在序关系，假定有k个属性，则通常转换为 k 维向量
    - - 均方误差(square loss, 平方损失)
      - 基于 均方误差最小化 来进行模型求解的方法
      - 试图找到一条直线，使所有样本到直线的欧氏距离之和最小
      - (w, b) = arg minΣ(f(xi) - yi)^2 = arg minΣ(yi - wxi - b)^2
    - - 样本由d个属性描述, 可将数据集 D 表示为一个 m*(d+1) 大小的矩阵 X
      - X^T * X 为满秩矩阵或正定矩阵时，
      - X^T*X 并不满秩，解得多个 w 均可使均方误差最小化,此时应引入正则化(regularization)项
- - - - 将N个类别两两配对，产生N(N-1)/2个二分
    - - 新样本提交给所有分类器，得到N(N-1)/2个分类结果，最终结果投票产生
    - - 存储开销和测试时间开销大，但训练开销时间小
  - - - 每次将一个类作为正例，其余类作为反例训练N个分类器
    - - 仅有一个分类器测试为正类，则对应类别标记为最终分类结果
      - 多个分类预测为正类，选择置信度最大的类别标记作为最终结果
    - - 存储开销和测试时间开销小，但训练时间开销大
  - - - ECOC(Error Correcting Output Codes, 纠错输出码)
      - DAG(Directed Acyclic Graph, 拆分法)
- - - - undersampling
        
        去除一些反例使得正反例数目相同
    - - oversampling
        
        增加一些正例使正、反例数目相同
    - - threshold-moving
  - - - 推得
        
        代价敏感学习(cost0sensitive learning)
- - - - 将y视为正例的可能性，1-为反例的可能性，则y/(1- y) 称为几率(odds)，ln(y / (1- y)) 为对数几率
  - - - 1. 极大似然法(maximum likelihood method)
        
        给定数据集 {xi, yi}，对率回归模型最大化“对数似然”(log-likelihood)
      - 2. 似然项重写
      - 3. 等价于
      - 4. 数值优化算法求最优解
        
        梯度下降法(gradient descent method)
        
        牛顿法(Newton method)