Please enable JavaScript.

Coggle requires JavaScript to display documents.

Machine Learning (Logistic回归/分类器 (梯度下降法 (变式 (BGD批量梯度下降法:每次迭代使用所有样例,…

- - - - BGD批量梯度下降法:每次迭代使用所有样例
      - SGD随机梯度下降法：每次迭代使用一个样例
      - MBGD小批量梯度下降法：每次迭代使用b个样本
  - - - 单位阶跃函数
        
        性质：简单，准确，锐利，数学性质不好
        
        形式：\( H(x)=\begin{cases}0,&x<0,\\ 1,&x\geq 0 \end{cases} \)
      - sigmoid函数
        
        性质：数学性质好，柔和
        
        形式：\(\sigma (z)=\frac{1}{1+e^{-z}}\)
      - 目标：将函数值映射到分类
  - - - 原因：模型本身比较简单
      - 办法：使用神经网络
    - - 原因：样本过少
- - - - 优化
        
        目标：最大化点到直线的最小距离
        
        公式：\( arg\max\limits_{w,b} \left \{ \min\limits_n(label\cdot(w^Tx+b) )\cdot \frac{1}{||w||} \right\}\)
        
        转化：\(\max\limits_{w,b}\frac{2}{||w||} \ \ s.t. y_i(w^Tx_i+b)\ge 1, i=1,2,...,m\)
        
        转化2：
        \(\max\limits_{w,b}\frac{1}{2}||w||^2\ \ \ s.t. y_i(w^Tx_i+b)\ge 1, i=1,2,...,m\)
        可使用凸二次规划包求解
        
        转化3（SMO）：使用拉格朗日乘子法 :warning:
      - 距离函数:假设模型为\(f(x)=w^Tx+b\),则距离函数为\(d=\frac{|w^Tx+b|}{||w||}\)
    - - 原理：使用核函数将低维向量映射到高位向量
      - 核函数 :warning:
      - 容错
        
        允许部分点被分错以避免过拟合
        
        使用软间隔，和松弛变量
  - - - 原因：过于松弛,数据本身不可分，需要使用核函数
      - 办法：增大C
    - - 原因：过于紧绷
      - 办法：减小C
- - - - 预剪枝
        
        子集太小，停止分支
        
        误差太小，停止分支
      - 后剪枝
        
        在测试是数据集上验证，分支是否有必要存在
  - - - 信息：\(l(x)=-log_2p(x_i)\)
        其中p为分支概率
      - 信息增益：父节点的信息量减去所有子分类信息的加权和
      - 选择使得信息增益最大的属性进行分支划分
    - - 公式：\(gini(x)=\sum \limits^m\limits_{i=1}p(xi)(1-p(x_i))\)
      - 选择Gini系数最小的分枝方法
  - - - 方法：使用随机森林
      - 方法：进行剪枝
- - - - 对异常值不敏感 :warning:
      - 无数据输入假设 :warning:
      - 精确度高
    - - 计算复杂度高
      - 空间复杂度高
  - - - 原因：k选择过大
      - 方法：下调k的值
    - - 原因：k选择过小
      - 方法：上调k的值
- - - - 在数据较少的情况下仍然有效
      - 可以处理多类问题
    - - 假设各维度的数据相互独立，很多时候这个假设不成立
  - - - 原因：可能是由于其数据不适合朴素贝叶斯分类器，各维度相互关联程度较深；维度选择不够
    - - 原因：训练集样本过少
- - - - 1.随机选择和替换，产生多个新的数据集
      - 2.在每个数据集上分别训练一个算法
      - 3.使用时，让所有训练好的算法进行投票，
        票数的为最后结果
  - - - 非等权
      - 根据预测效果，动态调节各个子算法的权
    - - 1.训练多个计算法
      - 2.评估计算法错误率，错误率超过0.5舍弃
      - 3.\(\alpha_i=ln(\frac{1-\epsilon_i}{\epsilon_i})\)
      - 4.更新权\(D_i=\frac{D_i\alpha_i}{sum(D)}\)
      - 5.加权输出结果
  - - - 随机选择属性子集
      - 在属性子集上构建决策树
      - 使决策树进行投票
- - - - 支持度：\(Z(A)=count(A)/count(*)\)
      - 置信度：\(C(A->B)=Z(A,B)/Z(A)\)
    - - 对每个频繁集构建树模型
      - 按照置信度对关联规则进行筛
    - - Apriori算法
        
        2.对所有现有频繁机进行组合，再次筛选频繁集
        
        1.扫描记录，获得所有超过频繁度阈值1元素频繁机
        
        3.无可筛选集合时停止
      - FP-Growth算法
        
        1.扫描记录，获得所有单个商品的频数
        
        2.删除频繁度过低的单品
        
        3.每条记录进行商品排序
        
        4.构建前缀+线索树
        
        5.由下至上，发现频繁集