Please enable JavaScript.
Coggle requires JavaScript to display documents.
集成学习 (分类 (基于结合策略分类 (学习法 (stacking学习法
将训练集弱学习器的学习结果作为输入，将训练集的输出作为输出，重新训练一个…
集成学习
分类
基于结合策略分类
学习法
stacking学习法
将训练集弱学习器的学习结果作为输入，将训练集的输出作为输出，重新训练一个学习器来得到最终结果
投票法
- 相对多数投票法，
也就是我们常说的少数服从多数
- 绝对多数投票法，
也就是我们常说的要票过半数
- 加权投票法
和加权平均法一样，每个弱学习器的分类票数要乘以一个权重，最终将各个类别的加权票数求和，最大的值对应的类别为最终类别
平均法
对于数值类的回归预测问题，通常使用的结合策略是平均法，也就是说，对于若干个弱学习器的输出进行平均（加权平均）得到最终的预测输出
基于学习器分类
-
同质的
基于学习器直接的依赖分类
不存在强依赖关系
bagging算法
- 说明
学习器的训练集是通过随机采样得到的
- 步骤
对要生成的m个训练集，做m次有放回取样
说明
一系列个体学习器可以并行生成，代表算法是bagging和随机森林
强依赖关系
种类
boosting算法
步骤
- 首先从训练集用初始权重训练出一个弱学习器1
- 根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视
- 然后基于调整权重后的训练集来训练弱学习器2，如此重复进行，直到弱学习器数达到事先指定的数目T
- 最终将这T个弱学习器通过集合策略进行整合，得到最终的强学习器
说明
一系列个体学习器基本都需要串行生成，代表算法是boosting系列算法
说明
同质个体学习器的应用是最广泛的，一般我们常说的集成学习的方法都是指的同质个体学习器
-
概述
- 对于训练集数据，我们通过训练若干个个体学习器，通过一定的结合策略，就可以最终形成一个强学习器，以达到博采众长的目的
- 集成学习有两个主要的问题需要解决，第一是如何得到若干个个体学习器，第二是如何选择一种结合策略，将这些个体学习器集合成一个强学习器
-