Please enable JavaScript.

Coggle requires JavaScript to display documents.

模型评估与选择 (评估方法 (留出法 (需要注意 (给定训练/测试集的样本比例后，然存在多种划分方式对初始数据进行排序。,…

- - - - 给定训练/测试集的样本比例后，然存在多种划分方式对初始数据进行排序。
      - 训练/测试集的划分要尽可能保持数据分布的一致性
    - - 将大约2/3 ~ 4/5 的样本用于训练，剩余样本用于测试
      - 一般采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果
    - - “留出法”(hold-out)直接将数据集 D 划分为两个互斥的集合，其中一个集合作为训练集 S，另外一个作为测试集 T，即 D = S ∪T, S ∩ T = 空集。
      - 在 S上训练出模型后，用T来评估测试误差，作为对泛化误差的估计。
  - - - 1. 先将数据集D划分为k个大小相似的互斥子集，即D = D_1 ∪ D_2 ∪ ... ∪ D_k, D_j ∩ D_i = 空集(i ≠ j)。每个子集 D_i 尽可能保持数据分布一致性。
      - 2. 用 k-1 个子集作为训练集，余下的子集作为测试集。从而可以进行 k 次训练和测试，最终返回的是这 k 个测试结果的平均值。
    - - 为减小
- - - - 如果m个样本里有a个样本分类错误，则错误率 E = a / m
    - - 精度 = 1 - 错误率 #
    - - 训练误差(training error)
        
        学习器在训练集上的误差
      - 泛化误差(generalization)
        
        学习器在新样本上的误差