Please enable JavaScript.

Coggle requires JavaScript to display documents.

观察各个误差之间的差距 (1. 确定各个误差指标 (最高准确率：贝叶斯误差(Bayes Error) 理论上最高的准确率，因为输入特征可能无法包含…

- - - - 欠拟合
        
        说明
        
        Train error 也可能小于Human error
        
        表现
        
        无法很好的预测结果
        
        学习曲线中，收敛后Jtrain和Jcv(test)间隔很小，但两者的绝对值很大)
        
        解决方法
        
        增加模型规模，尝试调整学习率等超参数来改进学习算法
        
        如果上一步不奏效，可能是训练数据的质量有问题，可以收集更干净的数据或更数据特征更丰富的数据集
  - - - 过拟合（overfitting）
        
        表现
        
        虽然代价函数的值一样，但是预测函数有多余的弯曲
        
        学习曲线图中，收敛后Jtrain和Jcv(test)间隔过大
        
        解决方法
        
        可选方法
        
        正则化
        
        减小模型容量、减少特征(指数，个数)
        
        收集更多的数据
        
        考虑因素
        
        提升的代价与可行性
      - Train set 和 dev set数据分布不同
        
        表现
        
        Train-dev error与dev set error差距较大
        
        解决方法
        
        将train set和dev/test set完全混合
        
        原来的train set和一部分dev/test set组合当成train set，剩下的dev/test set分别作为dev set和test set
        
        找出train set和dev/test set的差别，认为把这些差别加入到train set
        例如语音识别中的杂音，在dev/test set有，在train set没有
        
        收集更多与dev/test set相似的数据，放到train set 中
  - - - 开发集不能体现测试集分布
  - - - Test set error与Real world set error数据分布不同
      - 实际数据集对测试集过拟合问题
  - - - 描述
        
        模型的容量是指它拟合各种函数的能力
      - 例子
        
        模型是3次多项式构成的函数,那么它拟合函数的能力有：一次函数（w3,w2=0）、二次函数(w3=0)、三次函数(w1,2,3≠0)
        $$y=w_{3}x^3+w_{2}x^2+w_{1}x+b $$
    - - 描述
        
        模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间(hypothesis space)