知识点

overfitting/underfitting

降维

梯度下降

MBGD小批量梯度下降

BGD批量梯度下降

SGD随机梯度下降

cost function

经验风险

结构风险

BP神经网络

PCA

click to edit

L1/L2正则化

L1 向量中各元素绝对值之和

L2 各元素平方和求平方根

L0 非0个数

L2范数可以防止过拟合，提升模型的泛化能力

bias/virance

特征值 特征向量

Cov(X,Y) = E(X-E(X)(Y-E(Y)))协方差矩阵

将高维空间中的点映射到低维空间中

svm

click to edit

click to edit

优点

结构风险最小

非线性，通过惩罚变量/核函数技术来实现

需求样本较少

click to edit

tree-based model

随机森林

决策树

Gradient Boosting Machine