Please enable JavaScript.
Coggle requires JavaScript to display documents.
知识点 (梯度下降 (MBGD小批量梯度下降, BGD批量梯度下降, SGD随机梯度下降), L1/L2正则化 (L2 各元素平方和求平方根…
知识点
梯度下降
MBGD小批量梯度下降
BGD批量梯度下降
SGD随机梯度下降
L1/L2正则化
L1 向量中各元素绝对值之和
L2 各元素平方和求平方根
L2范数可以防止过拟合，提升模型的泛化能力
L0 非0个数
svm
优点
结构风险最小
非线性，通过惩罚变量/核函数技术来实现
需求样本较少
tree-based model
随机森林
决策树
Gradient Boosting Machine
降维
PCA
特征值 特征向量
Cov(X,Y) = E(X-E(X)(Y-E(Y)))
协方差矩阵
将高维空间中的点映射到低维空间中
cost function
经验风险
结构风险
overfitting/underfitting
BP神经网络
bias/virance