Please enable JavaScript.
Coggle requires JavaScript to display documents.
Optimize Our Model (:pineapple:complexity of models (:one:Underfitting (…
Optimize Our Model
-
-
-
:apple:数据
:one:图像归一化
:banana:Feature Scaling
:musical_note:good sides
:one:不使用Feature Scaling的话必须使用Adagrad,保证不同权重的平衡性
:two:保证参数更新都是准确地往最低点走.(不使用Feature Scaling的话,椭圆形地沿着法线走)
-
:palm_tree::原因
:one:如果特征值1一直是0,1,2;而特征值2一直是100,200;那么显然w2的变化对loss带来的影响大于w1
:two:加快收敛速度
-
:bread:不feature scaling的话,loss function就是椭圆形,每次沿着垂直方向走却不是离极小值最近的方向
:explode:将若干样本的某个特征值做正态标准化,从而保证每个特征值符合(0,1)正态分布
-
-
-