Please enable JavaScript.
Coggle requires JavaScript to display documents.
深度學習 (概要 (七、評價指標 (混淆矩陣, 錯誤率, 魯棒姓, 計算複雜度, 模型描述簡潔度), 一、類型 (2.無監督學習…
深度學習
概要
七、評價指標
混淆矩陣
錯誤率
魯棒姓
計算複雜度
模型描述簡潔度
一、類型
2.無監督學習
聚類(clustering)
{input}
3.強化學習
{input,some output,grade for this output}
1.監督學習
應用
回歸(regression)
預測數字
分類(classification)
類別
{input,correct output}
二、常見函數
1.激活函數
線性函數
閥值函數
斜面函數
S形函數
雙曲正切函數
softplus函數
Logistic函數
RELU函數
損失函數
0-1損失函數
Log損失函數
絕對損失函數
平方損失函數
交叉熵損失函數
核函數
線性核函數
多項式核函數
逕向基核函數
高斯核函數
指數核函數
拉普拉斯核函數
ANOVA核函數
sigmoid核函數
三、重要參數
1.學習速率
超參數
神經網路
學習速率
權值初始化
隱藏層數目
單層神經元數量
正則懲罰項
更新時的調整權值大小
可隨著訓練次數減小學習速率
2.動量係數
防止系統收斂到局部最佳解
3.偏置項
使函數左右偏移
六、學習特徵(特徵分析)
1.特徵粒度
原始數據大小價值
2.特徵層次
機器學習中的具體型態
3.特徵的表示
特徵的表示方式
四、擬合問題
1.欠擬合
資訊量不夠
2.過擬合
1.正則化
2.dropout
均值作用
避免共適應關係
雜訊被當特徵學習
五、交叉驗證
1.留一交叉驗證
2.K折交叉驗證
神經網路
監督學習
多層神經網路
淺度神經網路
深度神經網路
單層神經網路
delta規則
權重更新(優化方法)
隨機梯度下降(SGD)
批量(Batch)
Mini Batch
SGD+Batch
SGD方法速度+Batch穩定性
調整權重以減少訓練數據誤差的過程
神經網路的學習規則是從代價函數中導出，學習規則和神經網路的性能取決於代價函數的選擇
學習規則:根據給定信息修改權重的系統方法稱為學習規則
監督學習
誤差修正學習規則
最小均方學習規則
常用線性回歸問題
非監督學習
競爭學習
step1.向量歸一化
避免單位不一無法比較
step2.尋找獲勝神經元
可用歐式距離貨余弦法找相似性高的神經元
step3.權值調整
獲勝神經元才能調整權值
使用時有三基本要素