Please enable JavaScript.
Coggle requires JavaScript to display documents.
第6章ディープラーニングの手法 - Coggle Diagram
第6章ディープラーニングの手法
CNN畳み込みニューラルネットワーク
2012年
ILSVRC優勝
以降
ResNET
層を飛び越えた結合
Skipconnection
VCG
GoogLeNet
Inceptionモジュール
(並列計算)
AlexNet
全3層構造
データの拡張
Data augmentation
データの水増し
ランダムに
コントラスト変更
斜めにゆがめる
拡大縮小
上下左右ずらす
反転
回転
一部切り取る
課題
物体の角度違い
物体の拡大縮小
物体の光のあたり方
人間の視覚野を模式
複雑型細胞C細胞
同一物体の認識
単純型細胞S細胞
画像の濃淡バタン(特徴)
最初:ネオコグニトロン
福島邦彦氏
S細胞とC細胞を交互に複数
ニューラルネットワーク多層構造
1998年ヤン・ルカン氏
有名:LeNet
2層構造
畳み込み層
移動の不変性(位置連れに強い)
カーネル(フィルタ)
特徴マップ
要は重み
プーリング層
(サブサンプリング層)
決められた演算を行うだけ
画像を決められたルールで小さく
ダウンサンプリング
(サブサンプリング)
maxプーリング
avgプーリング
最終的には1次元(イヌ・ネコ等)
全結合層
最近は全結合を用いないことも
Global Average Pooling
1つの特徴マップに1つのクラスを対応
画像データ
画像をそのまま2次元で入力
2次元
+色で3次元
RNNリカレント
ニューラルネットワーク
発展形
Bidirectional RNN
未来から過去予測
過去から未来予測
RNN Encoder-Decoder
時間の重みの組み込み
Attention
LSTM
LSTMブロック
隠れ層にたくさん並ぶ
大きく2構造
誤差を内部にとどませるセル
CEC(Constant Error Carousel)
必要な情報を必要なタイミングで保持・償却させるためのゲート
忘却ゲート
出力ゲート
入力ゲート
問題
勾配消失問題
入力重み衝突
時系列:今関係ないけど将来は関係ある。それは重みを大きくする必要もある
簡略したGPU
(Gated Recurrent Unit)
時系列データ
基本形
入力層+過去の隠れ層→隠れ層→出力層
勾配降下法
BackPropagation Through-Time(BPTT)
転移学習
ImageNetで学習済みモデルが公開
学習済みネットワークを利用して新しいタスクを識別