Please enable JavaScript.
Coggle requires JavaScript to display documents.
长短记忆网络(LSTM) (原理 (概述 细胞状态类似于传送带。直接在整个链上运行,只有一些少量的线性交互。信息在上面流传保持不变会很容易
…
长短记忆网络(LSTM)
原理
概述
- 细胞状态类似于传送带。直接在整个链上运行,只有一些少量的线性交互。信息在上面流传保持不变会很容易
- 通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力
神经元结构
细胞信息单独存储,不参与新信息计算(除了y)
步骤
详情
-
-
3.确定什么样的新信息被存放在细胞状态中
- 更新门:决定新输入那些东西更新到细胞中
- 候选信息块:需要更新的细胞状态的信息
-
5.基于细胞状态,确定输出什么值
- 输出门:确定细胞状态的哪个部分将输出出去
- 输出我们确定输出的那部分
概述
- concat x<t>和h<t-1>,然后用sigmoid计算忘记门、更新门和输出门
- concat x<t>和h<t-1>,然后用tanh计算需要更新和输出的内容
优点
- 解决了梯度消失的问题
- 解决时序距离过长,影响变小的问题