Please enable JavaScript.
Coggle requires JavaScript to display documents.
GRU(门控循环单元) (原理 (公式 (更新门 (概述
关闭为0,开启为1,所以用sigmoid函数。应用于控制新输入x和旧有h对新h的影响。
…
GRU(门控循环单元)
原理
公式
更新门
概述
关闭为0,开启为1,所以用sigmoid函数。应用于控制新输入x和旧有h对新h的影响。
例如
当输入“伞”时,因为“伞”能挡雨,所以更新门就会更新“下雨”对我的影响
相关门
概述
关闭为0,开启为1,所以用sigmoid函数。
例如
当输入“今天”时,因为前面的状态和“今天”没什么影响,所以生成状态就和旧状态没什么关系,和“今天”关系较大
预备更新到细胞状态的状态块
概述
意义存在正反(喜欢/讨厌),所以用tanh函数,旧状态和新输入结合生成意义块
例如
新输入“伞”和旧的句子状态结合,“伞”是雨伞的意思
细胞状态
概述
当前句子的状态,有选择的加入新的向量,覆盖旧的向量。因为门门电路的存在,所以会根据实际控制是否影响ht,也就是就算再远的向量也能影响当前输入,同时解决了梯度消失的问题
-
例子
“虽然今天下雨,但是我带伞了,所以我没湿身”
优点
- 解决了梯度消失的问题
- 解决时序距离过长,影响变小的问题
- 比LSTM简单