Please enable JavaScript.

Coggle requires JavaScript to display documents.

递归神经网络 (时间递归神经网络/循环神经网络（Recurrent Neural Network） (算法分类 (基于神经元 (基础RNN,…

- - - - 解决方法：Debiasing word embeddings
  - - - 基础RNN
      - 长短记忆网络（LSTM）
      - GRU（门控循环单元）
    - - Bidirectional RNN
        
        优点
        
        能够理由当前时序之后的信息
        
        原理
        
        结构
        
        从左到右计算，然后再从右到做，最后计算y时整合两个顺序的神经元
        
        公式
        
        除了计算y和普通RNN不一样外，其他都一样，而且可以与GRU、LSTM结合
    - - Deep RNNs
        
        结构
        
        多层RNN堆叠在一次，但是因为RNN很长，所以一般层数不超过3层
    - - 回声网络
        
        跳跃连接
        
        类似残差网络，但是是在时间维度上进行跳跃连接
        
        渗漏单元
        
        使用类似线性平均的方式更新和保留隐藏状态
        
        删除连接
        
        主动删除长度为一的连接并用更长的连接替换它们，强迫单元在长时间尺度上运作