Please enable JavaScript.

Coggle requires JavaScript to display documents.

注意力模型(Attention Model) (发展 (Transformer(2017) (BERT(2018), Text-to-Text…

- - - - 理论
        
        1. 计算出每一步encoder对decoder的影响的权重
        
        1. 计算encoder某一step对decoder的权重
        
        公式
        
        如图
        
        解释
        
        s<i-1>代表decoder上一步的状态
        
        h<j>代表encoder第j步的输出状态
        
        2. 遍历所有encocder的step并进行归一化
        
        公式
        
        如图
        
        解释
        
        eij代表第j步的encoder对第i步decoder影响的重要性
        
        aij是将计算出来的重要性进行归一化处理
        
        2. 求和所有（或部分）encoder对decoder当前预测Context vector（ct）
        
        公式
        
        如图
        
        解释
        
        aij代表第j步encoder对第i步encoder影响的归一化重要性
        
        h<j>代表encoder第j步的输出的状态
        
        3. 用ct和st计算decode
        
        门控隐藏单元
        
        论文
        
        Neural machine translation by jointly learning to align and translate
        
        详细步骤
        
        把context vector作为输入合并到decoder input中去，影响状态和输出
        
        RNN、GRU影响h<t>、LSTM影响h<t>和c<t>
        
        例子(GRU)
        
        1. 计算更新门和忘记门
        
        更新门
        
        2 more items...
        
        忘记门
        
        1 more item...
        
        2. 计算需要更新到decoder状态的内容
        
        $$\tilde{s}_i=tanh(Wc(y_{i-1})+U[r_i\circ \tilde{s}_{i-1}]+Cc_i)$$
        
        3. 计算输入到decoder单元的状态
        
        $$s_i=(1-z_i)\circ s_{t-1}+z_t\circ \tilde{s}_i$$
        
        概述
        
        都由通过decoder的输入y<i>、上一个step的状态s<i-1>和encoder的注意力值c<i>计算得出
        注：RNN、LSTM、GRU中，encoder和decodeer参与运算的都是h
        
        类似GRU，只是输入多了c
      - Tensorflow实现
        
        1. 用encoder的output初始化注意力机制
        
        2. 用AttentionWrapper实现Attention的初始化
        
        描述
        
        初始化cell_stat和attention
        
        说明
        
        在网上许多博客，都专注于AttentionWraper的解释，没有说到使用AttentionWrapper都必须前置调用AttentioinWrapper的zero_state函数
        
        其实zero_state函数是初始化state并计算context vector的过程，也就是这个state和context vector是第一步计算attention的过程
        
        步骤
        
        1. 初始化state
        
        如果encoder layer的数量等于decoder layer的数量，且pass_hidden_state这个参数为true时，就把encoder每层最后的state作为decoder每层初始化的state
        
        或者把全部为0的向量作为初始化state
        
        2. 初始化第一步Attention
        
        初始化第一步用的Attention，全为0的向量（为什么全为0，不知道）
        
        运行AttentionWrapper的zero_state
        
        zero_state会返回一个AttentionWrapperState，其中attention的初始化会调用attention_mecharism的方法
        
        attention_mecharism中initial_state和initial_alignments返回0向量
        
        3. 未加AttentionWrapper使用上一步的state计算output和state
        
        使用上一步已经算好的state作为cell的state
        
        使用上一步已经算好的attention，与这一步的input concat到一起作为输入
        
        调用AttentionWrapper内的cell，计算出output和state
        
        4. 根据上一步的output和state，计算下一步的state和context vector
        
        在RNN和GRU中，output和state是一个东西，所以都一样，但是在LSTM中state包含h和c，所以这里用于计算下一步的context vector的是h也就是output，不是c