Please enable JavaScript.

Coggle requires JavaScript to display documents.

Transformer(2017) (组件 (Position Embedding (公式 ($$PE(pos,2i)=sin(\frac{pos}…

- - - - Scaled Dot-Product Attention
        
        优点
        
        如果输入序列n小于表示维度d的话，每一层的时间复杂度attention是比较有优势的
        
        在并行方面，多头attention和CNN一样不依赖于前一时刻的计算，可以很好的并行，优于RNN
        
        在长距离依赖上，由于attention是每个词和所有词都要计算attention，所以不管他们中间有多长距离，最大的路径长度也都只是1。能够无视词之间的距离直接计算依赖关系，能够学习一个句子的内部结构。
        
        步骤
        
        3. 去除无用标记
        
        query和key有些部分是填充的，这些需要用mask屏蔽，一个简单的方法就是赋予一个很小很小的值或者直接变为0值
        
        对于decoder的来说，我们是不能看到未来的信息的，所以对于decoder的输入，我们只能计算它和它之前输入的信息的相似度
        key_masks = tf.sign(tf.abs(tf.reduce_sum(keys,axis=-1))) key_masks = tf.tile(tf.expand_dims(key_masks,1),[1,tf.shape(queries)[1],1]) paddings = tf.ones_like(outputs) * (-2 ** 32 + 1) outputs = tf.where(tf.equal(key_masks,0),paddings,outputs))
        
        2. Q和K进行点乘，除以了Embedding维度数的平方根，计算缩放相似度
        
        outputs = tf.matmul(Q,tf.transpose(K,[0,2,1])) outputs = outputs / (K.get_shape().as_list()[-1] ** 0.5)
        
        1. 输入Embedding计算得出Q、K、V
        
        Q = tf.layers.dense(embedding,num_units,activation=tf.nn.relu) K = tf.layers.dense(embedding,num_units,activation=tf.nn.relu) V = tf.layers.dense(embedding,num_units,activation=tf.nn.relu)
        
        $$Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d_k}})V$$
      - 多头attention（Multi-head attention）
        
        步骤
        
        Query，Key，Value首先进过一个线性变换，然后输入到放缩点积attention，注意这里要做h次，也就是所谓的多头，每一次算一个头，头之间参数不共享，每次Q，K，V进行线性变换的参数W是不一样的
        
        后将h次的放缩点积attention结果进行拼接，再进行一次线性变换得到的值作为多头attention的结果。
        
        优点
        
        允许模型在不同的表示子空间里学习到相关的信息。(国王-王后，狗-狐狸)
        
        概述
        
        Multi-Head Attention就是把Scaled Dot-Product Attention的过程做H次，然后把输出合起来
    - - 自注意力（Self Attention）
        
        实现
        
        Encoder里的是self-attention，Decoder里面首先是self-attention，因为通过相同的Embedding计算query和key-value，所以叫self-attention
        
        定义
        
        计算相似度时我们将词向量与文本本身的其他词向量组合求相似度，不引用任何其他信息，这样的 Attention 机制称为 Self-Attention
      - Encoder-Decoder Attention
        
        Decoder中经过self-attention后就是encoder-decoder attention，query的计算使用的是decoder的输入，而key-value的计算使用的是encoder的输出
  - - - $$PE(pos,2i)=sin(\frac{pos}{10000^\frac{2i}{d_{model}}})$$
      - 解释
        
        pos代表词的位置（如：1,2,3,4）
        
        d_model代表词向量的维度大小
        
        i代表d_model中的第几个维度
      - 为什么分sin和cos
        
        pos是绝对位置，但是相对位置也很重要
        
        由于我们有 sin(α+β)=sinα·cosβ+cosα·sinβ 以及 cos(α+β)=cosα·cosβ−sinα·sinβ，这表明位置 p+k 的向量可以表示成位置 p、k 的向量的线性变换，这提供了表达相对位置信息的可能性
        
        综上所述，通过给予cos和sin就能通过他们计算得到位置向量，而且人为赋予减少学习成本
      - $$PE(pos,2i+1)=cos(\frac{pos}{10000^\frac{2i}{d_{model}}})$$
    - - 代码
        
        def positional_encoding(inputs, num_units, zero_pad = True, scale = True, scope = "positional_encoding", reuse=None): N,T = inputs.get_shape().as_list() with tf.variable_scope(scope,reuse=True): position_ind = tf.tile(tf.expand_dims(tf.range(T),0),[N,1]) position_enc = np.array([ [pos / np.power(10000, 2.*i / num_units) for i in range(num_units)] for pos in range(T)]) position_enc[:,0::2] = np.sin(position_enc[:,0::2]) # dim 2i position_enc[:,1::2] = np.cos(position_enc[:,1::2]) # dim 2i+1 lookup_table = tf.convert_to_tensor(position_enc) if zero_pad: lookup_table = tf.concat((tf.zeros(shape=[1,num_units]),lookup_table[1:,:]),0) outputs = tf.nn.embedding_lookup(lookup_table,position_ind) if scale: outputs = outputs * num_units ** 0.5 return outputs
      - 解释
        
        遍历batch_size N和维度num_units计算
        
        根据维度数的单双计算
        
        最后做一个归一化处理
      - 原因
        
        结合位置向量和词向量有几个可选方案，可以把它们拼接起来作为一个新向量，也可以把位置向量定义为跟词向量一样大小，然后两者加起来，Attention Is All You Need使用的是后者