Please enable JavaScript.

Coggle requires JavaScript to display documents.

Vanilla Transformer(2018) (结构 (实现 (Transformer Layer (输入字节Embedding …

- - - - 原因
        
        对于RNN来说，预测所有位置的输出是正常，但是对于这个模型来说，由于无法从上一个batch获得信息，所以刚开始的几个预测能参考的信息非常少
        
        实验证明加入这个loss会加快训练速度和提高训练效果
      - 实现
        
        每个位置的输入对应的输出预测下一个位置的输入，例如输入t0位置的输出预测下一步的输入t1，即使t0位置可供参考的信息只有t0
    - - 背景
        
        当超过10层时，更深的网络会到导致收敛慢和准确性低的问题
      - 优点
        
        加快收敛速度
        
        提供额外的正则化
      - 实现
        
        通过在不同的位置(如中间层、不同的step)增加逻辑回归(自然就会让训练和预测有不同的参数)预测结果
        
        然后再用预测结果和真实结果对比得出loss，各种loss有其衰变的时间表
        
        最后各种l辅助loss加权加到总loss里面
- - - - 输入
        
        字节Embedding
        
        Position Embedding
      - sub layers与传统transformer的区别
        
        Position-wise Feed-forward Networks是2个全连接层
        
        2个多头自注意力层