Please enable JavaScript.

Coggle requires JavaScript to display documents.

WaveNet(2016) - Coggle Diagram

- - - - 作用
        
        确保模型不会违反数据顺序建模，就是不会用x_t+1预测x_t
      - 实现
        
        概述
        通过对输入进行位移，然后对去掉的step进行补零
        
        例子
        [1,2,3,4,5,0]=>[2,3,4,5,6,0]来预测6和7
      - 缺点
        
        需要多个层或大卷积核去增加感受野
      - 优点
        
        因为没有使用递归网络，可以并行训练提高效率
    - - 作用
        
        在没有大幅增加计算花费的情况下增加感受野，类似在粗粒度上进行卷积
      - 实现
        
        概述
        
        类似卷积中的stride，只不过stride是一个卷积操作一个跳跃，dilation是一组卷积操作后跳跃
        
        实际操作
        
        将序列分成dilation个batch，然后在每个batch上进行卷积，如果不能完整分就补零
  - - - 概述
        
        因为原始16bit音频有65536种可能，所以先对他进行mu-law压缩成255种分类
  - - - 公式
        
        $$z= tanh(W_{f,k}*x) \odot \sigma(W_{g,k}*x)$$
      - 概述
        
        卷积核操作包换tanh内的和sigma内的
  - - - 概述
        
        每一层卷积后得出的结果step是一样的，但是每个step的特征数不一样，这时就使用1x1的卷积来让每层输出维度相等，但是skip和residual的参数分开
      - 具体操作
        
        skip connection：卷积后再进行1x1卷积，然后每层的skip connection加起来进行两次(relu和1x1卷积)计算最后的loss
        
        residual connection：卷积后再进行1x1卷积，每层的输入和输出加起来作为下一层输入
  - - - Global conditoning
        
        概述
        
        通过一个单一参照表征h影响每一步卷积
        
        公式
        
        $$z= tanh(W_{f,k}*x + V_{f,h}^T h) \odot \sigma(W_{g,k} *x+ V_{g,h}^T h)$$
        
        例子
        
        一个speaker的Embedding
      - Local conditioning
        
        概述
        
        有别的时间序列ht，通过转换成新和音频有相同时间序列
        
        公式
        
        $$z= tanh(W_{f,k}*x + V_{f,h}*y) \odot \sigma(W_{g,k} *x+ V_{g,h} *y)$$
        
        例子
        
        文本时间序列合并到音频时间序列