Please enable JavaScript.

Coggle requires JavaScript to display documents.

WavLip(2020) - Coggle Diagram

- - - - 对嘴唇同步来说，像素级重构损失不够强
        
        面部重构损失的计算是基于整张图片的，而这其中只有4%是嘴唇部分，其他还有姿势、身份甚至背景，这就导致嘴唇所在损失过低而且针对嘴唇的训练开始得恨晚
      - 弱的嘴唇同步限制器
        
        LipGAN的限制器只用单一帧去检查嘴唇同步，缺乏有用的时间上下文信息
        
        用GAN方式生成的限制器会在训练过程中学习到人工痕迹，因为数据经过数据增强
    - - 数据
        
        抽取视频中相同时间段的音频和视频作为正例
        
        抽取视频中不相同时间段的音频和视频作为负例
      - 网络
        
        输入
        
        将需要输入的视频和音频分别横向拼接，最后得出NxHx(W*T)xC大小的输入张量，其中W的宽度，T是持续时间内的帧数
        
        隐藏层
        
        视频和音频分别拼接后分别输入video encoder和audio encoder，两个encoder都是带有残差的2D卷积网络
        
        Loss
        
        概述
        
        video encoder和audio encoder输出的embedding计算余弦相似度得到[0,1]之间的值，然后这个值对比数据的正负例抽样，计算交叉熵
        
        公式
        
        $$P_{sync}= \frac{v*s} {max(||v||_2*||s||_2,\epsilon)}$$
  - - - 输入
        
        将R和P在H上拼接，得到Nx(H*2/3)x(W*T)xC大小的Indentity Encoder输入
        
        将R沿着W维度拼接得到NxHxWxC的SpeechEncoder输入
      - 结构
        
        Identity Encoder
        
        Speech Encoder
        
        Face Decoder：将两个encoder输出的embedding拼接起来作为输入，最后登出NxHxWxC的预测拼接图片
      - Loss
        
        L1 Reconstruction Loss
        
        公式
        
        $$L_{recon}=\frac{1}{N} \sum_{i=1}^N ||L_g-L_G||_1$$
        
        概述
        
        计算预测图片和目标图片每个像素的L1损失
        
        Lip-sync Expert Loss
        
        公式
        
        $$E_{sync} = \frac{1}{N} \sum_{i=1}^N-log(P_{sync}^i)$$
        
        概述
        
        Lip-sync Expert计算出的Loss
        
        Realistic Loss
        
        概述
        
        Visual Quality Discriminator计算得出的损失
        
        Total Loss
        
        公式
        
        $$L_{total}=(1-s_w-s_g)*L_{recon}+s_w*E_{sync}+s_g*L_{gen}$$
        
        概述
        
        将上述三个Loss加权求和，得出最终用于学习的Loss
  - - - 概述
        
        验证引用视频中的随机帧而不是当前帧对验证嘴唇同步的准确性和质量是不理想的
      - 详情
        
        不能反映真实世界的使用情况
        
        验证框架引用随机帧，就意味着会改变人的姿势，而把这放到视频里将会看出人工痕迹
        
        不一致的验证
        
        因为随机引用帧，所以会导致测试数据不一致，进而导致不公平的比较，并阻碍结果的再现
        
        不支持检测时间一致性
        
        每一个预测帧都会随机引用其他真，导致了时间信息的丢失，因为他们都不连贯
        
        当前的metric不是针对嘴唇同步的
        
        已存在的metric计算整张图片，即使针对唇部，也不能很好的度量错误的唇部基点
    - - 新的嘴唇同步metric
        
        使用预训练的SyncNet训练得出99%准确率的验证器(同一时间段的视频为整理，随机采样的为负例)
      - 新的口型同步验证基准
        
        从视频中截取一段视频和音频，相同时间段为正例，随机抽样为负例