Please enable JavaScript.

Coggle requires JavaScript to display documents.

Exposing DeepFake Videos By Detecting Face Warping Artifacts - Coggle…

- - - - 检测脸部位置，抽取landmarks
        
        计算变换矩阵来对齐人脸
        
        人脸对齐后应用高斯模糊
        
        使用估计的变换矩阵的逆向仿射变换，将已模糊的人脸图像恢复到原始图像中
        
        为什么，如何用，还恢复，又模糊
        
        这个高斯模糊是啥，好像应用挺常见
        
        为什么，什么意思，什么是transform matrix, 什么又要对齐
      - 那这个是不是就类似faceXray里面的mask？
- - - - 原理
        
        生成网络
        
        判别网络
      - 在deepfake上的应用
        
        种类
        
        Cycle-GAN
        
        周期一致的损失
        
        Recycle-GAN
        
        合并时间信息条件生成对抗网络的信息和空间线索
        
        意思是不是同时考虑时序线索和空序线索？
        
        StarGAN
        
        只用一组生成器和判别器映射到多个域
        
        啥意思，有啥用
        
        主要是用在f->g,即利用GAN处理裁剪出来的脸
- - - - 人脸按不同大小对齐
        
        用kernel size (5 × 5)的高斯混合smooth
        
        经过仿射扭曲变换回原来大小，再放回原脸
        
        目的是负样本的多样性
  - - - RoI确定为包含面部区域以及周围背景区域的矩形框,
      - 获得
        
        利用dlib面部识别工具检测图像中的面部区域。
        
        通过扩展b的高度和宽度最终确定
        
        yˆ0, xˆ0, yˆ1, xˆ1 are random value between [0, h/5] and [0, w/8]
        where h, w are height and width of b respectively
        
        resized to 224 × 224 to feed to the CNN models fortraining.
        
        计算面部区域的边界框b。
        
        [y0 −yˆ0,x0 −xˆ0,y1 +ˆy1,x1 +ˆx1]
        
        y0,x0,y1,x1表示能cover face的最小landmarks
      - 使用
        
        生成负样本
        
        将处理后的面部仿射变换回原始图像位置
        
        将检测到的面部对齐到不同尺度,进行高斯模糊处理
        
        测试时,对每张图像crop出多个RoI,预测每个RoI的结果,进行平均作为图像的最终预测结果。
        
        对一个视频,提取10个感兴趣区域(RoIs)。
        
        分别对每个RoI进行预测,得到每个RoI是否为假视频的预测结果
        
        将所有RoI的预测结果进行平均,得到一个0到1之间的概率值
        
        个平均概率被作为整个视频是否为假视频的最终预测概率。
      - 这是最关键的步骤
  - - - terminate it
        at epoch 100
    - - 后三种模型训练方式
        
        terminated at epoch 20
        
        fine-tuned us
        ing hard mining strategy
        
        hard examples
        
        negative examples with the predicted
        fake probability less than 0.5
        
        positive examples with the predicted fake probability
        greater than 0.5
        
        对当前模型而言错误率较高的样本
        
        first load the ImageNet pretrained models and
        fine tune them using our data.
- - - - randomly select half positive examples and convert them into negative examples
    - - 这是啥