Exposing DeepFake Videos By Detecting Face Warping Artifacts

Abstract

方法可行前提

需要经过warp才能匹配视频中人脸，导致留下明显的artifacts，易于被CNN捕获

卷积神经网络学习到的是affine face warping 中生成的artifacts，这是本论文围绕实现的东西

Advantage

节省时间和资源

鲁棒性好

  1. Introduction

通过使用CNN网络检测换脸区域边界的不一致性

创建负样本

直接生成模仿脸部仿射扭曲变换的边界

检测脸部位置，抽取landmarks

计算变换矩阵来对齐人脸

人脸对齐后应用高斯模糊

使用估计的变换矩阵的逆向仿射变换，将已模糊的人脸图像恢复到原始图像中

为什么，如何用，还恢复，又模糊

为什么，什么意思，什么是transform matrix, 什么又要对齐

这个高斯模糊是啥，好像应用挺常见

那这个是不是就类似faceXray里面的mask？

  1. Related works

AI-based Video Synthesis Algorithms

GAN网络

原理

在deepfake上的应用

种类

主要是用在f->g,即利用GAN处理裁剪出来的脸

Cycle-GAN

Recycle-GAN

周期一致的损失

合并时间信息条件生成对抗网络的信息和空间线索

意思是不是同时考虑时序线索和空序线索？

StarGAN

只用一组生成器和判别器映射到多个域

啥意思，有啥用

生成网络

判别网络

Resampling Detection

GAN Generated Image/Video Detection.

本论文也是重采样技术一种，只是以前的技术都过于复杂

  1. Methods

生成负样本

68个landmarks检测法

人脸按不同大小对齐

用kernel size (5 × 5)的高斯混合smooth

经过仿射扭曲变换回原来大小，再放回原脸

目的是负样本的多样性

为了增加多样性还改变了颜色信息

根据68个landmarks进一步改变仿射脸区域

网络输入

regions of interest (RoI)

RoI确定为包含面部区域以及周围背景区域的矩形框,

获得

利用dlib面部识别工具检测图像中的面部区域。

通过扩展b的高度和宽度最终确定

resized to 224 × 224 to feed to the CNN models fortraining.

四种CNN模型

VGG16

ResNet50

ResNet101

ResNet152

  1. Experiments

部分具体步骤

计算面部区域的边界框b。

[y0 −yˆ0,x0 −xˆ0,y1 +ˆy1,x1 +ˆx1]

y0,x0,y1,x1表示能cover face的最小landmarks

yˆ0, xˆ0, yˆ1, xˆ1 are random value between [0, h/5] and [0, w/8]
where h, w are height and width of b respectively

使用

生成负样本

将处理后的面部仿射变换回原始图像位置

将检测到的面部对齐到不同尺度,进行高斯模糊处理

测试时,对每张图像crop出多个RoI,预测每个RoI的结果,进行平均作为图像的最终预测结果。

对一个视频,提取10个感兴趣区域(RoIs)。

分别对每个RoI进行预测,得到每个RoI是否为假视频的预测结果

将所有RoI的预测结果进行平均,得到一个0到1之间的概率值

个平均概率被作为整个视频是否为假视频的最终预测概率。

这是最关键的步骤

prepare our training data

batch size as 64,

learning rate
starting from 0.001 and decay 0.95 after each 1000 steps.

use SGD optimization method

这是啥

terminate it
at epoch 100

后三种模型训练方式

terminated at epoch 20

fine-tuned us
ing hard mining strategy

hard examples

negative examples with the predicted
fake probability less than 0.5

positive examples with the predicted fake probability
greater than 0.5

first load the ImageNet pretrained models and
fine tune them using our data.

对当前模型而言错误率较高的样本

randomly select half positive examples and convert them into negative examples

4.1. Evaluations on UADFV

4.2. Evaluations on DeepfakeTIMIT

4.3. Comparing with State-of-the-arts

  1. Conclusion