Please enable JavaScript.
Coggle requires JavaScript to display documents.
SinGAN (训练 (损失函数 (重构损失函数 (原因
想要确保有某些特定的噪声,能对应生成原始图片x,这些噪音会在创建之后被固定下来,而且最后…
SinGAN
训练
损失函数
对抗损失函数
对比x_hat和x通过马尔科夫辨别器对比得出WGAN-GP loss计算的损失
重构损失函数
原因
想要确保有某些特定的噪声,能对应生成原始图片x,这些噪音会在创建之后被固定下来,而且最后一层是z*,下面的层都为0即{z*, 0 ,0 ,0 ...,0}
-
$$L_{rec}=||G_n(0, (x_{n+1}^{hat,rec})\uparrow^r)-x_n||^2$$
步骤
- 经过生成器得出每一层的x_hat
- 每一层生成出来的x_hat与x对比得出对抗损失
结构
生成器
最底层时
-
说明
- 最底层随机输入大小约为整张图片1/2高的高斯噪声。因此这一层会生成图片和物体的权举架构
- GN是5个由Conv(3x3)-BatchNorm-LeakyReLU组成的卷积块
其它层
-
说明
ψ函数代表一层卷积块,输入上一层生成的x_hat,z_n代表这一层的高斯噪声,用于控制生成图片的大小,先加起来是为了网址噪声被无视。最后本层生成的x_hat又和上一层的x_hat加到一起,应该是有残差和让上面的层直接感知下面的层
鉴别器
马尔可夫辨别器
定义
- 基于CNN的分类模型有很多种,很多网络都是在最后引入了一个全连接层,然后将判别的结果输出(输出结点)
- 马尔可夫判别器则是不一样,直观来看,它完全由卷积层构成,最后输出的是一个n*n的矩阵,最后取输出矩阵的均值作为True/False的输出
- 事实上,输出矩阵中的每一个输出,代表着原图中一个感受野,对应了原图的一片(patch),而具有这样结构的GAN被称为PatchGAN
优点
在图像风格迁移领域中,我们这里沿用Gatys论文中关于风格迁移的想法,即风格迁移分为两部分:内容部分和纹理部分。
- 内容部分是指生成图像和原图像在内容(语义)上的相似性(房子的外形)
- 纹理部分是指生成图像和目标图像在纹理上的相似性(外墙瓷砖)
马尔可夫判别器对于风格迁移中的超高分辨率、图片清晰化有一定的高分辨率、高细节的保持。
结构
跟生成器一样的5个由Conv(3x3)-BatchNorm-LeakyReLU组成的卷积块
-
优点
- 从一张图片而不是数据集学习模型,因而不需要另外的条件输入或通过特定任务训练模型
- 可以生成不同大小和比例的图片
- 对图片的生成不仅限于纹理,且不需要条件
原理
- 从一张天然图片中以类似活动窗口的方式截取不同窗口大小的小块图片
- 所有的生成器和判断器的感受野相同,以倒金字塔的形式,将图片用上采样的方式,从粗到细、从大范围到小范围的处理图片块
- 经过训练后的模型能学习到图片信息并生产相似图片
-