Please enable JavaScript.

Coggle requires JavaScript to display documents.

GAN (:apple:DCGAN (:apple:batchnorm (:one:解决初始化差的问题, :two:帮助梯度传播到每一层, …

- - - - :two:长宽不断变大,厚度变小(反卷积)
      - :one:一维=>三维
        
        :bread:100维的初始量=>16384维=>4*4*1024三个维度
    - - :explode:就是图像的0,1分类
- - - - :arrow_right:生成器生成文本数据这个反向过程不能将梯度传播过去
    - - :checkered_flag:模拟Sampling的softmax与one-hot过程,使该运算可微
      - original sampling
      - new sampling with Gumbel-softmax
      - :star:详细介绍可以看这个网站里关于Gumbel-softmax的内容
      - :notes:GAN训练没有崩塌,也取得了一定进展
      - :bread:当逆温参数接近0的时候,就近似了
        
        实际训练中,逆温参数先给大的初始值然后不断接近
  - - - :bread:导致无论生成器如何接近真实分布,都被判定为错误的样本
    - - :banana:问题
        
        :explode:JS散度在面对两个分布不相重叠的情况时，将发生“异常”，计算结果均为log2.等过了一定值才会变成平滑的结果
        
        :question:什么叫做2个分布互不重叠
        
        一个one-hot和概率分布的结果好像就是互不重叠的样子
    - - WGAN原著没有给出离散数据生成的实验
      - :star:后来的一篇"improved Training of Wasserstein GANs"给出了离散数据生成的实验
        
        比不上最好的文本生成算法,只能说能以character为单位生成出一些看上去稍微正常一点的结果了
        
        GAN关于文本生成的生成结果显然是崩塌的。
      - :pineapple:Wasserstein散度
        
        :checkered_flag:解决JS散度在2个分布互不重叠时为log2的情况,W散度会更加平滑
- - - - :zap:训练时loss可能崩掉,导致动量可能会和更新方向相反等等.而RMSProp适合梯度不稳定的情况