Please enable JavaScript.

Coggle requires JavaScript to display documents.

Zero-Shot Text-to-Image Generation - Coggle Diagram

- - - - 初始先验：在K=8192 个码本向量上的均匀分类分布
      - 编码器分布：由编码器输出的 32×32 网格中相同空间位置上的 8192 个 logits 参数化的分类分布。表明编码器在每个网格位置上输出一个8192维的logits，用于表示每个可能的离散值的概率
    - - （1）直通估计器和在线聚类分配程序，直通估计器是一种在反向传播中忽略某些非可微操作梯度的技术；Gumbel-Softmax 松弛，可以在反向传播中对离散变量进行连续近似的方法，通过引入温度参数；
      - （2）优化算法：使用Adam优化器来更新模型参数，使用指数加权迭代平均（ EMA）来平滑参数更新；关键策略：松弛温度和步长的退火计划（逐渐降低温度参数和学习率的策略），以逼近真正的离散分布；卷积层的调整（在编码器的末尾和解码器的开头使用1×1卷积），减小卷积的感受野大小可以更精确地处理局部信息，减少松弛过程中的信息丢失；激活函数的调整（将编码器和解码器每一层的输出激活乘以一个小常数），有助于防止梯度爆炸或梯度消失问题，提高训练的稳定性；增加KL散度权重：增加KL散度的权重有助于更好地利用码本，从而在训练结束时实现更小的重构误差
    - - （1）由于编码器是一个离散分布，不能直接使用重新参数化技巧（如在连续变分自动编码器中使用的）来优化。因此，需采用特殊方法来解决优化问题；
      - （2）在训练离散变分自动编码器（dVAE）时，为了最大化松弛的证据下界（ELBO），采用了关键的技术和策略，以确保训练过程的稳定性和效果；
  - - - 文本标记：使用BPE编码对文本进行编码，每个文本被限制在最多256个标记，词汇量为16,384；
      - 图像标记：图像被编码为32×32=1024个标记，每个标记可以有8192种可能的值。图像令牌通过对dVAE编码器输出的logits进行argmax采样获得，不添加任何Gumbel噪声；
    - - 连接文本和图像标记：文本和图像标记连接在一起，并自回归地作为一个单一的数据流进行建模
      - 自注意力掩码
        
        文本到文本注意：使用标准因果掩码，确保标记仅能注意到之前的标记。
        
        图像到图像注意：使用行、列或卷积注意掩码，处理图像的结构化信息。
      - 填充标记：为了处理文本标记和图像标记之间的填充位置，每个文本位置都有一个特殊的填充标记