Please enable JavaScript.

Coggle requires JavaScript to display documents.

FashionBERT - Coggle Diagram

- - - - Masked Language Modeling (MLM)
        
        相比传统BERT以token为单位mask，这里会mask掉整个词包含的所有token，最后和原BERT一样，计算预测的token和目标token的交叉熵
      - Masked Patch Modeling (MPM)
        
        与MLM类似，但mask的是图片块的token，最后通过和原图片块的token对比，计算KL散度得到损失
      - Text and Image Alignment (TIA)
        
        从相同的时装产品从提取正例，随机抽取负例，然后将CLS作为二分类的结果，最后优化二分类交叉熵
    - - 概述
        
        将三种loss加权求和，作为最后loss函数，其中的权重也是一个科学系的参数
      - 公式
        
        $$L(\theta) = \sum_{i=1}^L w_i l_i(\theta)$$