Coggle requires JavaScript to display documents.
通过将所有NLP问题转换成“文本到文本”的问题,以研究不同的方法和推进当前领域的局限
因为这样可以把用同样的模型、同样的损失函数、同样的训练过程、同样的解码过程完成不同的任务
将连续性的评分转换为离散型的评分,如2.57转换成2.6 输入:‘这个游行还行吧,一般般。’ 输出:‘2.6’
对比自回归模型、bert和打乱顺序的预训练方式,bert的mask方式效果最好
对比Encoder-Decoder模型、Language mode和 Prefix LM,Encoder-Decoder模型的效果最好
Exploring the Limits of Transfer Learning with aUnified Text-to-Text Transformer