Please enable JavaScript.
Coggle requires JavaScript to display documents.
bert (贡献 (论证了语言表征的双向预训练的重要性。, 预先训练的表示减少了对许多繁重工程的特定于任务的体系结构的需求。,…
bert
贡献
论证了语言表征的双向预训练的重要性。
预先训练的表示减少了对许多繁重工程的特定于任务的体系结构的需求。
提高了十一种nlp任务的技术水平
相关工作
无监督特征方法
LSTMs
ELMo
无监督微调方法
模型
Masked language model
word embedding
词的分布式表示
基于矩阵的分布表示（分布语义模型）
上下文相似的词，它的语义也相似，那么就会产生反义词被认为同义词的情况
基于聚类的分布表示
基于神经网络的分布表示
神经网络的词向量表示，可以通过神经网络对目标词和它的上下文进行建模，可以表示复杂的上下文。
词表示
one hot representation
将词独立化，每个词与每个词都是单独的个体
distributed representation
根据上下文表示，了解这个词的语义，降低映射维度
模型表示
基于神经网络的分布表示
基于聚类的分布表示
基于矩阵的分布表示
核心思想
选择一种方式描述上下文
选择一种模型刻画某个词（下文称“目标词”）与其上下文之间的关系
语言模型
文法语言模型
统计语言模型
N元文法模型
unigram model
bigram model
trigram model
形式化表述
词嵌入
别称
词向量
本质
特征提取器