Please enable JavaScript.
Coggle requires JavaScript to display documents.
word2vec笔记 (词向量语言模型 (相关论文 (Efficient Estimated of Word Representations in…
word2vec笔记
-
神经网络语言模型
-
词嵌入
连续词袋CBOW
先正交随机初始化一个权重矩阵M,设置一个窗口N。输入为当前词w的w-N和w+N的one-hot向量stack成的矩阵,乘上M后求平均,然后通过一个多分类器softmax,argmax预测该单词的index。用交叉熵损失-∑(y_true)log(y_hat)作为目标函数,反向传播和梯度下降进行训练。
-
Skip-gram
先正交随机初始化一个权重矩阵M。输入为一个单词的one-hot向量V。V与M相乘。通过多分类器softmax 预测该单词周边的词的index。用交叉熵损失-∑(y_true)log(y_hat)作为目标函数,反向传播和梯度下降进行训练。
-
-
-
-
-
-
-
-