Please enable JavaScript.
Coggle requires JavaScript to display documents.
自然語言 - Coggle Diagram
自然語言
文字資料前處理
3.詞性標註
4.句法剖析
2.斷詞
5.語意剖析
1.文字
語言特徵
語意特徵
命名實體(專有名詞)
中研院CKIP CoreNLP
關係抽取
語意辨識
指代消解(修正權重)
省略的名詞
名詞的同義詞
代名詞
實體辨識(詞彙)
詞向量 word2vec
使用類神經網路&詞袋
no上下文
不可解釋
空間關係=詞彙關係
同性質 在附近
主題模型
無監督式學習
文件=(主題)s, 主題=(詞彙)s
語法特徵
詞性標註
句法剖析
斷詞
英文
詞幹提取
詞形還原
中文(困難)
未知詞
歧異
專有詞
重要性特徵
斷詞
詞袋
2.去除標點
3.去除停用詞
1.斷詞
4.詞彙加權(TF-IDF)詞頻-逆向文件頻率
TF(詞頻):本文常見
IDF(逆向文件頻率):所有文章中少見
發展
Past 規則式:程式語言
Now 機器學習:大數據+演算法