Please enable JavaScript.

Coggle requires JavaScript to display documents.

自然語言處理 2019/04/19 (主要領域 (關鍵詞提取 (功能 (通過幾個關鍵詞窺探整個文本的主題思想), 方法 (無監督 (基於主題模型…

- - - - 學習詞彙之間的概率關係，根據前面的單詞預測下一個單詞
        
        語音識別或光學字符識別（OCR）的基礎
        
        拼寫校正、手寫識別和統計機器翻譯
        
        生成新的文章標題
        
        生成新的句子、段落或文檔
        
        生成一個句子的後續句子
- - - - 通過幾個關鍵詞窺探整個文本的主題思想
    - - 無監督
        
        基於統計特徵
        
        詞權重的特徵量化
        詞性、詞頻、逆向文檔頻率、相對詞頻、詞長等
        
        詞的文檔位置的特徵量化
        
        詞的關聯信息的特徵量化
        互信息、hits值、貢獻度、依存度、TF-IDF值等
        
        基於詞圖模型
        
        綜合特徵法
        
        系統科學法
        
        隨機遊走法
        
        基於主題模型
        
        排序
        
        計算文章主題分部
        
        語料學習
        
        獲取候選關鍵詞
  - - - 功能
        
        對中文文本斷詞
      - 方法
        
        字符串匹配
        基於字典進行分詞
        
        正向最大匹配法
        逆向最大匹配法
        N-最短路徑方法
        
        :star:優點
        進程簡單易行，開發週期短
        沒有任何複雜計算，分詞速度快
        :red_cross: 缺點
        不能處理歧義
        不能識別新詞
        分詞準確率不高，不能滿足實際的需要
        
        N-gram語言模型
        
        :star:優點
        減少了很多手工標註知識庫（語義詞典、規則等）的工作
        在訓練語料規模足夠大和覆蓋領域足夠多的情況下，可以獲得較高的切分正確率
        :red_cross: 缺點
        訓練語料的規模和覆蓋領域不好把握
        計算量較大
        很難進行分詞發現
        
        演算法介紹
        淺談分詞算法（2）基於詞典的分詞方法
        
        序列標註
        基於統計模型分詞
        
        HMM模型
        
        :star:優點
        在訓練語料規模足夠大和覆蓋領域足夠多的情況下，可以獲得較高的切分正確率
        :red_cross: 缺點
        需要很大的訓練語料
        新詞識別能力弱
        解碼速度相對較慢
        由于其输出独立性假设，导致其不能考虑上下文的特征，限制了特征的选择，不能选择复杂的特征。
        
        演算法介紹
        浅谈分词算法（3）基于字的分词方法（HMM）
        
        一个词的出现仅仅依赖于它前面出现的有限的一个或者几个词。
        
        CRF模型
        
        :star:優點
        解碼速度快
        分詞精度高
        新詞識別能力強
        所需學習樣本少
        :red_cross: 缺點
        訓練速度慢
        需要高配置的機器訓練
        
        CRF++: Yet Another CRF toolkit
        NLP之CRF++安裝及使用
         Structured Learning 4: Sequence Labeling
        crf++里的特征模板得怎么理解？
        crfpp-java
        
        Reference
        
        NLP中的序列标注问题（隐马尔可夫HMM与条件随机场CRF）
        
        https://github.com/NLPchina/ansj_seg
        http://nlpchina.github.io/ansj_seg/
      - 工具
        
        準確實用，7個優秀的開源中文分詞庫推薦
      - 現況
        演算法研究已成熟，大部分準確率可以達95%以上
        困境
        
        粒度，不同應用對粒度的要求不一樣，比如“蘋果手機”可以是一個詞也可以是兩個詞
        
        歧義，比如“下雨天留人天留我不留”
        
        未登入詞，比如“skrrr”、“打call”等
      - Reference
        
        自然語言處理基礎-中文分詞
        
        【NLP】分詞演算法綜述
        
        NLP 之分詞技術概述
        
        【NLP】中文分词：原理及分词算法
      - 新詞辨識
        
        Reference
        
        基于大规模语料的新词发现算法
        
        有哪些比较好的新词发现方案？
        
        反作弊基于左右信息熵和互信息的新词挖掘
        
        java使用Nagao算法实现新词发现、热门词的挖掘
        
        【学术】结合无监督学习和迁移学习的新词发现实践
        
        方法
        
        詞頻
        该字符串在文档中出现的次数。出现次数越多越重要。
        
        左右邻个数
        文档中该字符串的左边和右边出现的不同的字的个数。左右邻越多，说明字符串成词概率越高。
        
        左右熵
        文档中该字符串的左边和右边出现的不同的字的数量分布的熵。类似上面的指标，有一定区别。
        
        交互信息
        每次将某字符串分成两部分，左半部分字符串和右半部分字符串，计算其同时出现的概率除于其各自独立出现的概率，最后取所有的划分里面概率最小值。这个值越大，说明字符串内部凝聚度越高，越可能成词。
        
        SNS
        类似于智能+人工
        
        结合无监督学习和迁移学习
        
        凝固程度(点间互信息越高，内部聚合程度越高)和自由程度，两种判断标准缺一不可。只看凝固程度的话，程序会找出“巧克”、“俄罗”、“颜六色”、“柴可夫”等实际上是“半个词”的片段；只看自由程度的话，程序则会把“吃了一顿”、“看了一遍”、“睡了一晚”、“去了一趟”中的“了一”提取出来，因为它的左右邻字都太丰富了。
  - - - 功能
        
        對文檔的話題或主題進行分類
        
        垃圾郵件過濾，將電子郵件文本分類為垃圾郵件。
        
        語言識別，對源文本的語言進行分類。
        
        流派分類，對虛構故事的流派進行分類。
        
        對amazon產品評論、IMDB電影評論和分類主題新聞文章情緒分析
        
        對電影評論的情緒分析，將句子歸類為主觀或客觀，對問題類型進行分類，對產品評論的情感進行分類。
      - 方法
        
        多层全连接神经网络
        
        卷积神经网络（CNN）
        
        长短记忆模型（LSTM）
      - Reference
        
        自然语言处理---深度学习在情感分析中的应用
        
        Keras + LSTM + 词向量情感分类/情感分析实验
        
        自然语言处理实战之微博情感偏向分析
        
        Google總結出的文本分類「模型選擇算法」
        
        中文文本分類練習
  - - - :star:抽取式 (Extractive)
        找出原文中的關鍵句子
        
        基本步驟
        
        1. 文本分析
        對原文字進行分析處理，識別冗餘資訊
        
        聚類法
        測量所有句子對之間的相似性，然後用聚類方法識別公共資訊的主題
        
        候選法
        系統首先測量候選文段與已選文段之間的相似度，僅當候選段有足夠的新資訊時才將其入選。如最大邊緣相關法MMR。
        
        2. 文本内容的選取
        從文件中辨認重要資訊
        
        :star:TextRank
        相關性最高的
        
        TextRank算法提取关键词和摘要
         TextRank — 文字探勘 — 找出關鍵字以八卦版標題為例
         文章摘要-TextRank算法
         關於textrank的原理和使用，提取文章摘要
         提取关键词以及摘要 - 基于TextRank算法自动分析中文文本
         经典检索算法：BM25原理
         搜索中的权重度量利器: TF-IDF和BM25
        
        MMR
        權衡相關性和多樣性
        
        3. 文摘的转化和生成
        原文內容的重組或者根據內部表示生成文摘，並確保文摘的連貫性。
        
        4. 文摘評估
        驗證文摘正確性
        
        內部評估方法
        提供參考文摘, 對其進行比較
        常用方法 : Edmundson评价、:star:ROUGE准则
        
        ROUGE
        ROUGE评价方法详解（二）
        What is ROUGE and how it works for evaluation of summaries?
        
        外部評估方法
        利用文档摘要代替原文档执行某个文档相关的应用。例如：文档检索、文档聚类、文档分类等
        
        Reference
        NLP调研1 - 文本自动摘要概况
         PageRank 介紹與應用
         ROUGE介紹
      - 抽象式 (Abstractive)
        理解原文後產生句子
        
        Reference
        Facebook提出的ConvS2S模型
         運用序列到序列生成架構於重寫式自動摘要
- - - - 將語料庫中的單詞（word）分佈在向量空間中，其中單詞之間的餘弦距離（Cosine Distance）用於衡量彼此的相似性
    - - 詞袋模型將詞定義為一個維度，一句話表示成在所有詞張成的空間中的一個高維稀疏向量。
    - - 可以理解為帶權重的詞袋模型，計算出每個詞的TFIDF值，作為該詞的權重。
    - - 將整篇文檔利用TFIDF模型表示成一個矩陣，做SVD降維分解，生成兩個矩陣，一個是文檔-話題矩陣、另一個是詞-話題矩陣。得到詞-話題矩陣之後，可以得到句子-話題矩陣。
  - - - 將文檔的每句話作為節點，句子之間的相似度作為邊權值構建圖模型，用pagerank算法進行求解，得到每個句子的得分。
        代表算法有TextRank和LexRank。
    - - 句子長度，長度為某個長度的句子為最理想的長度，依照距離這個長度的遠近來打分。
      - 句子位置，根據句子在全文中的位置，給出分數。（比如每段的第一句是核心句的比例大概是70%）
      - 句子是否包含標題詞，根據句子中包含標題詞的多少來打分。
      - 句子關鍵詞打分，文本進行預處理之後，按照詞頻統計出排名前10的關鍵詞，通過比較句子中包含關鍵詞的情況，以及關鍵詞分布的情況來打分。
  - - - 以排他性的方式分组，因此，如果某个数据属于某个簇，那么它就不能包含在另一个簇中。
    - - 模糊集合（fuzzy sets）对数据进行聚类，使每个点可以同时属于多个群组。
    - - 基于两个最近的簇之间的并集。先把每个点都看作一个簇，然后再把最近的两个簇聚合成为一个新的簇，如此这般，不断迭代，直到满足最后设定的要求。
    - - 完全概率的方法。