Please enable JavaScript.

Coggle requires JavaScript to display documents.

Feature Inference Based on Label Propagation on Wikidata Graph for DST -…

- - - - 用戶意圖空間大，因此統計模型的數據準備很困難。
  - - - 一個由概念及其在網絡上的關係組成的大型知識庫，用於構建任務域相關的圖結構
    - - 標籤傳播算法用於推斷特徵
        
        該推理算法從用戶話語中觀察到的單詞傳播未觀察到的單詞節點
      - 前幾輪的對話歷史詞被視為標籤傳播的輸入
- - - - 用戶意圖空間大用戶意圖空間的大小，該空間由任務或域上的所有可能意圖組成
        
        很難收集足夠的訓練數據，涵蓋測試數據中的每個用戶意圖
      - 用戶意圖主要取決於任務和領域，這也是大規模數據準備困難的主要原因之一
  - - - 特別是在對話狀態的貝葉斯更新
      - 手工或無監督的方式從網絡搜索查詢中構建圖形
    - - 維基數據
        
        免費開放的知識庫
        
        包含大量項目及其屬性
        
        項目表示概念的名稱
        
        其屬性表示項目之間的關係
      - 根據數據結構的特徵，以項目為節點，屬性為鏈接，創建無向圖
  - - - 因為訓練數據通常不足以用於統計學習
      - 這個問題的一個解決方案是使用從大規模數據中訓練出來的詞的嵌入式表達
        
        通過使用上下文中周圍單詞的分佈來隱式表示單詞的含義，將每個單詞的向量壓縮為固定長度的維度
        
        相反，在我們提出的方法中，子圖被構造為通過推斷鄰居來捕獲話語的含義
        
        一旦在話語中觀察到一些詞，標籤傳播就會通過使用節點區分來推斷子圖上的特徵，該方法實現了對稀疏詞向量的一些改道的給定值
  - - - 第一步中，看到的節點的標籤被標記為已知類（=1）
      - 其他節點被標記為未知類（=0）
      - 一旦在圖上執行標籤傳播，每個節點的標籤就會傳播到鄰居
      - 方法的優點是維基數據的子圖易於創建，標籤傳播適用於任何圖
- - - - IKG通過推斷每個節點的置信度來預測對話狀態
      - 馬爾可夫隨機場（MRF）用於尋找最合適的節點作為對話狀態
      - 實體節點之間始終存在屬性節點，當在 MRF 上執行推理方法時，屬性節點可以是因式節點
      - 他們的方法可以利用任何推理方法，該方法從話語中提取因素來推斷一些未知的實體類。選擇具有最高置信度的節點作為當前對話狀態
- - - - 項目成為圖形上的節點
      - 屬性成為圖形上的邊
      - 圖上，標籤傳播算法提取特徵用於基於機器學習的跟踪器的輸入
    - - 每個話語都由 NLTK1 分詞器進行分詞，並清除與 NLTK 停用詞“！”、“？”等匹配的詞
      - 未清除的詞在子圖上作為初始節點添加
      - 初始節點的所有相關項目在子圖上作為鄰居節點添加
      - 最後，所有節點都被賦予唯一的 id，因為某些項目之間存在名稱重複
      - 範例 Fig1
        
        由“新加坡”的相應節點組成。在子圖上添加了“新加坡”節點及其相鄰節點（“亞洲”、“城市”、“島國”、“國家”和“馬來西亞”）。還添加了 1hop 關係上的節點（“區域”和“大陸”）。此外，我們假設在話語中也觀察到馬來西亞，並且維基數據中的相關節點連接到“馬來西亞”（“國家”和“亞洲”）的節點。
  - - - 我們提出的方法從話語中定義了觀察到的類節點和未觀察到的類節點，並推斷出未觀察到的節點的類標籤以提取機器學習模型的特徵
        
        在我們的例子中，y 表示對當前話語中單詞的觀察
      - 標籤傳播算法中
        
        節點鏈接表示為 W，W 是一個 N × N 矩陣
        
        N 是圖中節點的數量
        
        W 中的每個元素代表鍊接的存在
        
        y 是一個向量，包含每個節點的類標籤
        
        標籤 1 表示該節點被觀察到，0 表示該節點在話語中未被觀察到
        
        f 是每個節點的預測類標籤的向量
        
        最小化的標籤傳播的目標函數 (1)
    - - 第二項近似於相鄰節點的預測值
      - 第一項將預測向量 f 近似為接近輸入向量 y
      - λ 是一個常數值，以保持第一項和第二項之間的平衡
      - 的公式變形是(2)
      - 拉普拉斯矩陣是L ≡ D−W
        
        D 是每行對角線分量的和
    - - 如果在輸入話語中觀察到單詞，則 y 的元素最初是一個元素
      - y 的先前值還添加了折扣值 γ
        
        該值介於 0 ≤ d ≤ 1 之間以考慮對話序列
        
        一旦折扣值被分解為之前的值，y 將替換為分解值並在當前話語中添加標籤
        
        通過等式（4）計算f，並將其作為當前話語的特徵向量返回
- - - - 跟踪每個話語級別的對話狀態
      - 該語料庫由新加坡旅遊信息的對話組成
        
        包含 3 位導遊和 35 位遊客的 35 次對話
        
        包含 31,034 條話語和 273,580 個單詞
        
        這些都是人工轉錄和註釋的
        
        分為訓練集、開發集和測試集
        
        每個數據集有14、6、9個對話
        
        每個對話框都分為帶有開始/內部/其他 (BIO) 標記註釋的子對話框
        
        “B”註釋代表子對話會話的開始
        
        “I”註釋代表子對話會話內部
        
        'O' 被註釋到話語中
        
        每個子對話會話都標註了五個類別的主題和對話狀態
        
        它們指定了子對話的內容。對話狀態屬於整個子對話會話的主題之一
        
        可能的對話狀態數約為 5,000
        
        每個話語都有多個狀態
      - 我們將主要任務的問題定義為機器學習方法的多標籤分類
    - - 以一種基線方法，模糊字符串與本體匹配
        
        匹配話語和本體條目的某些部分
        
        本體被構造為樹結構，並且在其葉子上具有所有可能的對話狀態
        
        DSTC4 的最佳得分方法以不同的方法提供
      - BoW、BoW with Word2Vec (W2V) 以及我們提出的公平比較方法
      - 準確率和 F-measure 分數用於評估指標
        
        準確率是跟踪器成功識別所有時隙的準確率和召回率的調和平均值
        
        f-measure 分數是跟踪器成功識別的槽的比率
        
        schedule1在每次發聲時計算分數
        
        schedule2 在子對話框的每一端計算分數
  - - - 激活函數 : sigmoid
      - 學習率=0.000025
      - 優化方法 : Adam
      - dropout=0.2
    - - BoW
        
        是用戶話語中觀察到的詞的稀疏向量
      - BoW with W2V
        
        W2V 是詞向量的總和，由 W2V 對用戶話語中所有觀察到的詞進行計算
      - 我們提出的方法
  - - - γ=0 表示系統不考慮任何歷史記錄
      - γ=1 表示系統永遠不會忘記用戶之前說過的話
    - - 將平衡值λ設置在 0.5 到 8 之間
    - - 將 τ 設置得更小會導致召回率的增加和精度的降低
      - 只需在0.1 和 0.9 之間將步幅設置為 0.1
  - - - 表格中的所有結果仍低於基線方法的得分。這可能是因為使用 BoW 對於多標籤預測的 NN 來說太稀疏了，它具有高維輸出層
    - - 我們提出的方法特徵的結果
      - 表 6 和表 7 顯示了具有 5 個最佳參數條件的每個計劃的 f 度量
      - 根據結果，（γ）=1 獲得更高的結果
        
        所有沒有折扣的歷史都貢獻了更好的結果
      - 較低的 λ 和閾值 (τ) 要求更高的準確度分數
      - f-measure 的所有前 5 個結果的閾值 τ=0.2，並且 F-measure 的 λ 值不穩定
    - - λ 固定為 0.5，其中該值在表 4-6 上取得了最佳結果
    - - 在折扣 γ=1.0 和閾值 τ=0.2 下實現最高 F-measure
      - 較低的閾值允許 FF-NN 分類器輸出更多的候選輸出，從而提高召回率並降低精度
    - - 與基線相比，建議方法預測了“INFO”的值“Fee”
      - 在話語中沒有觀察到“費用”這個詞，但是，所提出的方法可以通過特徵成功地預測標籤，這可能是從用戶話語中的“免費進入”推斷出來的
    - - 新結果是 BoW 以 W2V 作為 NN 模型的輸入以及 DSTC4 的最佳結果
      - 然而，DSTC4 的最佳結果比 f-measure 高 0.2 以上
      - 最佳結果優於所有其他結果的原因之一是該方法使用了多種具有精心手工製作的基於規則的特徵的特徵
      - 該方法需要努力模仿。與我們提出的方法的最大區別在於，我們的方法使用了全自動和無監督的特徵創建