Please enable JavaScript.

Coggle requires JavaScript to display documents.

FastSGT(2020) - Coggle Diagram

- - - - Intent Decoder
        
        概述
        
        每一个服务都包含相对当前对话可能的用户意图，但在一轮对话中，最多只有一个意图是被激活的，也可能存在NONE意图，就是没有意图被激活
        
        实现
        
        使用Single-token projection
      - Requested Slot Decoder
        
        概述
        
        每一轮对话，用户可能想要待补全的信息，而不是告诉系统关于这个待补全的值，随意就需要判断客户需要的是哪一个待补全的信息，例如客户想知道航班的起飞时间，那么这待补全的置信度就会大于0.5
        
        实现
        
        使用Single-token projection
      - Categorical Value Decoder
        
        概述
        
        用卡槽每一个可能的分类值结构embedding和用户发现的token计算每一个卡槽的值，如果不是active或carry_over就忽略
        
        实现
        
        使用Attention-based projection
      - Slot Status Decoder
        
        概述
        
        用于判断每一个卡槽的状态
        
        状态
        
        inactive:用户的当前轮次的话没有更新这个插槽的值
        
        dont_care:用户当前轮次的话更新了这个插槽的值，但不感兴趣
        
        active:用户当前的话更新了这个插槽的值
        
        carry_over:用户
        
        实现
        
        使用Attention-based projection
      - Non-categorical Value Decoder
        
        概述
        
        对于没有分类结果的插槽，预测这个插槽的范围作为结果，也就是预测最小值和最大值
        
        实现
        
        使用Single-token projection
    - - Single-token projection
        
        公式
        
        $$h_1=GELU(W_1^Ky+b_1^K)$$
        
        $$h_2=GELU(W_2^K(x \oplus h_1)+b_2^K)$$
        
        $$F_{FC}^K(x,y;p)=Softmax(W_3^Kh_2+b_3^K)$$
        
        说明
        
        y是schema embedding，y是utterance encoder的输出
        
        oplus代表拼接
      - Attention-based projection
        
        概述
        
        token层的表示能更好的提取特定域和特定知识点的信息
        
        公式
        
        $$F_{MHA}^K(x,Y_{tok};p)=Softmax(W_1^Kh1+b_1^K)$$
        
        $$h_1=MultiHeadAtt(query=x,keys=Y_{tok}, values=Y_{tok})$$
  - - - 概述
        
        包含激活的意图，插槽的集合和对应的值，以及想要的插槽
      - 来源
        
        想要的插槽：Slot Request Decoder
        
        激活意向：Intent Decoder
        
        插槽的集合和值：
    - - 概述
        
        通过当前Slot Request Decoder计算状态，然后根据不同的状态赋予slot不同的值，如果值不在这一轮，那么还需要追踪以前的状态获得对应的值
    - - In-service Carry-over
      - Cross-service Carry-over