自然語言處理 Paddle NLP

什麼是任務型對話:

任務型：用於幫助使用者完成某領域的特定任務，例如訂餐、查天氣、訂票等
閒聊型：也稱作開放域對話系統，目標是讓使用者持續的參與到互動過程，提供情感陪伴
問答型：提供知識滿足，具體型別比較多，如圖譜問答、表格問答、檔案問答等

Pipeline型任務型對話系統

什麼是NLU?
NLU(自然語言理解)：是指將使用者表述對映為結構化的語意表示，典型的結構化語意表示是意圖+詞槽的形式。
意圖：是指對話中使用者想要表達的目的，比如訂票，查天氣等
詞槽：是指使用者表述中，與任務相關的核心語意元素
意圖分類+詞槽識別==>文字分類+序列標註

什麼是DST？
DS（對話狀態）：是指將t時刻的對話表示為可供系統選擇下一時刻動作資訊的抽象資訊（資料結構），典型而言就是每個槽值的取值分佈情況（BelifState）。
DST：對DS進行追蹤，當前大多數工作採用BelifState

Pipeline型任務式對話系統中的Policy

對話策略是指根據DST估計的對話狀態，通過預設的候選動作集，選擇系統動作的過程。

Policy中的典型方法
典型方式：
在離線階段，通過監督學習或模擬學習在語料上進行學習
線上階段，通過強化學習的方式，與真實使用者互動過程中學習

使用者模擬器在DPL中的應用
定義：使用者模擬器是另一套對話系統，其動作行為與真實使用者類似，用來提供進行訓練或評估的環境
缺點：使用者模擬器並不能完全模擬真實使用者的對話習慣，它本身行為的有偏可能會導致學習到的是不是最優模型，從而在與真實使用者互動時表現較差。

Pipeline型任務式對話系統中的NLG

什麼是NLG？定義：自然語言生成的主要任務是將對話管理模組輸出的抽象表達轉換為句法合法、語意準確的自然語言句子，一般被視為一個條件語言生成任務。
評估標準：
人為標準：是否自然、是否多樣，是否完整傳達了語意、是否流暢，可讀性是否好等
機器指標：BLEU、perplexity、ROUGE、METEOR等