[對話式AI-3] Chatbot的記憶與決策–對話管理篇

聊天機器人的對話管理（Dialogue Management）是為了總結目前的對話狀態，並決定系統該做些什麼。通常分為兩個子模組，負責更新對話狀態的「對話狀態追蹤」（Dialogue State Tracking），其輸入自然語言理解模組所得到的使用者動作，以及過往的對話歷史，輸出對話狀態；以及決定系統動作」的「對話策略學習」（Dialogue Policy Learning），其輸入對話狀態，輸出系統動作。上述的「使用者動作、對話狀態、系統動作」皆可用一個意圖與一組槽位值表示。

對話狀態追蹤（Dialogue State Tracking）

目的是透過「使用者動作」及「對話歷史」更新對話狀態，其對話歷史可能隱含著因資訊不足，經過系統反問使用者後，產生的「多輪對話」內容；有些需求還會參考使用者畫像（User Profile），以補足必要的「個性化資訊」。透過推理和總結上述內容，轉換成簡單的對話狀態（一個意圖與一組槽位值），系統可以將當前的對話狀態映射成更完整的表示（Representation）。為了考慮自然語言的模稜兩可、語音辨識或自然語言理解模組產生的失誤，根據可能正確的使用者動作數量，可進一步分成只考慮置信度最高的1-Best，以及考慮多個使用者動作與置信度的N-Best方法；常用CRF、RNN、LSTM模型追蹤序列。

對話策略學習（Dialogue Policy Learning）

目的是透過「對話狀態」決定系統該做些什麼，如果對話狀態的意圖在系統能夠提供的服務項目之內，系統會檢查槽位值是否齊全，然後使用其內容查詢服務API，以得到關鍵答案或內容；若對話狀態的意圖不明，或其符合特定服務但槽位值有缺失，系統應該主動向使用者提問，透過多輪對話及對話狀態追蹤來蒐集足夠的資訊。最後將關鍵答案或內容封裝到系統動作中，以一個意圖及一組槽位值代表，提供給自然語言生成模組（Natural Language Generation）。

對話策略的實作方法

  • 基於規則（ Rule-based ）的方法，透過編寫明確的規則，來建立各種槽位狀態下，使用者動作所對應的系統動作，此種方法無法處理不確定的狀態，且需要手工編寫大量規則，僅適合特定領域的簡單場景。
  • 基於有限狀態機（Finite-State Machine, FSM），此種方法又可分為「以點代表槽位狀態，以邊代表系統動作」，以及「以點代表系統動作，以邊代表槽位狀態」兩種方案；槽位狀態可分為有或無，系統動作則是詢問槽位或最後回答兩種，為避免置信度過低，也可以增加動作請使用者二次確認。由於前者在槽位增加時，會使狀態數量急遽增多，只適合資料驅動的方式；若要以手工建置會建議採用後者。採用有限狀態機的優點在於實作簡單，且容易理解，缺點是每個狀態和動作都要手工設計，不利於複雜場景。
  • 基於統計（Statistical-based）的方法，通常採用馬可夫鏈（Markov Chain）將對話過程表示成決策過程，而系統在每個對話狀態中決定下一步動作。採用馬可夫鏈的優點在於只需要在決策過程中定義槽位狀態與系統動作，就可以自動學習到狀態的移轉關係，也可在過程中導入強化學習（Reinforcement Learning）與線上學習（Online Learning），缺點是同樣需要手工設計，不利於複雜場景。
  • 基於深度學習（Deep Learning）的方法，輸入使用者動作及相關特徵，輸出對應的系統動作，以訓練深度類神經網路模型。基於深度學習的方法需要大量訓練資料才能夠取得效果，目前實際應用上還難以滿足此須求。

對話管理的具體流程

  1. 自然語言理解模組取得使用者對話「推薦我一家台北的餐廳」，此時會偵測使用者意圖及識別命名實體，並將結果封裝成使用者動作（意圖=推薦餐廳, 地點=台北），得以將自然語言映射成簡單的語意表示。
  2. 對話狀態追蹤模組透過使用者動作（意圖=推薦餐廳, 地點=台北）更新當前的對話狀態，然後在地點填充常用的預設值，並透過使用者畫像補充用餐的個性化資訊，最後輸出對話狀態（意圖=推薦餐廳, 地點=台北公館, 口味=喜歡吃辣）。
  3. 對話策略學習模組得到對話狀態後，發現其意圖在系統能夠提供的服務項目之內，但還缺少了用餐時間，系統應該反問使用者；所以輸出系統動作（意圖=對空白槽位提問, 地點=台北公館, 口味=喜歡吃辣, 時間=Null）。
  4. 自然語言生成模組執行系統動作，產生問句向使用者提問欲用餐的時間「你想在什麼時候用餐呢？」。
  5. 自然語言理解模組取得次輪的使用者對話「明天中午」，再次偵測意圖及識別命名實體，得到使用者動作（意圖=不明, 時間=2020年3月30日12點）。
  6. 對話狀態追蹤模組參考使用者動作及對話歷史，更新當前的對話狀態（意圖=推薦餐廳, 地點=台北公館, 口味=喜歡吃辣, 時間=2020年3月30日12點）。
  7. 對話策略學習模組利用對話狀態及對話歷史，蒐集餐廳推薦服務的必要資訊，透過查詢服務API得到答案後，封裝成系統動作（意圖=推薦餐廳, 地點=台北公館, 口味=喜歡吃辣, 時間=2020年3月30日12點, 餐廳=右手餐廳, 類型=泰式料理）。
  8. 自然語言生成模組執行系統動作，產生具體答案「建議你明天中午可以到台北公館的右手餐廳享用酸辣的泰式料理」。

未來的發展方向

為了解決基於深度學習的對話管理方法，在訓練資料上普遍不足的問題，業界已嘗試使用N-Shot Learning在小樣本下進行訓練，或使用Zero-Shot Learning在沒有任何訓練資料的情況下，進行現有模型的遷移與補全，以及在馬可夫鏈決策過程中，導入強化學習（Reinforcement Learning）與線上學習（Online Learning），建立獎懲與持續學習的機制；也有學者將生成對抗網路（Generative Adversarial Network, GAN）應用在自然語言處理上，透過結合強化學習的SeqGAN讓兩個模型相互博弈，以學習到最強的對話策略。

參考文獻

在〈[對話式AI-3] Chatbot的記憶與決策–對話管理篇〉中有 2 則留言

  1. 自動引用通知: [對話式AI] Chatbot的類型與對比（問答、對話與閒聊系統） - Lion Ethan 產品科研

留言功能已關閉。