NLP 彙整 - Lion Ethan的產品技術研究

[對話式AI-9] 2020 Chatbot Framework Comparison 聊天機器人框架對比

這是經過數個月的調查與更新，所做的2020年聊天機器人框架對比。本表整理了10個知名的Chatbot框架，幾乎涵蓋時下Chatbot所有的Feature；經過一輪基本的驗證後，針對模糊之處再深入使用，藉此得到詳盡的對比。10月做了一次修正與更新，為了將資料整合到部落格的AI專欄上，也克服網誌呈現表格的問題，在此分享給各位業界先進與同好。

Type	Feature	Description	Google	Microsoft	Xiao-i Robot	小i機器人	IBM	DYDU	SAP	Flow XO	Meya	Gupshup	Hubspot
			Dialogflow	AzureBot	iBot Enterprise / Pro	iBot International / Express	Watson	DYDU	Recast.ai	Flow XO	Meya	Gupshup	Hubspot
Operation & appearance	Code-free backend	透過後端介面拖拉流程圖就能建立chatbot，不須寫程式	√	×	√	√	√	√	√	√	×	√	√
Structure & logic	Knowledge-independent assistant	knowledge(skills)的編輯與assistant的創建彼此獨立	×	√	×	×	√	√	√	×	×	×	×
	Bots collaboration	可以定義一系列彼此knowledge不相關的bot，然後通過組合bot來構建一個assistant的整體輸出	×	×	×	√	×	√	√	√	√	√	√
	FAQ-based intent	支援FAQ格式的intent與答案，而每個intent的答案是固定的	√	√	√	√	×	×	×	×	×	×	×
Multi-language	Multi-language	支援多語言對話	√	√	√	√	√	√	√	×	√	×	×
	Auto-language detection	系統自動偵測語言，使用者不需自行選擇	√	√	×	√	×	√	√	×	√	×	×
Pre-build content	Knowledge	預置常用的一般或行業知識，允許客戶快速構建chatbot	√	√	√	√	√	√	√	√	√	√	√
Knowledge edit	Intent -- intent conflict resolution	利用AI技術偵測人工填寫intent/user samples時產生的錯誤和衝突	×	×	√	×	√	×	√	×	×	×	×
	Intent -- utterance	對某個intent編輯不同的問法(擴展問)	√	√	√	√	√	√	√	×	×	×	√
	Entity -- my entity	可自行定義entity(例如通過同義詞)	√	√	√	√	√	√	√	×	×	×	×
		系統可自動推薦同義詞	√		×	×	√	√	×	×	×	×	×
	Multi-turn Dialog	若問句資訊不足，系統可以反問使用者(多輪對話)	√	√	√(ibot ui)	√ (scene)	√（5）	√	√	√	√	√	√
						× (workflow)	√（50）
	Dialog -- slots	系統可自動擷取與填充槽位	√	√	√	√	√	√	√	√	√	√	√
	Dialog -- disambiguation	當使用者的問句匹配到dialog中2個以上的intent節點時，assistant會請使用者決定正確的intent	×		√	×	√	×	×	×	×	×	×
	Dialog -- 意圖推薦	當使用者的問題超出服務範圍，或無法識別意圖時，系統可以推薦相關的意圖給使用者	×	√	√	√	×	√	×	×	×	×	×
	Dialog -- multi slots filling	對intent缺失的多個資訊，進行一次性的提問，讓使用者可以一次補充所有資訊，而非逐條詢問與回覆	√		√	×	√	×	×	×	×	×	×
	Dialog -- multi reply	對同一intent有多種回答，讓系統可以隨機選擇，產生更自然的對話效果	√		√	√	√	×	√	√	×	√	√
	Dialog -- Digression	允許用戶在dialog中，進行話題(node)的切換，例如從某個流程節點跳轉到另一節點，並允許跳回等。	×	√	√	×	√	√	√	√	√	√	×
	Dialog -- interruptions	可讓使用者在對話中暫時討論不同的主題，然後再返回原來的主題	×	√	√	×	×	√	×	√ (quit keyword)	×	×	×
	Knowledge map	顯示不同knowledge之間的關係和聯繫	×		√	√	×	√	×	×	×	×	×
	Answer - variable	提供特定參數，讓系統獲取相關資訊，如使用者名稱、IP、URL等內容，也可以直接用variable的形式添加在答案中。	√		√	×	×	√	√	√	√	×	√
	Sentiment	允許系統對正反及不同程度的情感狀態，做出對應的回應	×		×	×	×	√	√	×	×	×	×
	Import/export	支援knowledge匯出及匯入	√	√	√	√	√	√	×	×	×	×	×
Dashboard	Analytics dashboard	提供報表讓客戶進行數據分析	√	√	√	√	√ (7 D)	√	√	√ (2 WK)	√ (30 D)	√	√
							√ (30/90 D)			√ (3 M)	√ (increase)
Testing	Tester	提供測次問句的各種工具	√	√	√	√	√	√	√	√	√	√	√
	Batch test	支援問句的批次測試	×		√	√	×	×	×	×	×	×	×
Improve	Deep learning model	支援深度類神經網路模型	√	√	√	√	√	×	√	×	×	×	×
	Active learning	從日誌中收集待確認的對話，經客戶確認後學習到知識中	√	√	√	√	√	√	√	×	×	×	×
	Intent recommendation	根據已有的對話數據推薦意圖，從而實現更快地訓練	×		√	√	√	√	×	×	×	×	×
Integration	Custom plug-in	可以客製化整合其他API	√	√	√	×	√	√	√	√	√	√	×
	Preview link	可提供預覽chatbot的連結	√	√	√	×	√	√	√	√	×	×	×
	Service desk integrations	支援無縫轉人工服務	√	√	√	×	√	×	√	√	√	√	√
Versioning		允許對assistant的編輯結果，進行版本控管	√		√	×	√	×	√	×	×	×	×
Authorization	Access control	可以允許添加訪問人員和管理相應的權限	×	√	√	√	×	√	×	×	×	×	√
Search skill		支援透過搜索非結構化數據來擴展assistant的knowledge	√	√	√	×	√	×	×	×	×	×	×
Data	Log data across instances	將正式環境中的insights整合到開發環境中	×	√	√	×	√	√	×	×	×	×	×
	Data isolation		×		×	√	√	×	×	×	×	×	×
Service	SLA 99.9%	服務等級協議達到99.9%的可用時間	×	√	×	×	√	×	×	×	×	×	×
	Mail subscription	支援透過郵件訂閱comments等資料	×		×	×	×	√	×	×	×	×	×
	Survey	可設立問卷調查模板（對內部或外部調查）	×	×	√	×	×	√	×	×	×	×	×
對話預處理		通過預設的對話匹配規則，可快速自訂簡單的場景	×		√	×	×	√	×	×	×	×	×
Matching strictness		可調整匹配的閾值	×		√	×	×	×	√	×	×	×	×
定時任務		支援知識和詞的定時同步	×		√	×	×	√	×	×	×	×	×
前後綴處理		可自動忽略位於句首或句末的特定詞語或短句	×		√	×		×	×	×	×	×	×
停用詞		可自動忽略句中任意位置的特定詞語	×		√	×	×	×	×	×	×	×	×
Table QA		可動態載入結構化數據，並通過自然語言交互，轉換成SQL語句，對資料庫進行查詢	×		√	×	×	×	×	×	×	×	×
質檢		自動分析交互日誌，將可能的錯誤應答的對話，提供給維運人員審核	×		√	×		×	×	×	×	×	×
地區維度		根據使用者所在地區給出不同答覆	×		√	×	×	√	×	×	×	×	×
知識編輯鎖		一位編輯人員操作某個知識時，系統將鎖定該知識群組，使其他人員無法編輯，藉此防止衝突的產生	×		√	×	×	×	×	×	×	×	×

[對話式AI-4] Chatbot的挑戰與發展趨勢

雖然電腦視覺（Computer Vision）透過深度學習（Deep Learning）技術取得了重大進展，但在自然語言處理（Natural Language Processing）領域，深度學習的導入仍然處於發展初期。

以聊天機器人（Chatbot）來說，自從圖靈測試在2014年被聊天機器人Eugene通過後，加拿大學者改進測試的缺失提出了威諾格拉德架構挑戰賽（Winograd Schema Challenge），也是目前最具權威的AI競賽。

該競賽的第一輪是代詞消歧問題（Pronoun disambiguation problems）。舉例來說，當人類分析句子時，會用經驗來理解指代的對象：

市議會拒絕示威者，因為他們害怕暴力。
市議會拒絕示威者，因為他們提倡暴力。

而這個選擇題只有兩個答案，代詞”他們”是指”市議會”還是”示威者”，AI應該要指出在第一句說的是市議會，第二句說的是示威者，從問題上可以發現，系統無法透過這段話的上下文進行理解得到答案，這在傳統實作上必須透過知識圖譜（Knowledge Graph）進行推理，或使用深度類神經網路模型，要通過比賽拿到獎金25,000美金，準確率（Accuracy）必須達到90%以上，但目前最好的成績只有58%，遠比人類低得多。

除了上述根本影響Chatbot問答品質的問題，還有幾個難題仍未被突破：

通用的模型架構（Universal Model Architecture）：為了整合語音辨識、詞法分析、句法分析、語意分析、深度學習，答案搜尋，對話管理、自然語言生成和語音合成等模組，確保其相容性，當前Chatbot架構與模型相當複雜，管理較為困難，如何研發通用的架構與模型，是未來所有同業的發展目標。
情感計算（ Affective Computing ）：從分析文本的情感（Sentiment Analysis）到辨識人類情緒的情感計算，例如開心、生氣、哀傷等；可以讓Chatbot與人交互時更有溫度，是目前產學界熱門研究方向。
開放領域（Open Domain）：現在的Chatbot只能做好特定領域的工作，如何建構開放領域的知識，甚至不需要人工建構知識，讓機器自學習，也是產學界正在努力的方向。
端對端（ End to end ）：不經過傳統的模組串聯，利用深度學習（ Deep Learning ）建立端對端的簡潔模型；達到輸入原始資料後，可直接得到想要的輸出結果，但與此同時還要支援多輪對話管理、上下文情境及知識圖譜推理，避免安全回答，甚至是保持Chatbot個性的一致性，正確的進行指代消解，這些挑戰都是產學界近期的目標。
基於生成的模型（Generative Model）：目前自然語言生成技術，可分為基於檢索、基於範本及基於生成兩種方法，三者都可以導入深度學習技術，目前以基於檢索及基於範本為業界主流；雖然深度學習Seq2seq模型非常適合產生文字，但此基於生成方法尚處早期的發展階段，空間和時間複雜度高，實際應用效果不佳。

[對話式AI-8] 研發部門與開發流程介紹

本文以筆者所任職的公司為例；在不涉及公司機密的前提下，介紹人工智慧產品研發的「相關部門、開發流程及工作內容」，為大家揭開AI產業的神秘面紗。

公司主要業務是為電信、金融、政府及電商等領域，導入AI技術、自然語言處理（Natural Language Processing, NLP）技術、系統整合及平台建置，最常幫一些大型機構建置Chatbot及呼叫中心等系統，協助提升客戶服務，並降低人力需求。

AI公司的組織架構

一般AI公司研發中心可以分為下列部門（舉例），橫向為各部門名稱，縱向為組織架構:

研究院 / 知識研究部（理論及算法研究）
自然語言理解NLU研發部 / 語音引擎研發部（算法研究及應用）
基礎產品研發部 / 雲端平台研發部（引擎應用）
產品測試部
解決方案部（產品包裝）
專案實施部（產品應用及二次開發）

AI產品的開發流程

研究院負責與大學院校合作，閱讀論文並研究前瞻技術後，將研究成果提供給NLU / 語音研發部。同時通報專利申請單位，將有價值的技術註冊成專利。
NLU / 語音研發部將研究成果，實作成底層引擎，並將其轉交給基礎產品研發部。同時通報專利申請單位，將有價值的技術註冊成專利。
基礎產品研發部負責市場調查、設計產品，並撰寫前後端邏輯，將引擎包裝成Chatbot / 推薦系統（Recommender system）等產品。同時通報專利申請單位，將有價值的技術註冊成專利。
Chatbot / Recommender等產品的基本內容及行業知識，由知識研究部負責建置，如標註資料、建置知識、知識圖譜、預置行業包等。
解決方案部負責將Chatbot / Recommender產品的各項能力，打包成各個行業的解決方案，提供給業務單位兜售。
如果客戶有興趣，專案實施部會使用該Chatbot / Recommender等產品 / 解決方案，為客戶無償做POC（Proof of Concept)；如果客戶滿意其成果，就會為後續開發簽約付錢。
專案實施部再根據合約內容完成Chatbot / Recommender等系統建置及介接API等二次開發工作，並提供售後維護服務。公司每年再收取License、維護及再開發費用。

AI產業的工作內容

若你有志投入AI相關產業，可以往以下幾種部門走，但著重的技術都不同：

研究院

一般使用Python語言及TensorFlow、PyTorch及SKlearn等框架研究算法（Algorithm），如語音辨識（Automatic Speech Recognition）、分詞（Word Segmentation），詞性標註（Part of Speech)、句法分析（Syntactic Analysis）、語意分析（Semantic Analysis)、對話管理（Dialogue Management）、自然語言生成（Natural Language Generation）及語音合成（Text to Speech）等。

NLU / 語音研發部

由於Python不適合用於大規模平行計算（Parallel Processing），這裡常使用Java語言，Mahout、Deeplearning4j等框架在Hadoop及Spark上實現算法、引擎、訓練及部署模型。

基礎產品研發部

這裡就比較沒有局限了，什麼語言和框架都可以用，譬如使用Go語言及Gin框架，撰寫後端邏輯，將底層引擎包裝成產品；以及使用Javascript語言、React或Vue等框架開發前端。

專案實施部

根據客戶需求選擇語言及框架，透過Chatbot / Recommender等產品 / 解決方案為客戶二次開發，並提供售後維護服務。