分類: 推薦系統

[對話式AI-8] 研發部門與開發流程介紹

本文以筆者所任職的公司為例；在不涉及公司機密的前提下，介紹人工智慧產品研發的「相關部門、開發流程及工作內容」，為大家揭開AI產業的神秘面紗。

公司主要業務是為電信、金融、政府及電商等領域，導入AI技術、自然語言處理（Natural Language Processing, NLP）技術、系統整合及平台建置，最常幫一些大型機構建置Chatbot及呼叫中心等系統，協助提升客戶服務，並降低人力需求。

AI公司的組織架構

一般AI公司研發中心可以分為下列部門（舉例），橫向為各部門名稱，縱向為組織架構:

  • 研究院 / 知識研究部（理論及算法研究）
  • 自然語言理解NLU研發部 / 語音引擎研發部（算法研究及應用）
  • 基礎產品研發部 / 雲端平台研發部（引擎應用）
  • 產品測試部
  • 解決方案部（產品包裝）
  • 專案實施部（產品應用及二次開發）

AI產品的開發流程

  1. 研究院負責與大學院校合作，閱讀論文並研究前瞻技術後，將研究成果提供給NLU / 語音研發部。同時通報專利申請單位，將有價值的技術註冊成專利。
  2. NLU / 語音研發部將研究成果，實作成底層引擎，並將其轉交給基礎產品研發部。同時通報專利申請單位，將有價值的技術註冊成專利。
  3. 基礎產品研發部負責市場調查、設計產品，並撰寫前後端邏輯，將引擎包裝成Chatbot / 推薦系統（Recommender system）等產品。同時通報專利申請單位，將有價值的技術註冊成專利。
  4. Chatbot / Recommender等產品的基本內容及行業知識，由知識研究部負責建置，如標註資料、建置知識、知識圖譜、預置行業包等。
  5. 解決方案部負責將Chatbot / Recommender產品的各項能力，打包成各個行業的解決方案，提供給業務單位兜售。
  6. 如果客戶有興趣，專案實施部會使用該Chatbot / Recommender等產品 / 解決方案，為客戶無償做POC（Proof of Concept)；如果客戶滿意其成果，就會為後續開發簽約付錢。
  7. 專案實施部再根據合約內容完成Chatbot / Recommender等系統建置及介接API等二次開發工作，並提供售後維護服務。公司每年再收取License、維護及再開發費用。

AI產業的工作內容

若你有志投入AI相關產業，可以往以下幾種部門走，但著重的技術都不同：

研究院

一般使用Python語言及TensorFlow、PyTorch及SKlearn等框架研究算法（Algorithm），如語音辨識（Automatic Speech Recognition）、分詞（Word Segmentation），詞性標註（Part of Speech)、句法分析（Syntactic Analysis）、語意分析（Semantic Analysis)、對話管理（Dialogue Management）、自然語言生成（Natural Language Generation）及語音合成（Text to Speech）等。

NLU / 語音研發部

由於Python不適合用於大規模平行計算（Parallel Processing），這裡常使用Java語言，Mahout、Deeplearning4j等框架在Hadoop及Spark上實現算法、引擎、訓練及部署模型。

基礎產品研發部

這裡就比較沒有局限了，什麼語言和框架都可以用，譬如使用Go語言及Gin框架，撰寫後端邏輯，將底層引擎包裝成產品；以及使用Javascript語言、React或Vue等框架開發前端。

專案實施部

根據客戶需求選擇語言及框架，透過Chatbot / Recommender等產品 / 解決方案為客戶二次開發，並提供售後維護服務。

基於深度學習的推薦算法調研

年底因為工作任務，調研了幾篇推薦系統 （ Recommender System ，以下簡稱RS） 的論文；我寫碩論時還不流行深度學習（Deep Learning，以下簡稱DL），轉眼間DL已經成為顯學，近年發表的推薦算法也都是基於DL的研究，我也已經應用在業界的專案中，並獲得了一些進展，但對DL應用在RS的普遍成效，我也是相當好奇。

趁著還記得調研的內容，在此以ACM RecSys 2019最佳論文「Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches」為基礎，跟大家分享一些心得：

讀後總結：

  • DL應用在電腦視覺CV和自然語言處理NLP領域相當成功，但在其他方面不如預期。
  • 2015到2018年RecSys, WWW, KDD, SIGIR頂級會議共有18篇DL論文與top-n推薦有關，可重現的實驗有7篇，比例約39%；也就是61%的實驗無法重現。
  • 通常做為baseline的方法有非個性化TopPopular、協同過濾CF的ItemKNN、UserKNN、P3alpha、RP3beta，混合的ItemKNN CF + CB，以及機器學習ML的SLIM。
  • 論文作者重現這7個實驗，驗證其進展是否真實，發現DL方法，效果並沒有上述經典的啟發式方法好，在7篇論文中只有1篇優於上述baseline方法，但只是在部分情況下超越。
  • 論文作者認為導致此結果的原因，是這7篇論文挑選了較差的baseline方法和參數、所選擇的測試資料epoch次數不同，甚至有實驗程序不同導致評估錯誤。

個人心得：

  • 為了驗證這幾年的進展，論文作者使用公開資料集作為可重現條件之一，從18篇論文中挑選了7篇重現實驗，但目前的公開資料集有資料量不夠大，矩陣比較不稀疏，以及特徵少等特色；此種資料集並非DL的強項。
  • 公開資料集大多出於學術界，其大小與特徵豐富程度遠低於業界的系統；所以論文作者的結論，以及DL在商用資料集的表現，還有待進一步的驗證。

參考資料：
https://dl.acm.org/authorize?N684126
https://arxiv.org/pdf/1907.06902.pdf

推薦演算法介紹

隨著網際網路日益普及，數位內容呈現指數成長趨勢，使人們淹沒在資訊洪流之中，例如：Netflix上有數萬部電影，Amazon上有數百萬本書籍，Del.icio.us上有超過十億的網頁收藏，這麼多的訊息，我們無法一一瀏覽，而傳統的搜尋引擎只能呈現給使用者一樣的排序清單，無法根據不同使用者偏好提供個性化服務，而個性化搜尋與推薦系統正是解決當前資訊超載的有效方法之一。

其中推薦系統是資訊過濾系統的子集，它試圖預測使用者將賦予他們還沒有考慮的項目（例如：書籍、音樂或電影）或社交元素（例如：個人或團體）評分或偏好。

在一個真實的推薦系統中需要考慮的項目可能會有成千上萬，甚至超過百萬，例如：Amazon、eBay和YouTube等，使用者數量也會非常龐大，因此我們需要準確且有效率的推薦系統。在激烈的競爭環境之下，現有推薦系統已經在電子商務領域取得卓越成果，但在不同領域之下，還需要各方先進和專家努力發展。

一個完整的推薦系統由三個部分組成，收集使用者資訊的行為紀錄模組，分析使用者偏好的模型分析模組與推薦演算法模組；行為紀錄模組負責記錄使用者行為，例如評分、購買或瀏覽等；模型分析模組負責分析使用者行為，以建立合適的模型來描述使用者偏好；推薦演算法模組負責即時從項目集合中篩選出使用者偏好項目進行推薦，此為推薦系統中最為核心的部分。

主要的推薦演算法可以分為協同過濾（Collaborative Filtering）、基於內容（Content-based）與混合法（Hybrid Approaches），接下來我將一一介紹，並進一步說明如何在協同過濾法中結合情境感知 （ Context-aware ） 。

協同過濾法（Collaborative Filtering Approaches）

協同過濾法是目前最成功的推薦演算法之一，通常的做法是搜尋一大群人，從中找到與我們品味相近的一小群人。演算法會針對這些人偏好的其他內容進行計算，產生一個有序的推薦清單。

Goldberg設計Tapestry是最早應用協同過濾法的系統，該系統允許人們根據自己對文件感興趣的程度添加標記，並利用此資訊為他人過濾文件。Konstan等人設計的GroupLens則是應用在新聞篩選上，幫助讀者過濾其偏好的新聞內容，使用者看過內容後給一個評分，系統會將分數記錄下來供日後參考，不同於Tapestry僅在同一個系統中過濾，GroupLens是跨系統的新聞過濾機制；除此之外，Tapestry不會將同項目的評分總合起來，GroupLens則會對同項目從不同使用者得到的評分加總。

協同過濾法可以分為兩類：基於記憶（Memory-based）和基於模型（Model-based）的演算法；基於記憶的演算法根據系統中所有被評分的項目進行預測；基於模型的演算法根據收集評分資料進行機器學習，得到使用者行為模型進行預測。

協同過濾法需要計算兩個使用者相似度， 常用的相似度測量法有Distance-based、Correlation-based、Cosine-based。

總結來說，協同過濾法有以下優點：具有推薦新資訊的能力，可以發現使用者潛在偏好；能夠推薦音樂、餐廳和電影等難以進行內容分析的項目。

雖然協同過濾法應用廣泛，但是也有許多問題，例如：如何對新使用者進行推薦或如何推薦新項目給使用者之冷啟動問題（Cold Start）；在任何推薦系統中，已評分項目通常比需要推薦項目數量少很多，而導致精確度低落之稀疏性問題（Sparsity），面對日益增多的使用者，資料量急劇增加之可擴展性問題（Scalability）等。因此有的推薦系統採用基於項目相似度的協同過濾法，在項目數量相對穩定的系統，這種方法是很有效的。

基於內容法（Content-based Approaches）

最初基於內容法是協同過濾法的延續與發展，他不需要依賴使用者對項目的評價，而是依據使用者已經選擇的項目內容計算使用者之間的相似度，藉此推薦合適的項目；基於內容的推薦系統依賴資訊檢索與過濾，經由分析已經購買或瀏覽的內容，對使用者和項目建立配置文件（Profile），系統可以比較使用者和項目配置文件的相似度，直接向使用者推薦最相似的項目。

總結來說，基於內容法有以下優點：可以處理新使用者與新項目的冷啟動問題；不會受到評分稀疏性的限制；能夠推薦新項目和非流行項目，能夠發現隱藏的項目；可以透過配置文件列出推薦項目的特徵，深入了解為什麼推薦這些項目。

基於內容法也面臨常見的資訊檢索問題，例如：多媒體資料（圖片、音樂與影片）難以進行文本結構化，而受到了很大的限制。

混合法（Hybrid Approaches）

每一種演算法都存在著一些缺點，為了擇優汰劣，有些推薦系統結合了不同的方法，我們稱之為混合法。而目前最常見的混合推薦系統即是基於內容與協同過濾法的搭配，主要又可分為獨立系統相互結合、協同過濾系統加入基於內容法。

獨立系統相互結合是分別利用兩種以上的演算法產生推薦結果，然後將這些結果整合起來，利用預測評分的線性組合進行推薦。

而在協同過濾系統中加入基於內容法的Fab，即是使用者配置文件使用協同過濾法產生，使用者相似度則使用基於內容法，而非參考共同評分項目，這樣可以讓系統不僅能推薦擁有共同評分的使用者項目，也可以推薦與使用者配置文件相似的項目。

結合情境之協同過濾法

傳統協同過濾法可以被視為二維問題，其中一維是使用者，另外一維是項目，每個使用者與項目的交互是使用者對項目的評分，當我們加入情境到推薦問題上，它就變成了多維度問題。

傳統推薦演算法無法直接處理這類問題，然而許多研究人員試圖修改原有方法來支援情境感知；Adomavicius提出了一個相當著名的方法，其主要精神是在推薦時固定維度，也就是只考慮該情境下所有的評分，如此一來多維問題就變成了二維問題；然而這種方法會使得冷啟動問題變得更加棘手，因此Adomavicius等人還提出了一個擴展有等級屬性之情境的方法，為了增加準確度，他們還設計一種演算法將情境分段。

另外一個方法是測量不同情境的相似度去加權評分；由於使用者偏好項目會隨著情境改變，若在某些情境下使用者一致偏好此項目，Chen推論這個些情境即非常適合該項目。因此他使用Correlation-base相似度測量法去計算項目i在兩個情境x和y下的相似度權重。

Chen還假設每個維度都是線性獨立的，如此一來兩個情境的相似度可以在每個維度中分別計算。