瞄準醫療小數據痛點，整合視覺和知識語言AI來破除

從事AI開發工作，常面臨訓練資料不足的問題，在資料被視為敏感個資的醫療業更是如此。為打破這個限制，坊間也出現不少方法，像是透過遷移學習（Transfer Learning）來進行預訓練，或是利用生成對抗網路（GAN）來產生訓練資料，提高AI模型準確度。

這些方法對HTC健康醫療事業部DeepQ來說，一點都不陌生。2年前，DeepQ就應用遷移學習來改善中耳炎AI辨識率，首先透過降低維度，將耳道照片轉換為抽象的局部特徵圖像，再利用相似但與中耳炎無關的影像，比如柳丁切片、咖啡拉花等圖片來訓練AI演算法，讓準確率從7成躍升到9成以上。

這幕後的關鍵推手，就是HTC健康醫療事業部DeepQ總經理張智威。十多年前，他擔任Google中國研究院院長，主導AI復興初期的平行機器學習算法研發。後來，Google撤離中國後，他回到臺灣，全心投入醫療AI的研究。對他來說，醫療小數據是一道有趣的挑戰題，除了遷移學習，近年來他也將重心放在充滿創作潛力的GAN上，要透過這個方法來產生可靠的醫療影像。

GAN自2014年問世以來，已衍生出數百種變形，就連獲得圖靈獎的臉書AI研究院首席科學家Yann LeCun都認為，GAN及其變形是機器學習近10年來最有趣的想法。

GAN最為人熟知的應用就是創作，比如生成名畫畫風的圖片、古典樂風的曲子，或是去除照片中的物體、產生如假包換的假影片等。GAN的原理是利用兩套類神經網路來互相競爭、產生仿真的資料，這兩套網路包括了生成器（Generator）和鑑別器（Discriminator），生成器負責產生類似輸入值的資料，鑑別器則負責判別生成資料的真偽，兩者互相對抗、競爭，隨著時間推進，兩者表現也越來越好－生成的品質越來越高，鑑別的能力越來越強。

也因為GAN的特性，不少產業運用它來解決訓練資料不足的狀況，比如醫療業者利用GAN產生特定的醫療影像，再用這些影像來訓練另一套AI模型來辨識特定疾病。雖然GAN創作潛力高，但仍有其限制，像是會生成不符合現實條件的影像，或者是在自身訓練資料代表性不足的情況下，難以生成多元的影像。

舉例來說，如果要GAN生成出血性和缺血性腦中風的醫療影像，就可能發生兩種狀況。第一是產生不合邏輯的影像，比如出血點在神經周圍，而非在血管附近。第二則是訓練資料代表性不足時，如果只有缺血性中風影像作為輸入值，GAN就難以產生出血性中風的醫療影像。而這就是醫療業所面臨的小數據痛點之一。

結合專業知識，引導GAN產生訓練樣本中未出現的類別影像

張智威團隊透過生成未知花卉的任務來驗證KG-GAN。左邊兩排為實際花卉影像，中間是KG-GAN成功生成的花卉影像，右邊則是不成功的樣本。（圖片來源／DeepQ）

為改善這個問題，張智威帶領DeepQ團隊鎖定GAN，歷時一年研發出知識型AI框架Knowledge-Guided GAN（簡稱KG-GAN），整合了專業知識和GAN框架，要在訓練樣本代表性有限的情況下，來提高生成影像的多樣性，以及精準度。

「KG-GAN運用了AI表現最好的兩個領域，也就是自然語言處理和影像處理。」在架構上，KG-GAN可分為兩大部分，一是建構任務所需的專業知識，二是訓練兩組生成器G1和G2，分別針對已知和未知的影像特徵來學習。首先，團隊將專業知識化為約束函數，來判斷一張影像是否具備特定的特徵，同時藉這個專業知識來引導G2，來探索、產生訓練樣本中未包含的特徵，並讓鑑別器合理容忍生成影像的多元性。

與此同時，專業知識也扮演約束角色，來避免G2產生不合邏輯的影像，比如在神經周圍出血的影像，或是自然界不存在的灰色玫瑰。此外，團隊也設計G1和G2間可共享權重，以讓KG-GAN利用兩者所學習的知識。

「我們利用花卉生成的任務，來驗證KG-GAN框架。」張智威指出，團隊的驗證目標，是要讓KG-GAN產生訓練樣本中未出現過的花卉種類。首先，團隊從牛津花卉資料集（Oxford Flower Dataset）中取得花卉影像及其文字描述，並分為82種已知花卉和20種未知花卉，目標是要用這82種花朵影像，以及這20種未知花朵的文字描述，來產生這20種花朵的影像。在專業知識部分，團隊利用語義嵌入表徵（Semantic Embedding Representation）和深度類神經網路構成的約束函數，來找出不同花卉種類的關係與其文字特徵，並以此來導引KG-GAN產生目標花卉影像。

要發展人類水準AI，好比整合大腦枕葉、額葉、頂葉、顳葉功能，得將認知、語言、視覺、問題解決和記憶處理等能力融會貫通。─── HTC健康醫療事業部DeepQ總經理張智威　（攝影／洪政偉）

結果顯示，KG-GAN可生成未知的花卉影像，在顏色部分「非常準確。」但張智威也坦言，KG-GAN仍有進步空間，像是花瓣形狀等細節可再更細緻、更具體，團隊也根據不足之處，持續改善、精進研究。因為，KG-GAN要是發展成熟，就能在醫療專業知識的導引下，生成可靠、真實的影像，來補足醫療小數據缺口。也因為KG-GAN的潛力，DeepQ將其訂為未來三大發展目標之一。

對張智威來說，KG-GAN不只是解決醫療小數據的嘗試，更是AI發展的突破。因為，「一直以來，AI擅長視覺辨識，就像是只發揮人腦的枕葉功能。」但要發展近似人類水準的AI，就好比要整合人類大腦的枕葉、額葉、頂葉和顳葉，將認知、語言、問題解決、記憶處理等能力融會貫通，就連去年獲得圖靈獎的三位得主，也如此認為。而KG-GAN結合了自然語言和視覺處理，有如運用大腦的枕葉和額葉功能，是發展人類水準AI的第一步。

改良式增強學習突破醫療問診困境

除了醫療小數據，醫療問診也是張智威團隊的AI精準醫療研究方向之一。他指出，醫療問診的重點在於精準提問，要從有限的已知資訊中，透過最少量的問題來判斷病症，並給予最準確的診斷建議。

以AI進行醫療問診的方法有很多種，其中之一就是透過決策樹來分類病患的狀況。但是，「決策樹無法縮減問題範圍。」而在2年前一場國際醫療競賽之後，張智威團隊靈機一動，要藉AlphaGo成功運用增強學習的經驗，透過代理人（Agent）獎懲機制，結合美國開源的問診資料集，來訓練代理人詢問病患病症，並根據病患回答來預測疾病狀態。要是提問正確，就給予獎勵，要是提問太多或偏題，就給予懲罰。

不過，代理人問診的初期表現並不理想。張智威分析了原因，將AlphaGo與醫療問診這兩種應用情境相比，首先，圍棋棋譜的可能組合有限，但人體健康狀況卻是無限。再來，圍棋結果只有輸贏兩種，但人體有上百種症狀，診斷結果可能只是其中2、3種。除此之外，AlphaGo能夠任意探索新棋路，然而問診AI受限於醫藥規定，無法隨意探索新方法。

這些反思，催生了後來的改良方法。2017年時，張智威與團隊利用階層式增強學習，組成代理人醫師團隊，每個代理人負責不同的身體部位，透過主代理人選擇一個部位的代理人來問診，同時考量病症情境，比如病症地理資料、患者醫療病史、疾病好發時間等，來綜合診斷。這個作法，代理人平均只要7.24個問題就能完成問診，而AI問診的準確率也從63％提高至76％。

張智威團隊更在這個基礎上，於去年發表了一套改良式增強學習方法REFUEL，透過稀疏特徵探索（Sparse feature exploration）來進一步減少問診問題、更快速得到患者「是」的答案。他解釋，人體約有200種症狀，而患者可能只得其中3種，因此在問診初期，如果只隨機選擇症狀來詢問，容易得到「否」的回答，對問診並無助益。

REFUEL就針對這個情況，提出兩個機制來改善。首先是獎勵設計（Reward Shaping），只要代理人的症狀提問得到正面回答，就給予額外獎勵，並同時保持馬可夫決策過程（MDP）的最佳策略，將策略搜尋導引至更好的方向。再來是特徵重建（Feature Rebuilding），根據關聯性來重新分配特徵權重，藉此找到關鍵症狀。

這個機制，將AI問診準確率從76％提高至85％，論文也在國際AI頂級學術會議AAAI與NeurIPS發表。此外，團隊也將REFUEL理論實際運用於導診功能，內嵌在萬芳醫院的AI問診機器人萬小芳中，可根據使用者的病況，來進行導診判斷和掛號，並根據醫生反饋來不斷精進背後的演算法。

精準醫療另一目標，要靠多層次區塊鏈彌補傳統區塊鏈缺陷

DeepQ未來發展三大目標，不只將火力集中於AI，還包括了區塊鏈。張智威看好區塊鏈應用於醫療產業的潛力，去年便與臺灣大學、史丹佛大學共同發表一套多層次醫療區塊鏈（Multilayer Blockchain for Healthcare），首波瞄準醫療隱私資料的分享，要透過區塊鏈智能合約（Smart Contract）機制來交換電子病歷。

他首先指出，在設計和部署分散式應用時，存有三個核心需求，也就是分區容錯性（Partition tolerance）、連貫性（Consistency）和可用性（Availability）；其中，分區容錯性指的是在分散式系統裡，就算有臺機器故障，仍不影響其他機器運作。

這三者合稱為CAP定理，但CAP定理強調，分散式應用最多只能滿足兩個需求，難以三管齊下。以CAP定理看來，區塊鏈因去中心化關係，具備了分區容錯性和連貫性這兩個特點，但可用性就差強人意，因為交易速度並非即時。

為強化可用性、保護醫療數據的個人隱私，團隊與臺大資工系教授廖世偉聯手，設計了多層區塊鏈架構，可分為基礎層和分支層。基礎層保留了比特幣區塊鏈的屬性，保存了區塊頭的梅克爾樹根哈希值，來提高交易速度；而分支層則設計來滿足隱私、儲存等需求，透過智能合約機制來進行病歷交換，而且，智能合約上儲存、記載的是程式碼，並非病歷資料本身，因此免除了資料隱私問題。

一如DeepQ的改良式增強學習理論REFUEL，這個多層次醫療區塊鏈機制也實際應用於產業中，在今年初發表的彰基蘭醫師AI智慧聊天機器人中首次亮相、提供跨院病歷交換功能，團隊也與史丹佛大學的開源虛擬助理實驗室計畫OVAL聯手，以這個多層次醫療區塊鏈機制共同申請到美國國家科學基金會（NSF）支援，要來發展更多元的智慧聊天機器人應用，延伸DeepQ的精準醫療研究。

CTO小檔案

張智威

HTC健康醫療事業部DeepQ總經理

學歷：美國史丹佛大學電機工程博士

經歷：1999年完成學業後，受聘為加州大學聖塔芭芭拉分校電機電腦工程系助理教授，後晉升終身職正教授。2006年擔任Google中國研究院院長，主導大數據驅動平行機器學習算法研發，6年後加入HTC，擔任健康醫療事業部DeepQ總經理至今，亦是史丹福大學電腦科學客座教授。

公司檔案

DeepQ

● 地址：新北市新店區北新路三段207-5號13樓

● 成立時間：2017年

● 主要業務：開發與銷售醫療人工智慧和醫療虛擬、擴增實境產品

● 員工數：80人

公司大事紀

● 2017年：成立HTC健康醫療事業部DeepQ公司，與萬芳醫院推出全臺首個AI醫療服務聊天機器人萬小芳，其中導診功能採改良式增強學習機制

● 2018年：推出雲端DeepQ人工智慧平臺；與內湖三總醫院合作開設亞洲首個VR智慧外科SDM診間；與臺北醫學大學成立VR解剖學教室；推出疾管署防疫聊天機器人疾管家2.0，導入自然語言處理擴充傳染病諮詢功能

● 2019年：與萬芳醫院建置多人體驗VR團體衛教診間，透過VR一體機實現醫病共享決策；與彰化基督教醫院推出跨院AI+區塊練醫療照護對話機器人『蘭醫師』，應用區塊鏈於病歷交換；推出醫療DeepQ人工智慧平臺