MedTech醫療科技雙周報第22期：圖文通吃！微軟打造生醫領域專用的生成式AI Chatbot

重點新聞（0616～0630）

微軟   視覺語言模型   Chatbot 

圖文通吃！微軟打造生醫領域專用的生成式AI Chatbot

微軟最近開發一款可處理生醫圖片和文字的多模態生成式AI聊天機器人LLaVA-Med，能回答關於生物醫學圖像的開放式研究問題。團隊先是從美國政府維護的生醫數位資料庫PubMed Central，提取大量生醫圖像和相對應的圖說，來建立訓練資料集，並以GPT-4根據圖說來自我指導，生成開放式、指令遵從的資料，接著再用課程學習方法，來微調一個大型通用的視覺-語言模型。

也就是說，這個模型的形成可分為2階段，首先是利用生醫圖像-圖說的配對組資料，來讓模型學習生醫單字，再來是用GPT-4產出的遵從指令的資料，來學習開放式對話語意，也就是模仿外行人學習生醫知識的過程。團隊總共用8張A100 GPU，不到15小時就完成LLaVA-Med的訓練，而且能準確回答關於生醫影像的問題。團隊指出，經3項生醫視覺問答資料集測試，LLaVA-Med比各項監督式SOTA模型還要好，接下來，微軟團隊將釋出遵從指令的訓練數據和模型本身。（詳全文）

 Epic   電子病歷   GPT-4

美醫療IT系統大廠Epic要用GPT-4快速生成病歷

美國醫療系統龍頭廠商Epic日前聯手微軟子公司Nuance，要開發一套醫療行政管理解決方案DAX Express，並整合微軟Azure OpenAI服務的大模型GPT-4，來加速行政工作、給Epic使用者採用。簡單來說，該解決方案是一款臨床文件應用程式，要透過自動生成的臨床文件，來優化醫療機構的行政工作流程、擴大對病人的照護服務。

使用DAX Express for Epic的醫療機構，能在醫院檢驗檢查室或進行遠距醫療時，自動建立臨床記錄草稿，醫師可馬上檢視這些資訊，也能在病患看診後完成這些臨床記錄。密西根大學西部醫院資訊長Josh Wilda指出，DAX將原本需要數小時的臨床記錄工作縮短為幾秒鐘，同時還能提高病患照護的品質。（詳全文）

遠距醫療   處方箋   慢性病 

韓國要將遠距醫療服務常態化，處方箋可傳真或Email到指定藥局

根據美國醫療資訊與管理系統學會（HIMSS）旗下媒體報導，韓國衛生福利部正展開為期3個月的遠距醫療試點計畫，範圍涵蓋全國，只要醫師認為必要且安全時，就能對病患進行遠距醫療。進一步來說，這個遠距醫療服務的適用對象，包括非首次看診的慢性病患（首次看診須為實體看診）、需要回診的兒科患者（只限於例假日和夜晚時刻）、居住於離島和偏遠地區的民眾、身障人士，以及超過65歲的長者和患上感染疾病的民眾。

這項試點計畫適用於診所和提供罕見疾病照護、手術後照護的醫院，不過，醫療機構也能透過這項計畫來提供諮詢服務，若視訊難以進行，醫療機構也能用電話提供諮詢。而處方箋可透過傳真、電子郵件方式，寄送到患者制定的藥局。至於取藥，患者可親自領取、委由代理人領取，或是由藥局送藥到府，但送藥到府只限於居住在離島和偏遠地區的民眾，以及不便行動、患有罕病或傳染病的民眾。（詳全文）

 Google Lens   皮膚   Bard 

新版Google Lens可檢測皮膚症狀、將整合Bard

Google日前更新智慧鏡頭（Google Lens），新添檢測皮膚症狀功能，也預告將整合Bard AI助理。2021年，Google就推出名為DermAssist的智慧鏡頭功能，使用者上傳3張皮膚照片、回答一些問題，應用程式就會提供可能的皮膚問題資訊。在目前的最新版本中，使用者用Google Lens拍照或上傳皮膚相片，就能以視覺搜尋來找出可能的病症資訊。

該功能也能用於其他身體異狀，如嘴唇上的突起、指甲表面紋路或掉髮問題。Google指出，DermAssist可辨識288種皮膚、指甲和頭髮症狀。另一方面，再過幾個星期，使用者就能在Bard輸入圖片，Bard會啟動Google Lens來辨識圖片內容。而Google在去年12月宣布，正在開發能看懂醫師手寫處方箋的AI模型，以及能辨識醫師手寫醫囑並加強顯示藥物資訊，這些新功能未來也將整合到Google Lens中。（詳全文）

 南澳大利亞  虛擬照護   遠距醫療

南澳政府撥1.3億澳元要提供常態性虛擬照護服務，要降低醫院床位緊繃壓力

南澳大利亞政府最近宣布投入1.3億澳元來發展常態性的兒童與成人虛擬照護，包括發展未來4年的兒童與青少年虛擬緊急照護服務（CAVUCS），以及未來5年的南澳成人虛擬照護服務（SAVCS），目標是要解放醫院床位。

南澳政府表示，就CAVUCS來說，這項政策是要擴展COVID-19疫情間設置的遠距醫療服務，來讓當地婦女及兒童醫院的急診科醫護團隊，能繼續提供虛擬照護服務給當地兒童和青少年。南澳政府統計，自2021年8月啟動以來，CAVUCS已服務了2萬4千多名兒童，還免去了90%的不必要到院急診；他們也啟用1,000多輛救護車，來讓醫護至家中治療兒童，而非把他們送到醫院。

另一方面，就SAVCS來說，南澳政府則是要透過醫師、護理師團隊提供虛擬照護，來降低醫院急診人流壓力、釋放更多床位。自2021年12月啟動該服務以來，已有1萬8千多人受惠，其中80%避免了不必要的急診就診，在家中接受品質更好的照護服務。（詳全文）

 UNC Health   生成式AI   資料搜尋 

北卡羅萊納大學醫院用生成式AI Chatbot加速資料搜尋工作

北卡羅萊納大學體系醫院（UNC Health）參與電子病歷大廠Epic和微軟的生成式AI計畫，要利用微軟Azure OpenAI服務，來打造內部專用的聊天機器人工具，初期將給部分臨床醫師和行政職員使用。

進一步來說，醫院醫護團隊可以自然語言提出問題，讓Chatbot搜尋資料庫、給出答案，來節省醫護手動搜尋數百篇操作文件的時間。UNC Health表示，這只是生成式AI的應用案例之一，他們還要在今年晚些時候，將這項應用擴大到旗下15家醫院、19個院區和900多家診所。（詳全文）

 獸醫   遠距醫療   亞利桑那州 

美國亞利桑那州通過獸醫遠距醫療照護立法

美國亞利桑那州州長Katie Hobbs日前簽署獸醫遠距醫療照護法規，允許該州獸醫透過遠距醫療來提供寵物照護服務。該法名為SB1053，有別於美國大多數州的規定，SB1053可讓寵物在第一次就診時，就能使用遠距醫療來與獸醫溝通，而非要實體就診。

在COVID-19疫情間，這種獸醫遠距醫療需求大增，在美國就有19個州通過立法，亞利桑那州就是其一，也是最早將這項服務常態化的州。根據美國獸醫虛擬照護協會統計，只有愛達荷州、維吉尼亞州和新澤西州允許無條件的獸醫遠距醫療，其他33州要求寵物進行遠距醫療前，至少要先實體就診過，或做過某些檢驗檢查，才能接受遠距醫療照護；目前只有紐約州禁止獸醫提供遠距照護服務。（詳全文）

圖片來源／微軟、Google

  MedTech醫療科技近期新聞 

1. 微軟開發BioViL-T模型，可強化放射線影像報告準確度

2. Walmart在全美新添70家愛滋病藥房點，明年要擴大提供自身免疫疾病藥物

資料來源：iThome整理，2023年6月