臺北榮總善用Microsoft HoloLens 2 MR方案，賦能傳統手術室智慧轉型

高齡化趨勢成形，醫療資源與社會需求之間逐漸走向失衡，促使智慧醫療風潮崛起，期盼藉由ICT先進科技與傳統醫療行為的結合，提升醫療服務量能，有效化解供需間的失衡矛盾。向來堪稱醫療領域重中之重的外科手術，因攸關民眾生命與健康至鉅，智慧化的效益期望值更高，讓「智慧手術室」成為備受矚目的題材。

鑒於微創手術為主流，需藉由更精準的定位來確認病灶位置，然而在傳統手術室裡，執刀醫生須頻頻轉頭對照一旁螢幕、確認相關解剖位置，造成術中諸多不便。為此臺北榮民總醫院（以下簡稱『臺北榮總』）決定成立「手術創新模擬中心」，希冀借助AI科技力量，賦能傳統手術室轉型，提高手術精準度、更加確保病患安全，同時間也達成手術學習、經驗傳承之目標。

為使手術創新模擬中心真正發揮擴大醫療量能、提升手術效率等綜效，臺北榮總積極引入智慧創新元素，不僅在新建的手術大樓內建立複合式手術室（Hybrid Operating Room；簡稱Hybrid OR），更在其中配置錐形射束電腦斷層掃描儀（Cone-beam CT）及MRI磁振造影檢查儀，並導入Microsoft HoloLens 2的混合實境 (Mixed-Reality；MR）解決方案，期望透過3D影像、虛擬導航與Cone-beam CT的整合運用達到精準定位、增進手術效率。

成立手術創新模擬中心，翻轉傳統開刀思維

臺北榮總胸腔外科主任許瀚水表示，在去年（2021）5月疫情嚴峻之際，院方決定強化智慧醫療應用，由各科室發想各自主題，外科部積極展開研究，參酌全球智慧外科應用案例，發現以手術室搭配影像整合、遠距傳輸和中控室的整體概念，堪稱全球外科界討論度較高的交集，而諸多案例皆有使用HoloLens 2、乃至於專為HoloLens 2開發的VSI醫學影像平台，為臺北榮總的外科帶來莫大靈感。

於是外科部形成共識，決定在手術流程融入智慧元素，除確立手術創新模擬中心、Hybrid OR等建設方向外，也決定引進HoloLens 2醫學影像整合解決方案，藉此將虛實整合特色帶入手術室，讓執刀醫師就像戰術飛行員一樣，只要佩戴頭盔即可將3D患部影像投射於病患身上，快速制定準確的開刀決策。

許瀚水說，3D影像對於手術的最大價值，無疑就是定位及精準切除，有助於讓手術過程更順利、讓病人更安全。為實現上述價值，需要搭配運用相關科技工具，而臺北榮總外科選定之標的為HoloLens 2；主要是因為，HoloLens 2具備投射功能，使醫生能在虛擬環境下，看到經由VSI自動分層疊加而成的影像畫面，且能透過畫面旋轉、深入檢視諸如血管或腫瘤等細節。

換言之，執刀醫生只要戴上HoloLens 2頭盔，就無需像從前一般，為觀看電腦螢幕而不停移動。更有甚者，過去醫生在開完刀後，需隨即步出手術室進行CT或MRI掃瞄，確認剛才的手術有無問題，若沒有問題，再重返手術室關閉傷口。反觀今後在Hybrid OR場景下，醫生不必再費時進出手術室，即可就近利用Cone-beam CT掃出影像。

此外不管是CT掃出來的影像，或病人本身的影像、手術室裡的影像、開刀的影像、麻醉的影像，乃至於麻醉的生理偵監測影像，無論屬於術前或術中環節，通通會輸送至後臺中控室（意即臺北榮總的手術創新模擬中心）加以整合與儲存，便於外科部後續進行手術室利用率、手術時間長短等進階參考及分析。

藉由 HoloLens 2 與 Dynamics 365 Remote Assist 功能，醫生可將自己正在進行的特殊手術畫面，即時傳送至會議室內的數位白板 Surface Hub 2S 上，並同步進行手術指導。

HoloLens 2整合VSI，協助醫生精準解剖

在臺北榮總此次導入Microsoft HoloLens 2與VSI的過程，精誠資訊扮演要角，透過技術演示，把新興3D影像混合實境應用在醫療場域，於臺北榮總落地實踐。

難免有人好奇，為何選擇採用MR、而非VR/AR？許瀚水解釋，經過外科部的評估，確認VR/AR充其量僅能滿足醫學教育訓練需求，但HoloLens 2 MR方案具投射功能，有助實現手術過程的精準定位，故獲得外科部的青睞選用。比方說執刀醫生藉由HoloLens 2輔助，把3D影像模型直接投射在人體，藉此知道開刀位置，例如第幾節脊椎等等；換句話說，未來甚至不需進行術前定位，醫生便可借助投射技術而找到病灶，直接從該處下刀。

影響所及，爾後術中過程就不需要頻繁掃X光找尋病灶，耗費較多時間才下刀；透過HoloLens對準位置、直接劃刀進去即可，所以可預見未來手術效率必定因此而提高。

另值得一提，藉由HoloLens 2與Dynamics 365 Remote Assist功能，能幫助醫生實現遠距連結、將手術畫面傳送至其他分院，以接受遠地資深醫生的指導；又或者，醫生可將自己正在進行的特殊手術畫面，即時傳送至會議室內的數位白板Surface Hub 2S上，並同步進行手術指導等加值應用。

許瀚水指出，有關臺北榮總這次的智慧模擬手術室的建置，主要利用網路架構整合諸多軟硬體及系統，後續若要進一步擴充至像是骨科、神經等其他外科，甚至延伸到其他院區，其實都非常方便。隨著臺北榮總將HoloLens 2 MR導入手術流程後，期望未來與諸如微軟研發中心及精誠資訊等夥伴持續合作，發展更多創新應用，例如結合深度學習與3D影像、實現手術SOP提示，藉以觸發臺灣手術醫療領域的科技創新思維，一方面接軌國際先進醫療科技，另一方面提升全體民眾的健康福祉。

成功推動新興3D影像混合實境在醫療場域應用，臺北榮總 (圖為臺北榮總外科部部主任曾令民) 不僅積極接軌國際醫療科技，同時致力提升全體民眾健康福祉。

更多專訪內容請 觀看影片 了解精誠資訊與微軟，如何運用混合實境技術協助臺北榮總打造手術創新模擬中心，翻轉傳統開刀思維。