HoloLens 2 結合臺大醫院領先全球的創傷資料庫，加速醫療產業數位轉型
臺大醫院與台灣微軟今（13）日共同發表混合實境應用於創傷醫學的突破成果。計畫主持人智慧醫療中心副主任李建璋教授與微軟團隊運用 HoloLens 2以及 3D Slicer 等科技，歷時 2 年，成功發展出一套可以迅速重組 3D 電腦斷層影像、標註病灶、轉換成全息影像物件（Stereoscopic hologram），並可浮空投影到元宇宙的解決方案。此方案除了適用於電腦斷層影像，也可適用於核磁共振影像。研究團隊使用臺大醫院歷年創傷醫學影像建立了全息影像教學物件資料庫，不僅增加教學互動性，同時結合 Microsoft Teams 實現遠距會診，為創傷智慧醫療樹立全新里程碑。
X 光、超音波、電腦斷層等醫學影像在創傷病患的評估與診斷扮演重要角色，其中電腦斷層影像不受骨頭、空氣等物理性質的限制，能更全面地檢視病患體內構造。然而受限於 2D 平面影像，對於多重創傷病灶的判讀難免出現遺漏。透過 3D 立體影像能更快速、完善的評估所有的受傷部位以及嚴重程度，進行更完整的術前規劃。透過 HoloLens 2、Microsoft Teams、以及 3D Slicer，醫師可以在 3D 影像上標註骨折、內出血、氣血胸，並與實際的傷患創傷部位進行虛實對照，有助於創傷教學、臨床醫療診斷、以及遠距會診。
臺大醫院副院長賴逸儒表示：「此次與微軟的合作不僅讓臺大醫院完備的創傷電腦斷層影像資料庫能夠利用先進的科技重組成虛擬 3D 物件投射到元宇宙，使用 HoloLens 2 混合實境裝置，讓醫師間可透過直觀的手勢操作，更全面的了解病患創傷的病灶同時進行跨時空會診，有效提升創傷診斷的效率與正確性，並增加臨床教學互動，有效克服過往 2D 影像教學的困難。臺大醫院將擴大這項研究成果到各個醫療領域，並分享創傷資料庫，加速實現智慧醫療願景。」
臺大醫院副院長賴逸儒表示，與微軟的合作不僅讓臺大醫院完備的創傷電腦斷層影像資料庫能夠利用先進的科技重組成虛擬 3D 物件投射到元宇宙，使用 HoloLens 2 混合實境裝置，讓醫師間可透過直觀的手勢操作，更全面的了解病患創傷的病灶同時進行跨時空會診，有效提升創傷診斷的效率與正確性。
微軟全球助理法務長及台灣微軟公共暨法律事務部總經理施立成指出：「微軟物聯網卓越中心與臺大醫院開啟此項合作計畫已有兩年，利用 Microsoft Azure 全球市集裡豐富的資源，引進德國合作夥伴 ApoQlar 所開發的 VSI HoloMedicine 解決方案，協助臺大醫院智慧醫療中心研究團隊探索混合實境技術在醫學與臨床的應用。今年以來更進一步將臺大醫院領先全球的創傷資料庫之電腦斷層影像重組為立體影像後，匯入 HoloLens 2 頭戴裝置，以延伸實境、更為直覺的判讀方式來觀看創傷病人器官的立體影像，希望有助於提升影像診斷能力，同時優化醫療教學的流程，為醫療影像技術及遠距會診的臨床實用性樹立新的里程碑。」
微軟全球助理法務長及台灣微軟公共暨法律事務部總經理施立成表示，微軟物聯網卓越中心與臺大醫院，利用 Microsoft Azure 全球市集裡豐富的資源，引進德國合作夥伴 ApoQlar 所開發的 VSI HoloMedicine 解決方案，協助臺大醫院智慧醫療中心研究團隊探索混合實境技術在醫學與臨床的應用。
在疫情衝擊下，遠距醫療已經是全球醫療的新趨勢。要實現高品質的遠距會診，HoloLens 2 和 Microsoft Teams 是不可或缺的平台。HoloLens 2 是一款混合實境頭戴式裝置，可以讓使用者看到 3D 影像和資訊，並透過手勢和語音進行互動。Microsoft Teams 則讓使用者進行視訊會議、即時通訊和文件共享。這兩個平台的結合讓遠距會診更加生動和高效。
計畫主持人臺大醫院智慧醫療中心副主任李建璋教授與微軟團隊運用 HoloLens 2以及 3D Slicer 等科技，歷時 2 年，成功發展出一套可以迅速重組 3D 電腦斷層影像、標註病灶、轉換成全息影像物件（Stereoscopic hologram），並可浮空投影到元宇宙的解決方案。
臺大醫院雲林分院院長馬惠明強調：「遠距醫療及遠距會診能有效弭平偏鄉醫療資源短缺的問題，HoloLens 2 結合 Microsoft Teams 則是遠距醫療及遠距會診直觀有效的新處方，透過這項技術，雲林分院可以即時與臺北本院或其他分院進行視訊會診，並同步看到 3D 影像與虛實對照，提升了會診的品質與效率。」
台灣微軟首席營運長陳慧蓉表示：「提升醫護同仁生產力、強化資料分析與應用、更好的民眾就醫體驗是微軟智慧醫療雲端解決方案的三大目標，協助醫療院所數位轉型。本次與臺大醫院的合作，透過 HoloLens 2 與 Microsoft Teams，實現臺大醫院與雲林分院可針對多重創傷病患進行遠距會診，這是創傷醫療史上的重大里程碑。相信未來結合更多微軟 AI 技術應用，將加深科技賦能，共同開創智慧醫療新未來。」
台灣微軟首席營運長陳慧蓉表示，透過 HoloLens 2 與 Microsoft Teams，實現臺大醫院與雲林分院可針對多重創傷病患進行遠距會診，這是創傷醫療史上的重大里程碑。相信未來結合更多微軟 AI 技術應用，將加深科技賦能，共同開創智慧醫療新未來。
臺大醫院李建璋教授團隊目前已經帶領醫學生孫維劭、楊珽凱建置完成創傷立體全息影像資料庫，內容包括肋骨骨折、氣胸、肺挫傷、頸部以及胸腰椎橫凸骨折、髖骨骨折，脾臟損傷與肝臟損傷、創傷腦出血、顱顏骨折。此資料庫的建立是世界首創、寶貴的教學資源，未來將於臺大醫院教學部使用。雙方將持續攜手合作，推動創傷醫學的發展，造福人類與社會。
台大醫院楊珽凱醫師戴著HoloLens 2 混合實境頭戴式裝置，與雲林分院何御彰醫師展示遠距會診複雜性腦血管動靜脈畸瘤。
