隨著這波COVID-19變種疫情再度爆發之後，由於醫院手術前需要做COVID-19篩檢，以及民眾普遍擔憂染疫風險，進而造成部分非急迫性的住院手術與門診手術相繼取消，外科相關教學也受其影響而限制。微軟則趁勢導入HoloLens 2混合實境（Mixed Reality，MR）技術的頭盔，為臨床醫學應用帶來全新啟發。

經由微軟Hololens2可讓治療與手術更快速完成，以及得到更安全有效的成果，促進每個手術室都成為智慧手術場域。

台北醫學大學附設醫院骨科部脊椎骨科主任吳孟晃表示，早在2013年時這樣的技術已在脊椎手術領域中開始應用於手術影像導引及臨床教學，現在也有臨床相關產品可用於脊椎椎釘放置，但對於目前發展最迅速的脊椎內視鏡手術，仍未見該創新技術用於臨床應用。

所以當吳孟晃在2019年由北醫大派往美國史丹佛大學Biodesign進行國際培訓講師訓練時，即觀察到脊椎內視鏡手術的臨床需求具有極大市場潛力，遂提出利用創新科技於脊椎內視鏡手術教學指導的構想；同時與矽谷工程師討論，開啟混合實境於脊椎內視鏡手術的應用研發，結合人工智慧（AI）手術規劃及擬真手術訓練模組，期能發展出能幫助患者更安全有效、快速復原的智慧超微創脊椎內視鏡手術。

進而積極向微軟取經，並與慧術科技執行長李宇捷、專案經理姚漢彬、工程師黃中廷、萬芳醫院神經內科醫師陳兆煒、雙和醫院骨科醫師陳致宇合作，讓臨床醫師的需求，在透過資訊工程師的技術轉化後，能制定策略與國際人工智慧醫療產業接軌，最終期望能實現商品化。相關構想後於北醫大SPARK計畫中成型，並進一步向工研院量測技術發展中心及台灣微軟提案，主要內容為配合脊椎病患就醫歷程來進行全方位智慧內視鏡手術解決方案。

包括初期與伊雲谷公司合作，開發醫療資料去識別化模組用於雲端資料庫人工智慧訓練；並導入HoloLens 2混合實境，作為醫師與儀器交流最重要的互動平台。其中為了符合臨床需求的教學及工具，混合實境影像資料需要結合人工智慧辨識及擬真教學建立手術訓練方案，來協助醫學影像進行深度學習的影像辨識。待影像分割完成後，還須降低噪音，才能在臨床上提供正確清楚的資訊，以利醫師判斷病情，解決脊椎內視鏡手術學習曲線陡峭的困難。

有別於現有醫療設備實際運用在手術進行時，往往使用各自獨立螢幕，使得治療所需資訊分散於醫療場域中不同位置，在缺乏整合性的影響下，醫療資訊、醫療影像、手術導航指引、及病患手術視野無法結合於同一視角，而造成醫師無法準確辨認手術實際狀況，導致如植入物放置錯誤或造成出血等併發症。

透過HoloLens 2不僅可提供醫學生及年輕醫師3D空間無死角的學習環境，觀察手術部位不同角度樣貌，或透過第一視野了解醫師如何執行手術。還能形成解剖生理的動畫，讓醫學生們以立體透視了解骨骼肌肉神經血管分佈，解決傳統解剖學上無法達到的學習效果；進而觀察人體執行各動作時，骨骼、肌肉和器官之間的連動關係，補足大體解剖中欠缺的動態資訊。此跨領域團隊運用HoloLens 2結合已開發完成的手術教學模組，現正進行北醫大深耕研究計畫，期望不久後能用於指導臨床手術。

此外，基於現今智慧手術室雖強調資訊整合，卻常因為造價高昂及場地設計需求高，而無法普及化，經由Hololens2也可讓治療與手術得以更快速完成，以及得到更安全有效的成果，促進每個手術室都成為智慧手術場域。隨著醫療臨床場域高度變化，未來甚至可望依照醫療中各科別需求，發展得更貼近專業產品，並用於各類臨床手術操作。

台灣微軟首席營運長陳慧蓉也認同，經過結合不同的醫療器材專長公司的應用，以HoloLens 2為平台，將可更為客製化、專業化，來針對特定手術做混合實境的產品優化。既能讓臨床執行手術的醫師在手術過程中不必抬頭看各種屏幕，就能透過HoloLens 2頭盔顯示器，看到覆蓋在視野中逐步渲染的3D路徑和所有影像資訊，異地專家也能同步監控並即時給予建議。期望在不久將來，可落地實現並拓展國際市場，展現台灣醫療BioICT產業實力。