在Connect2021的開發者大會上，Facebook公佈了Metaverse計劃，構築出基於元宇宙的下一代3D空間社交網路平台。此後，元宇宙被視為現實空間和虛擬空間的融合，未來人們可以在這裡展開互動和各種商業。同時Meta（Facebook母公司）也將Metaverse定位為下一個行動平台，繼Apple和Google之後，又另一新創建的網路平台。

Meta構建元宇宙的基礎技術與概念是，整合增強實境（AR）和虛擬實境（VR）後所產生混合實境（MR）。而這些MR相關的應用技術都在元宇宙研究所「Facebook Reality Labs」積極的開發中。

創造虛擬世界的技術：Presence Platform

Meta開發的Metaverse是期望讓現實社會和虛擬社會的平滑融合，而創造出這種社會的技術則被稱為「Presence Platform」。這個平台是以視覺運算和人工智慧為核心，將虛擬對象整合到現實空間的資料處理模組。具體來說，它提供了產生MR、物件互動和語音互動的能力。如前所述，MR是一種混合實境的環境，融合了真實空間和虛擬空間，成為元宇宙的核心功能。

Presence Platform 由三個SDK組成，包括了「Insight SDK」：在現實空間中嵌入虛擬物件來產生MR環境的技術。「Interaction SDK」：手動操作虛擬物件的技術。「Voice SDK」：使用對話語音來對虛擬物件進行操控的技術。

圖一 : Mixed Reality 全球市場規模預測(兆日圓)。(source：PWC；作者整理)

MR空間生成技術：Insight SDK

Insight SDK是元宇宙的核心技術，目的在產生高品質的MR空間。Insight SDK包含兩個函數，「Passthrough」和「Spatial Anchors」，以及Scene Understanding功能。

Passthrough是一種透過VR耳機來創建出MR空間，並在現實空間中描繪虛擬物體的技術。圖二顯示了利用「Oculus Quest 2」來進行鋼琴課程。鋼琴鍵盤上會顯示一個圓形的虛擬物件，操作者可以用手指輕敲它來播放音樂。

同時，「Oculus Quest 2」還內建了攝影鏡頭，可以黑白方式看到前方的影像。因此，「Oculus Quest 2」不僅可以用作VR，還可以用以當作MR玻璃。

圖二 : 透過MR技術將實體物品與虛擬影像結合後進行鋼琴課程。(source：META)

Spatial Anchors是一種透用手機映射出真實空間的功能。它能利用Oculus手機，讓操作者利用手指沿著家具移動，繪製出房間內部的地圖。經由這個功能，可以了解真實空間的結構，並顯示出相對應的虛擬物件。

Scene Understanding是對用戶空間進行理解的功能，判斷出空間的位置關係及其意義。使用此場景模型時，可在房間中建立出一個MR空間。

利用這種方式，可以整合Passthrough、Spatial Anchors和 Scene Understanding來開發可判斷物理空間含義的高度複雜Metaverse。

表達手部動作的技巧：Interaction SDK

Interaction SDK是針對手或手機在虛擬空間中移動的處理和控制操作，例如用手抓握、觸摸和指向虛擬對象。圖三顯示了一個虛擬的咖啡杯被用手抓著。Interaction SDK是利用視覺運算、AI追?手部動作並判斷出與對象的互動程度。

圖三 : 一個虛擬的咖啡杯被用手抓著。(source：META)

理解語音的技巧：Voice SDK

Voice SDK是一種自然語言分析功能，可透過聲音來進行語音操控。當應用於遊戲時，可以透過語音來進行操控。除了語音導航外，Voice SDK還提供語音搜索和語音問答功能。例如當操作者說出虛擬角色的名字「Oppy」時，系統就會明白這個詞的意思並接近它。

行動MR技術正積極被開發

行動MR具有許多明顯的優勢，因此備受全球所注目，也吸引了相當多業者投入開發相關的各項技術。目前許多潛在的用戶已經擁有一款可支援MR的智慧型手機，因此無需耗費金錢購買昂貴且笨重的耳機。就其本質而言，今天的行動設備已經非常便於攜帶，也相當容易進入任何空間。

Apple ARKIT 5

Apple的最新版本AR/MR開發工具集開放原始碼行動ARKit5，進行了重大改進。其中最重要的功能，包括對位置錨點(Anchors)的擴充支原、改進的運動追?，以及在超廣角攝影鏡頭中可提供更好的臉部跟?，App Clip Codes還可支援快速掃描啟動體驗。

自從在ARKit 4中加入位置錨點後，允許APP開發人員可以將具有特定緯度、經度和高度的虛擬物件放置在螢幕上，並且可相對於現實環境中的位置。例如，位置錨點可在標誌性建築旁邊的空間中，顯示三維圖標或文字。在ARKit 5中，此功能的支援性已擴展到倫敦和美國的其他城市。

擴充的臉部追?技術，允許一次最多追?三個人的臉部，現在可支援所有配備A12Bionic處理器，以及更高版本的設備，即使沒有真深度鏡頭(TrueDepth Camera)也可以應用。

而App Clip Codes則是應用在類似於QR Code的影像，可以透過掃描來啟動APP的lightweight，並且能與 ARKit整合，允許從任何地方啟動AR/MR，而無需下載其他軟體。

Google ARCORE

Android的ARKit-ARCore提供了開發人員在Android設備上，雖然可以開發出AR/MR APP所需的開放原始碼工具集，但由於需要注意Android設備上各種硬體的相容性，因此這通常被視為也些挑戰性。

2021年，Google在ARCore中加入了一些新功能，例如錄製和播放API等。這些功能可以讓開發人員使用AR原始數據錄製視訊片段，在透過深度和IMU運動感測器數據，來以重新建立與視訊中相同的環境，同時也為開發人員能更輕鬆地測試特定環境的方式。

錄製和播放API不僅是開發人員所需要，對使用者來說也有一定的用處，這項技術提供使用者可以錄製視訊，應用在以後的AR/MR效果中，因為這些視訊可以包含環境原始數據。

ARKit和ARCore之間的競爭並不如外界想像中的明顯。由於APPLE掌控了所有的設備元件，因此ARKit在軟體和硬體之間有著較佳的相容性。但是在市場上，並非每個使用者都擁有iPhone或iPad。因此對於其他的使用者或行動產品業者來說，ARCore就變得非常重要。儘管由於採用的硬體的不同，不能保證每台Android設備都能獲得完全支援和相容，但Google仍舊盡可能讓其眾多用戶擁有一定程度的競爭力。

就實際效能而言，這兩個平台背後的技術幾乎是一樣的。例如，對於場景檢測等應用，這兩種技術使用相同的方法，但差異最大還是在硬體的部分，與相容能力。

手機增強實境：Spark AR

Spark AR是一款針對行動終端的AR/MR開發環境，這款行動終端AR/MR，可以整合到智慧手機的APP中來使用。例如，Spark AR可應用在臉部插入特殊效果，像是用Spark AR對臉部進行特殊化妝，並將其轉變為怪物的應用。

Project Aria

Meta也正在開發AR/MR眼鏡「Project Aria」。這是一個在眼鏡上內建攝影鏡頭和顯示器產品，並在面前的真實空間中強行加入一個虛擬物件。AR/MR眼鏡可被當數位助理應用，透過AI來了解周圍物體的類型和含義，例如識別沙發和桌子。此外，也可利用人工智慧掌握用戶的想法，並協助進行下一步行動。例如，當操作者看著燈時，開關就會被自動打開。

智慧眼鏡的輸入：Electromyography

但是挑戰在於如何將數據輸入AR/MR眼鏡，因此Meta正在開發一種稱為Electromyography(肌電圖)的技術。

這個想法是將設備戴在手腕上後，並測量肌電圖，再透過人工智慧分析肌肉中產生的弱電場來預測操作者的意圖。例如當您用手指書寫字母時，此設備會將其轉換為文字（圖四）。

圖四 : 利用肌肉的電位變化轉換稱操控方式。(source：META)

MR在工業領域的潛力和未來

第一個實現MR的產品是，HoloLens於2015年1月所發布的產品。這是一款無需外接控制器的獨立頭戴式顯示器，可透過手部追?和語音輸入進行操作。HoloLens的產品透過攝影鏡頭和深度感測器，來對周圍環境進行識別，並經由透射式顯示器在真實空間中加疊內容來提供新體驗的設備。

隨後，Magic Leap One也於2017年12月發表一款新技術，將需要處理數據的機制，轉移到外部的獨立計算設備，大幅度減輕顯示器的重量，並且利用數位內容，以更真實的方式強化顯示能力，例如擴大視角，和根據視線切換影像，在發表之後便大大威脅HoloLens的領先地位。

面對此一挑戰，HoloLens也於2年後發表第二代產品-HoloLens 2。與初代的HoloLens相比，無論是顯示視角、縱橫比、解析度、運算和佩戴感等，多項性能都獲得了大幅度的提升。此外，感測器的加入更使得佩戴者五根手指的動作都可以被檢測到，來達到捏握等全影像操作，提高了實用性。

雖然這些主要用於工業用途的MR設備，性能相當卓越，但價格卻是非常昂貴。因此針對消費者使用的MR設備商品化更是備受期待，市場上終於在2020年8月，出現了一款專為消費者使用而開發的MR產品-Nreal Light。這款產品可與智慧型手機連接，將處理數據的工作轉移到智慧型手機，來達到減輕頭戴式顯示器重量，雖然在攝影鏡頭數量、畫素數、環境偵測與掌握，和各種跟?的精度等性能方面不如工業設備，但它實現了大幅降低售價，讓消費者在低價格負擔下就能輕鬆體驗MR(表一)。

MR技術的未來

未來將有很多業者進入MR設備市場，透過提高性能和減輕重量來增強現有產品，就像前述高整合度的HoloLens 2。雖然頭戴式顯示器是目前MR設備的主流，但掛戴眼鏡式和隱形眼鏡式等，無需考慮佩戴舒適度的顯示器設備，也有業者積極的投入開發。不過，目前MR的主要用途主要是還是工業用，根據PWC預測工業用市場短期內將會持續擴大。

從中長期來看，市場有機會在各種應用領域擴大，例如數位內容和虛擬全影像顯示、醫療領域醫師與患者僅行互動、減壓和復健等醫療，都將可在MR平台上僅行。此外，MR在娛樂應用和商業產業的應用也將進一步擴大，因此不僅工業市場，包括普通消費者的市場的成長也將持續增加。