在任天堂Wii帶動以MEMS動作感應技術為基礎的互動遊戲風潮後，動作感知技術便成為遊戲機大廠提升消費者遊戲體驗的重要利器。Project Natal便是一種可以感測3D立體動作和聲音的感應控制系統，除了可拍攝2D全彩影像之外，更可以同時還拍攝3D距離影像，建立3D立體影像資料，精確掌握玩家的身形、姿勢與動作，用來外掛支援微軟的Xbox遊戲機動作感知能力。

Project Natal系統的3D動作感知技術，是由放在電視上的RGB攝影機、近距離紅外線裝置和麥克風所組成。藉由攝影機發出紅外線脈衝光照射玩家，再以LED感光元件偵測紅外線反射回來的時間，利用時間差的運算，精確感測出3D立體空間的相對位置變化，建構出深淺不一的灰階距離影像。攝影機並內建專屬處理器，輔助運算3D影像辨識與動作。Project Natal可以感應玩家全身肢體動作的移動、和玩家所發出的語音聲調，控制遊戲的動作方向，完全不需要使用遙控器。例如玩家玩足球遊戲，就可以踢腳做出踢球動作；想身歷其境電玩格鬥遊戲場景，出拳擊掌即可。

Project Natal動作感應系統所採用的3D互動感測技術，與深度感測（Depth Sensing）技術息息相關。目前全球已有多家廠商投入開發深度感測技術，硬體廠商包括3DV Systems、PrimeSense、Optrima、Canesta等；軟體方面則包括Softkinetic、GestureTek、XTR及Mgestyk等。

其中微軟已投資間接取得以色列廠商3DV Systems相關技術的智慧財產權。3DV Systems擁有名為「ZCam」的動作感測技術。「ZCam」是使用簡易的加速度計（Accelerometers）與紅外線技術，藉此取得目標物體的深度圖（Depth Map），經由軟體的運算來判斷Depth Map變換速度、深淺度與方向。據稱微軟也有採用PrimeSense的3D PrimeSensor互動感測技術。有消息指出，3DV Systems曾向任天堂的高階主管展示以3D方式追蹤動作、並具有語音辨識功能的新款照相機。但任天堂似乎拒絕採用。

除了上述特性之外，Project Natal更可感測到肢體動作的細微變化（nuance），甚至可藉由演算法，去辨識攝影鏡頭所無法捕捉的移動方向，例如玩家把手放在背後的動作也可以被追蹤到。玩家玩Wii的網球遊戲時、偶然會將手撞擊到牆面或是窗戶的激烈費力動作也不會出現，Project Natal的偵測演算軟體可以追蹤人體肢體動作的方向，進而讓玩家自然而然地伸展肢體、集中吸引在同一區域內。

光靠攝影鏡頭，不足以讓攝影鏡頭本身知道它要感測什麼、以及感測的數據資料為何。微軟目前就正在為Project Natal系統設計一套軟體，可以分析影像和尋找人體基本動作模式，可辨識大概30種肢體關節支點動作，包括頭部、軀幹、屁股、膝蓋、手肘和大腿等部。從這個軟體出發，微軟也正在積極開發屬於人工智慧一環的機器學習（machine learning）新技術，建立一個具有上百萬張人體肢體動作的圖像資料庫，可藉由龐大的叢集電腦的運算，以便讓錄影鏡頭具備能從資料庫中辨識人體動作方向的智慧能力。這也可以提供軟體程式開發人員更多的數據資料，得以在不計其數的人體動作中，歸納出可描述人體動作的軟體程式法則之最大可能性。

移動身體就能夠控制遊戲？這真是個全新「人機介面」的體驗，既有操控搖桿的遊戲模式正在被挑戰。以往一直都是「控制器」在「玩」遊戲，藉由Project Natal，未來「玩家自己就是控制器」了。大部分使用過的玩家就認為，Project Natal將對任天堂的Wii產生嚴重威脅。市場人士更預測，Project Natal將不會採取外掛方式，很可能搖身一變，成為微軟在年底假期消費旺季的遊戲機主力機種。目前包括Activision Blizzard、Bethesda Softworks、CAPCOM、Disney Interactive、藝電（Electronic Arts）、Konami、MTV Games、Namco Bandai、Sega、Square Enix、THQ Inc、Ubisoft等遊戲軟體大廠，都正積極開發能夠支援Project Natal的應用遊戲軟體。

現在，任天堂、Sony和微軟3大遊戲機廠商都把變革人機互動操控介面，視為下一波遊戲機市場激烈競爭的技術重點。不僅如此，3D動作感知技術可結合MEMS感測、深度感測、肢體動作辨識、語音辨識等核心，整合光學、微機電、人工智慧、演算法等關鍵軟硬體技術，並可延伸至各種多元化應用領域，其發展前景大有可為，非常值得期待。