AI人工智慧教導Wi-Fi裝置如何估測人體姿勢為何,甚至還有穿牆透視的功能,此一成果來自MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)的科學家,未來有望應用於醫療領域,監控慢性疾病的演變。
|
上:鏡頭收集的真實影像;中:射頻訊號描繪出的影像(Keypoint confidence maps);下:經訓練後的結果,以動態火柴人型式呈現。 |
RF-Pose是一個人工智慧神經網路系統,可分析來自Wi-Fi裝置的射頻(RF)訊號碰到環境物體的反射訊號,描繪成Keypoint confidence maps(如圖所示),最後再將分析結果以2D火柴人影像呈現。
目前透過鏡頭(Camera)來監測人事物的應用很多,但研究團隊發現,透過Camera來監控人體姿勢和動作,最大的問題在於當人走到障礙物後面,Camera就無法錄到人體的動作,但透過射頻訊號便可解決這個問題,因為射頻是一種可以穿透障礙物的訊號,即使人體被牆壁遮住,依然能夠擷取到人體的姿勢影像。
此項研究的資料來自於同步擷取的射頻訊號影像和真實影像,資料中包括人們日常生活中會表現出的動作和姿勢,如慢跑、走路、坐下、閱讀等,團隊在校園的的50個環境中進行連續50小時的資料蒐集。
研究團隊在RF-Pose計畫中遇到的挑戰之一,便是模型訓練(model training)時沒有預測的答案(labelled data),因此不知道訓練後會呈現甚麼樣的結果,而僅憑射頻訊號描繪出的影像也不足以解釋人體的動作。
因此,團隊在模型訓練時,在無線感測器旁設置了網路攝影機,同時取得射頻訊號影像和真實影像,而這兩種影像是同步的(synchronized),將這兩種資料輸入(input)至訓練模型中,透過模型訓練,縮小真實影像和射頻訊號影像結果輸出(output)的差異,讓機器學習如何透過射頻訊號來估測人體的動作,最後研究團隊成功讓系統不需要真實影像,也能儘憑射頻訊號就估測出人體的姿勢為何,準確率達83.4%。
這項研究可應用於慢性疾病(如帕金森氏症、多發性硬化症)演變的監測,以往使用者都要配戴某種感測器在身上,才能進行連續性的監測,若使用這項技術,以後在家都不用一直配戴XX感測器,目前研究團隊正努力進一步將2D影像升級為3D影像的呈現。
參考文章:
(1)Researchers develop artificial intelligence system to watch you through walls, ZDNet
(2) Through-Wall Human Pose Estimation Using Radio Signals, Mingmin Zhao, Tianhong Li, Mohammad Abu Alsheikh, Yonglong Tian, Hang Zhao, Antonio Torralba, Dina Katabi, Computer Vision and Pattern Recognition (CVPR), 2018