搜尋

會員登入

搜尋

導覽

會員

邊緣AI視覺不再追求資料數量 資料形式需與任務相符

瀏覽次數:1137

機器視覺系統長期沿著更高解析度、更快幀率與更完整的影像資訊發展。然而,當視覺技術進入機器人、智慧建築、穿戴式裝置及各類邊緣設備,開發者開始面對另一個問題:系統是否真的需要持續取得完整影像?


高解析影像能保留色彩、紋理與物體細節,但也會增加資料傳輸、記憶體、運算與功耗負擔。對具備高階處理器或可連接雲端的設備而言,這些負擔仍有調整空間;對必須即時反應、長時間待機或使用電池供電的終端裝置而言,感測器輸出多少資料,以及這些資料是否直接對應任務,往往更早決定系統架構。



圖一 :   邊緣AI視覺讓機器人可拿取晶片
圖一 : 邊緣AI視覺讓機器人可拿取晶片

意法半導體(ST)飛時測距與環境光感測產品線經理 Laurent Plaza 指出,許多邊緣感知應用不需要辨識完整外觀,而是希望掌握人員是否出現、物體位於何處、距離多遠,或動作是否異常。對只需判斷存在、距離或姿態的應用而言,完整彩色影像未必是必要的資料形式。


從「看清楚」轉向「回答問題」

飛時測距(Time-of-Flight,ToF)感測器會主動發射不可見光,再依光線返回所需時間計算距離。與一般攝影機不同,它提供的不是供人觀看的照片,而是物體與感測器之間的空間關係。


這種資料無法呈現衣服顏色、文字或表面紋理,卻能直接回答不少設備需要判斷的問題。例如,人員是否進入特定區域、物體是否靠近機器、人體姿態是否出現異常,以及移動方向是否符合預期。


由於深度資料不必保留完整畫面,在部分應用中也能減少個人影像蒐集。對照護、樓宇管理或公共空間而言,系統可能只需判斷是否有人跌倒或進入限制區域,而未必需要辨識當事人的臉部與身分。


ST 此次發表的新一代 VL53L9 3D LiDAR 模組,便是以多區域深度資料支援人員感測、空間偵測與機器人等應用。相較於完整彩色影像,這類資料可直接提供距離、位置與姿態等資訊,讓系統不必先從完整畫面中擷取所需結果。


這種差異顯示,邊緣視覺的設計起點不應只是選擇更高畫素的感測器,而是先確認系統要回答什麼問題。需要辨識表面瑕疵、文字或產品類型時,完整影像仍不可取代;若任務集中於存在、距離、位置與姿態,深度資訊可能更直接。



圖二 :   機器人替代人類搬取重物
圖二 : 機器人替代人類搬取重物

資料形式也會影響處理器選擇

感測資料的形式會一路影響後端設計。完整影像通常需要較高的傳輸頻寬、記憶體與影像處理能力;深度圖的資訊量較少,部分分析工作便可能在微控制器端完成。


根據相關測試資料,深度與紅外線資訊可用於跌倒偵測、人數統計及姿態監測;演算法在 STM32H5 微控制器上可達每秒30幀。這不代表所有視覺分析都能由 MCU 處理,但說明當感測器輸出的資料已接近任務所需形式,後端未必需要先處理完整影像,再從中篩選資訊。


對邊緣設備而言,這項差異相當實際。處理器等級、記憶體容量、資料介面及散熱需求,都可能因輸入資料量而改變。感測器的選擇因此不只是前端元件問題,也會連動整套硬體配置。



圖三 :    工業用偵測車
圖三 : 工業用偵測車

機器觀看影像,要求與人類不同

ST 相機感測器產品線經理 Nicolas Roux 則從機器視覺角度指出,供人觀看的影像與供機器判讀的影像,評估標準並不完全相同。


一般攝影應用重視色彩、細節、雜訊與整體觀感;機器人導航、工業檢測或動作追蹤,則可能更在意快速移動時是否出現變形,以及感測器能否在不同照明條件下持續提供穩定資料。


以快門架構為例,捲簾快門逐列曝光,通常有利於影像品質與動態範圍;全域快門則讓整個畫面同時曝光,能降低高速移動造成的幾何變形。對靜態攝影而言,兩者差異未必始終明顯;但當機器需要辨認輸送帶上的物件、追蹤動作或進行定位時,影像是否變形可能直接影響演算法結果。


此次同步推出的 BrightSense 新一代 500 萬畫素機器視覺感測器,採用可切換的全域與捲簾快門設計,讓系統可依高速動態、影像品質與實際工作條件選擇快門模式。


可見光與近紅外線的選擇也有類似考量。彩色影像有助於辨認外觀,近紅外線則能在低光或特定照明環境中提供感測資訊。實際系統可能依照時間、照明與任務,採用不同的感測方式。


這些設計都代表,機器視覺追求的並不只是「更好看的影像」,而是更適合分析的影像。


感測器開始承擔更多前端工作

另一項變化,是感測器逐漸不再只負責輸出原始資料。透過3D堆疊與數位電路整合,部分統計、事件偵測及資料處理功能可放入感測器內部,使元件先判斷是否出現需要進一步處理的事件,再決定是否喚醒後端系統。


這類架構適合需要長時間待機的裝置。設備不必持續讓主處理器與完整視覺系統保持最高運作狀態,而可由低功耗感測功能先監測環境,偵測到人員、動作或指定變化後,再啟動後續處理。


感測器與處理器之間的分工因此正在改變。過去,感測器主要負責取得資料,判斷工作集中在後端;如今,部分感測器已能在前端完成初步篩選,使後端只在必要時處理較完整的內容。


這並不表示感測器將取代處理器或 AI 模型,而是整套系統開始重新分配運算工作。哪些判斷應在感測器端完成,哪些資料需要送入 MCU、應用處理器或雲端,將依據功耗、延遲、隱私與辨識精度決定。


邊緣視覺回到任務本身

深度、彩色、近紅外線與事件資料各自提供不同資訊,也各有侷限。深度感測無法取代需要色彩與紋理的辨識工作;完整影像則不一定適合只需判斷距離或存在的低功耗設備。


因此,邊緣 AI 視覺的關鍵不在於選出一種通用感測技術,而是讓資料形式與任務相符。


系統若要檢查表面瑕疵,需要保留足夠的影像細節;若只須確認人員是否進入危險區域,完整彩色畫面可能不是必要條件;若設備必須長時間待機,感測器能否先完成事件判斷,也可能比最高解析度更重要。


當感測器不再只是把所有資料交給後端,而開始依任務提供距離、影像、光譜或事件資訊,邊緣視覺的評估方式也隨之改變。解析度仍然重要,但系統真正需要什麼資料,以及願意為這些資料付出多少運算與功耗,將成為更核心的設計問題。


Card Image

PIC32-BZ6:新一代高度整合單晶片無線平臺

隨著智慧設備的射頻(RF)設計複雜性日益增加,傳統無線解決方案通常需要多晶片組合才能新增功能,或頻繁重新設計才能滿足不斷升級的行業標準。為此,Microchip推出全新高度整…

隨著智慧設備的射頻(RF)設計複雜性日益增加,傳統無線解決方案…