近年來,機器學習(ML)技術,尤其是機器學習的神經網絡子集,幾乎已經迅速入侵了行動設備硬體和應用軟體的所有層面。許多常用且廣泛使用的手機應用程序都在後台運行ML技術,以針對特定用法和行為對設備進行微調。當手機的電源管理系統自動微調性能設置以延長電池壽命時,這就是機器學習的一個例子。當行動設備助理裝置追蹤正常的行車狀況,並發送有關火車或下班回家路上交通異常延誤的警示時,這也是機器學習的一種形式。而且,如果社交網路應用程序使用你朋友的名字來標記你所上傳的照片,那麼這也是正在運作中的機器學習的最好例證。
|
Arm機器學習事業部副總裁Steve Roddy |
Arm機器學習事業部副總裁Steve Roddy指出,上面所提到的範例,都是下載到手機並在CPU或GPU上運行的軟體APP應用程序。深度嵌入功能還與行動設備的硬體緊密相關,例如,高性能的神經網路功能可以改善行動設備中的相機視頻和靜態影像捕獲品質。當行動設備連接到無線網路或蜂巢式網路時,高級WiFi和5G調變解調器將採用與機器緊密耦合的自適應機器學習演算法,並最大程度地提高數據傳輸速率。
Steve Roddy說,在所有這些機器學習的案例中,技術上最具挑戰性的是照片與視頻的強化功能,通常稱為運算攝影。拍攝10秒鐘視頻或自拍照的消費者,希望在非常高分辨率的感測器上,以每秒60幀的速度執行具有智能對焦和曝光的穩定流暢視頻擷取;加上透過語音來啟動的命令處理功能,以設置功能並啟動或停止視頻擷取(自然語言處理)。
在即時視頻上同時運行所有這些功能,將會消耗大量的系統運算處理能力。在今年所宣布用於高階行動領域的最新行動設備,多數都採用了Arm架構處理器來提供具多核運算效能的15~20 TeraOp/Sec神經處理單元(NPU),可以滿足這些應用範例中的高運算要求。我們可以預期,在2020年甚至2021年將超過這些運算的水準,以節能和數據頻寬高效的方式來提供大量運算,將成為目前行動運算晶片開發人員所面臨的最大挑戰。