物聯網正帶動人工智慧走向終端裝置，在後疫情時代，企業對物聯網 AI 的投資與布局動作頻頻。Arm 主任應用工程師張維良指出，我們可以很明顯看到四大趨勢如下：

新冠疫情加速 AI 部署

根據 Arm 於 2020 年 8 月與<<麻省理工學院科技評論洞察（MIT Technology Review）>>合作、針對來自 12 個不同產業的 301 位 C Level 的科技專業人士進行的訪談報告顯示，超過 62% 的受訪者表示，他們正在投資並使用 AI 技術。來自大型企業組織（年營收超過 5 億美元）受訪者的部署率較高，接近 80%。較小型的企業組織（營收低於 500 萬美元）的部署率則為 58%。1/3 的受訪者表示，2020 年新冠疫情的爆發加速了他們在 AI 策略上的部署。

企業組織正在提高對 AI 的投資

超過一半（57%）的受訪者看到他們的 AI 預算在過去三年內提升，且接近四分之一的人表示，他們在 2016 年到 2019 年間，年度 AI 支出最少增加一倍。其中，大型企業在 AI 支出的增加更多，73% 來自年營收超過 5 億美元的企業組織受訪者的預算都有增加，有近三分之一的受訪者預算甚至提升超過 100%。這些投資加碼反映 AI 對企業營運持續成長且普遍的影響。

超過半數企業將 AI 部署在終端裝置或邊緣運算

儘管對於已經使用 AI 的企業組織，雲端運算是他們最喜歡的基礎架構，不過在越來越需要極低延遲的數據存取，以及終端/邊緣處理能力的應用上，為了兼顧成本效益及運算效率，越來越多應用將往數據產生的來源靠近，邊緣運算或是將資源擺在更靠進存取它們的裝置的地方，相關的部署將急起直追。

對應軟硬體攻擊與保護個資/隱私的需求

AI 對幾乎所有商業與社會活動層面的衝擊持續擴大，讓企業領袖必須正視 AI 能否在負責任的規範下使用。消費者一方面對於交易與運作流程中藉助 AI 的接受度越來越高，但也期待企業能在公平的、高道德標準，並能顧及永續發展的條件下使用這項技術，特別在個資的搜集。因此在邊緣運算上，也衍生出對應軟硬體攻擊以及保護隱私等運算能力的強烈需求。

物聯網 AI 應用將聚焦於「3V」

根據 Arm 與 Strategy Analytics 合作的報告顯示，多數的物聯網應用聚焦在一些特定的領域：基本控制（開/關）、測量（狀態、溫度、流量、噪音與震動、濕度等）、資產的狀況（所在地點以及狀況如何？），以及安全性功能、自動化、預測性維護以及遠端遙控，可參考圖一。

圖一 : 多數的物聯網應用聚焦在一些特定的領域。

而終端 AI 可以在三個核心領域提供價值，而它觸及的許多物聯網領域，遍及 B2B 與 B2C（企業對消費者）的應用：震動（Vibration），語音（Voice）與視覺（Vision）。

震動

包含來自多種感測器數據的處理，從加速計感測器到溫度感測器，或來自馬達的電氣訊號。它可將智能帶進 MCU 中的終端 AI 的進展，產生不同應用領域，包括溫、濕度、壓力檢測、物理檢測（如滑倒偵測）、物質偵測（如漏水、漏氣）、磁通量偵測與電場偵測等等。運用震動分析的預測性維護（PdM），在旋轉型機器密集的製造工廠裡相當常見，可以揭露鬆脫、不平衡、錯位與軸承磨損等狀況。此外，磁感測器利用磁性浮筒與一系列可以感應並與液體表面一起移動的感測器，測量液面的高低。

語音

語音啟動在智慧家庭應用中很常見，例如智慧音箱，而它也逐漸成為啟動智慧家庭裝置與智慧家電的語音中樞，如電視、遊戲主機與其它新的電器。在工業環境中，供車床、銑床與磨床等電腦數值控制（CNC）機器使用的電腦語音引擎正在興起。語音整合在車輛中也相當關鍵，因為語音有潛力成為最安全的輸入模式。OEM 代工廠商持續對車載娛樂系統中的語音辨識系統，進行大量投資。其他車用的應用包括語音輸入文字簡訊、輸入目的地、播放特定歌曲或歌曲子集，以及選擇廣播電台頻道，甚至拋錨服務與禮賓服務等。

視覺

終端 AI 提供視覺領域全新的機會，特別是與物件檢測及辨識相關。包括觀察生產線的製造瑕疵，以及找出自動販賣機需要補貨的庫存。其它實例包括農業應用，例如依據大小與品質為農產品分級。曳引機裝上機器視覺攝影機後可即時檢測出雜草、分類其種類、分析其對農穫的威脅、進而客製化除草解決方案。在工業上，包括利用熱顯影來監控互動機器零件的溫度，讓任何異常情況很快變得顯而易見。具備終端 AI 能力的裝置，可以長期檢測微細的變化，觸發排程系統，自動採取適當的行動來預防零件故障。

圖二 : 不同應用對於機器學習的採用比起以往更盛。圖為Arm運算方案的對應圖。

推動物聯網運算需求

隨著物聯網與 AI 的進展以及 5G 的推出，更多的終端智能意謂小型且成本敏感的裝置，會愈來愈有聰明、功能也愈來愈強，同時因為對雲端與網際網路的依賴較小，也將具備更高的隱私性與可靠度。因此，Arm對於MCU核心，也 透過新的設計為微處理器帶來智能，降低半導體與開發成本，同時為想要有效提升終端數位訊號處理（DSP）與機器學習能力（ML）的產品製造商，加快他們產品上市的速度。

TinyML

微型機器學習（TinyML）的崛起，已經催化嵌入式系統與機器學習結合。它捨棄在雲端上運行複雜的機器學習模型，過程包含在終端裝置內與微控制器上運行經過優化的圖型識別模型，耗電量只有數毫瓦特。受惠於 TinyML，微控制器搭配 AI 已經開始增添各種傳統上威力更強大的元件才能執行的功能。這些功能包括語音辨識（例如，自然語言處理）、影像處理（例如物件辨識與識別），以及動作（例如震動、溫度波動等）。啟用這些功能後，準確度與安全性更高，但電池的續航力卻不會打折扣，同時也考量到各種更微妙的應用。

簡化程式碼的轉移性

把AI函式庫整合進 MCU，將本地的 AI 訓練與分析能力插入程式碼中是可能的。這讓開發人員依據從感測器、麥克風與其它終端嵌入式裝置取得的訊號，導出數據的型樣，然後從中建立模型。Arm Cortex-M55 處理器與 Ethos U55 微神經處理器（microNPU），利用像 CMSIS-DSP 與 CMSIS-NN 等常見API來簡化程式碼的轉移性，讓 MCU 與共同處理器緊密耦合以加速 AI 功能。透過推論工具把 AI 功能放在低成本的 MCU 上實作，並符合嵌入式設計需求，如此一來，有 AI 功能的 MCU 就有機會在各種物聯網應用中，讓裝置的設計改觀。

Arm 客製化指令（ACI）

ACI 可針對 CPU 進行修改產生功能，而這些 CPU 為設計人員保存編碼空間，以便他們能輕易增加客製化資料路徑延伸，同時保有既有軟體生態系統的完整性。這個功能加上既有的共處理器介面，可以讓 CPU 利用針對機器學習（ML）與人工智慧（AI）等邊緣運算使用案例優化的各類型加速器，進行延伸，目前 ACI 技術已實現在 Cortex-M33 處理器上。

發揮最大運算潛力

最後我們也要以Arm為例，看其如何協助企業在物聯網的應用上，加速 AI 部署。Arm 主任應用工程師張維良認為，儘管物聯網（IoT）革命可能仍在初期，但它已經來到一個與智慧手機變革的相似之處：Arm 強大的生態系都是這兩者往前發展的驅動力。Arm 預計終端裝置 AI 將驅動物聯網產出更多價值進而加速各界採用。

為了能以兼顧成本與耗電的智慧終端裝置，做到大量的、有效的物聯網部署，Arm 在 2020 年二月推出業界第一個微神經網路處理器 Ethos-U55 以及 Cortex-M55 微處理器。在 2020 年 10 月，Arm 也推出 Ethos-U65，把同樣的能力推升至更高的效能，並把微神經網路處理器的能力延伸至 Cortex-A 架構的系統。

另外，為了進一步加速 AI 在終端裝置上的部署，Flexible Access 的產品選項已經擴大並包含 Cortex-M55 與 Ethos-U55，Flexible Access 合作夥伴可以利用這些產品自由的探索、實驗與設計，無須預先支付任何授權費用。

Flexible Access 自 2019 年夏季推出以來，已有超過 100 家的企業簽約加入，其中包括新創公司、特殊應用積體電路（ASIC）廠商以及已有相當規模的半導體廠，其中一半以上是第一次與 Arm 合作的矽晶圓夥伴。

Arm 也致力於讓運用 Arm 架構開發軟體的體驗，無縫而簡單的部署。雲原生資料中心服務導向的架構，正與構成嵌入式終端與端點裝置的各式各樣的硬體產生碰撞。Arm 正與生態系夥伴合作，確保那些不同且持續演進的工作負載，能在各個裝置與作業系統上，簡單地轉移、維護與部署，同時還能無縫地連接到所有的雲端服務。