在邊緣端的人工智能逐漸成為發展的潮流。然而要為邊緣運算賦予 AI 智能，已經成為新的挑戰。Arm 應用工程總監徐達勇指出，在傳統上，決策的形成一向都集中在雲端與網路的中心，所有的數據與智能都往內部移動。這樣為網路技術與商業模型帶來龐大的壓力。未來我們必須刻意的把多數的「思考」向網路的終端移動，讓中央系統空出來，以數據趨勢與規律的集成為基礎，進行較長期的策略性決定。

把智能移到邊緣/終端可以提供許多的優點（請參考如圖一）。

。增加自主性

。提升隱私保護與資訊安全

。增加安全性

。減少頻寬

。降低功耗

。減少延遲

圖一 : 智能邊緣運算優點

另外，關鍵需求要素如下（可參考圖二）。而其中，又以安全、數位訊號處理及機器學習，最為重要。

。異質化系統架構

。優化數位訊號處理器（DSP）

。功能性安全

。機器學習能力

。可擴充的處理能力

。平台安全架構（PSA）

圖二 : 邊緣運算關鍵需求

可能的挑戰

根據Arm的調查（如圖三），超過 90% 以上的企業將會持續投資在 AI，在 2025 年以前，超過 90% 以上的企業應用程式都會包含機器學習的功能。可見邊緣裝置的部署的數量將非常龐大、應用也將非常多元而複雜，可以想見導入機器學習與 AI 的需求將趨於複雜與碎片化。單一的解決方案已無法因應如此龐大、多元且複雜的需求。

圖三 : 超過 90% 的企業將會持續投資 AI

徐達勇說，特定處理（Specialized Processing）將提供開發者所需的彈性（如圖四），並針對不同的工作負載，提供最佳組合的運算處理單元。Arm 擁有的處理器平台整合更高的彈性、效率與安全性，CPU，GPU 與 NPU，協助合作夥伴在他們所處的市場，打造合適的產品。例如：

。用 Cortex CPU 來處理小型的機器學習工作負載應用將擁有最大的彈性以及擴充性，並確保未來不會過時；

。針對在廣泛的數據類型範圍內，要求必須在更高效能與良好的可程式性之間取得平衡的應用，對此需求提供了具備更佳機器學習支援的 Mali GPU；

。針對需要低功耗且高省電要求機器學習工作負載的應用，提供了可擴充的微型 Ethos-U NPU，為最小的裝置提供彈性、功效與優化。當然運算需求較高的工作負載，也有專屬 Ethos-N NPU。

圖四 : 特定處理將提供開發者所需的彈性

Arm的在 AI 平台發展策略

龐大的 AI 應用需要「專用」且「可擴充」的解決方案。

全球於 2025 年左右預計將有超過 80 億個正在使用中、具 AI 功能的語音助理裝置，而 90% 或更多的終端應用將包含 AI 元素以及基於 AI 技術的介面。機器學習將成為運算無所不在的一部份，並將被運用在終端裝置、網路邊緣、手機與筆電等各類應用、汽車與工廠運算核心，以及雲端伺服器。

逾九成的頂尖企業將持續投資 AI，Arm也持續為合作夥伴提供多種 IP 執行機器學習工作負載。

到了2025年，估計超過九成的新企業應用程式將嵌入機器學習；運算裝置將受惠於更多在 CPU、GPU、NPU 的硬體支援，以應對更吃重的機器學習工作負載。Arm 所有處理器與 IP 皆具備機器學習能力，且發展為獨特的 AI 平台，為合作夥伴提供多種 IP 選擇，以執行像機器學習這樣「特定且被優化」的工作負載。

因應多元的工作負載，「特定處理」將成為所有運算形式的創新關鍵。

通用型處理器過去可以滿足大多數的需求，包括桌上型電腦或車用電子產品。但現在，合作夥伴對於高效處理的需求大幅改變，每隔幾年需求就翻倍，且變化速度愈來愈快，因此 SoC 的合作夥伴需要配置不同的特定處理元件，以符合其需求。

Armv9架構為CPU提供全新的向量處理能力「SVE2」。

Arm可擴展的向量延伸指令集（SVE）曾協助富岳成為全球速度最快的超級電腦；Armv9 將包含這些延伸指令集的下一個版本 SVE2，大幅強化機器學習與數位訊號處理等能力。SVE2 也將強化在 CPU 上運行的 5G 系統、虛擬與擴增實境與機器學習等工作負載的處理能力，例如影像處理與智慧家庭應用。Arm 也將強化 CPU 內部的矩陣乘法能力，進一步擴展 Arm 技術的 AI 能力，並持續進行 Mali-GPU 與 Ethos-NPU的AI創新。

邊緣 AI發展重點

徐達勇認為，邊緣AI未來的發展方向可以專注在一個關鍵點上，就是AI Everywhere。先來看看AI的四大主要應用場景包括如下：

。物聯網/ 嵌入式應用

。手機/ 消費性電子

。車用

。網路與伺服器

為了達到 AI Everywhere 的願景，有以下幾大領域需要我們特別注意：

。延遲：5G 的全球部署將帶動更快的資料傳輸、更多的連結，機器學習必須在數據產生的當下就運作。

。功耗：更低的能耗、更長的電池壽命。

。資料：數據/資料分布在各處，因此機器學習也要在各處執行。這需要系統運作與軟體堆疊。

。安全：安全的運算需要安全的機器學習解決方案。

運算將成為分散式的工具，每個運算需求都要在最適合的平台運行，信任運算基礎架構將是管理資訊安全與隱私性的關鍵。以Arm新近發表的Armv9架構為例，特別提出機密運算架構（Confidential Compute Architecture；CCA），它可協助在硬體架構的安全環境中執行運算，並保護部份的程式碼與數據不被存取或修改，甚至是特殊權限軟體也無法存取與修改。