從工業到家庭、健康照護與智慧城市，由無數的應用和裝置蒐集來的大量數據產生即時的洞察與價值，智能（Intelligence）必須從雲到終端遍及整個網路。因此，提升終端運算能力、並結合機器學習技術，就有可能釋放物聯網終端裝置即時的數據分析力。

越來越多的智能圍繞在我們周遭的世界。我們聽到許多關於物聯網（IoT）、雲端運算與其他令人興奮的科技，如何在未來數十年改變人們生活的預測。從工業到家庭、健康照護與智慧城市，物聯網讓遍及日常生活的各種應用，變得更為豐富，且讓生活因此改觀。

應用的領域相當多元，有數百個子項目與數千個應用。這些應用產生許多數據，但數據本身不重要，重要的是我們可以從中擷取的價值。我們不能仰賴以往把所有數據都傳回雲端伺服器的傳統作法 – 這種作法隨著數據量的增加無法進行擴充，因此需要不同的解決方案。

把數據從端點傳輸至雲端是有代價的，包括更長的延遲、數據傳輸時的用電、頻寬，以及伺服器的容量，這最終也將是使用場景價值成功或失敗的關鍵。這在物聯網中特別容易發生，原因是許多應用必須仰賴最低延遲的即時數據分析與決策。

事實上，有時候端點可能只擁有有限（如果有的話）的連接性。因此，智能的分配必須遍及整個網路，一路到數據源頭的端點，如此我們才能在正確的地方擁有處理能力。提升終端運算能力並結合機器學習技術，就有可能釋放物聯網端點即時的數據分析力，而兩者的匯聚也稱為「端點人工智慧（Endpoint AI）」。

什麼是端點AI，為何它很重要？

端點AI主要是讓端點（即便是最小型的裝置）變得更聰明且更具智慧，可以在端點上執行必要的即時分析，同時：

‧ 改善整體系統效能

‧ 降低耗電量配置

‧ 降低對雲端處理的依賴

我們舉個例子：想像有一個負責監控水管狀態的小型端點，目的在檢測異常情況，例如水管漏水。倘若水管破裂能儘早檢測出來，避免對房屋造成損害，這對於屋主與保險公司都有極大的價值。這種裝置若能檢測出漏水，只需再加上雲端連接性，就能善用端點上的處理能力並創造價值。

不過，如同之前討論過，到目前為止看到的都是「雲端優先」的方法，這種方法把智能放在雲端上，而數據則不斷地沿著網路進行傳輸。然而為了迎合耗電、頻寬與成本的需求，這種方法正在改變，如此才能促成更寬廣的使用場景。舉上述的漏水檢測器為例，把處理能力移到端點內，可以把電池壽命從數個月延長至數年。

對於許多的使用場景而言，最佳的方式是將智能普遍分配到整個網路上，包括一路配置到端點。Arm貴為整個網路上的每個節點，都提出了解決方案：從數據中心、（終端）伺服器、閘道，一路到端點。

圖一 : Arm在所有設備及裝置上實現無所不在的人工智慧

今日感測器產生的數據大多被丟棄，原因是要傳輸這些數據，從能源與頻寬的角度來看，成本實在太高。想像一個電池驅動的物聯網端點，使用藍牙、窄頻物聯網，或其它方式連網。端點從各個感測器搜集數據，然後把資料傳至閘道或另一個裝置。

不過，這個使用場景的通訊，往往成為整套系統耗電量最大的一部份。因此，系統架構師得進行取捨，以便在系統的耗電量限制下作業。他們得兼顧端點內感測器數據的資料速率與數據處理，以便讓電池壽命保持在可接受的範圍內。

倘若我們只在感到有興趣的事件發生時，使用機器學習架構方法來儲存或傳送數據，並藉此降低無線電波的使用、同時優化電池的壽命，又會怎?樣呢？儘管這些端點上的運算資源一直以來都太過貧乏，無法在裝置本身支援訊號處理與機器學習，但端點 AI 現在卻讓它變成可能。

事實上，今日已有許多的應用，使用Arm Cortex-M架構的裝置內的機器學習技術。受到Arm在內的許多領先企業機構支持、稱為tinyML的社群運作，正在驅動這個趨勢，目標是在微處理器（MCU）上部署機器學習。

tinyML基金會正在協助讓傳統的嵌入式世界與全新的端點AI世界，找到兩者之間的交集。藉由他們的努力，更多的開發人員現在已經可能直接在微處理器上，運行越來越複雜的深度學習模型，藉以加速端點AI，並產生出全新的使用場景。快速檢視其內容，我們發現它大多利用Arm的IP架構。Cortex-M處理器能提供應對各種既有使用場景的正確功能集。

例如，Audio Analytic 公司使用 Arm Cortex-M0+ 處理器實作聲音辨識。其它的實例則使用 Cortex-M4、Cortex-M7 與 Cortex-M33 的數位訊號處理器（DSP）的運算能力：

圖二

接下來呢？

我們正處於一段令人興奮時期的開端，在這個期間，新的科技將促成新的能力，並且讓要求更為嚴苛的物聯網端點使用場景，成為可能。端點搜集越來越多的數據，這些數據可以用節能的方式進行分析並找出型態，並觸發下一步的處理。這也是為何物聯網端點與微處理器（MCU）必須具備更多的能力，以應付與日俱增的需求。

為了支持端點AI的願景，Arm特別開發Cortex-M55（Arm具備最高AI能力的 Cortex-M 處理器）與Ethos-U55（可搭配Cortex-M的微神經網路處理器），兩者是應對許多新興使用場景的完美組合。與現有的Cortex-M處理器相比，Cortex-M55搭配Ethos-U55的總機器學習效能可以提升480倍。

此外，重點不只有IP。Arm的CMSIS-DSP與CMSIS-NN程式庫的演進，以及我們與Google的TensorFlow Lite Micro團隊的協作，將讓開發人員可以更簡便地把他們在之前Cortex-M平台上的作業，轉移到Cortex-M55與Ethos-U55。

端點AI靠視覺-語音-震動驅動

麥肯錫公司已經找出在2025年以前，可為邊緣與端點處理創造出2500億美元硬體價值的橫跨11個產業的100個使用場景。藉由分析這些專供端點AI利用的使用場景，可以發現主要的使用場景都圍繞三個領域：視覺、語音與震動。

圖三

預測性維護在許多大眾市場應用中，是一股重要的成長驅動力。據估計，每年因為機器停機造成的損失超過 200 億美元。

我們可預見上述三個類別之一，或是多個類別的使用場景或應用。例如，除了可以使用震動監控來執行異常檢測，也可以利用聲音辨識的技術，或是使用影像。端點AI已能支援設備上的訊號處理和機器學習。

（本文作者Thomas Lorenser為Arm公司通用運算總監（Director General Purpose Compute））