目前來看，邊緣人工智慧（邊緣AI）的優勢是顯而易見。有必要實現即時回應的應用，如安全性敏感應用。要將原始資料傳輸至雲端的通訊成本降至最低。還有要降低耗電量、保護隱私權，並提升多個邊緣節點的擴充性。這些需求都可透過邊緣裝置內的人工智慧 （而非遠端雲端服務） 獲得最佳滿足。

然而，我們目前所知的邊緣應用無法透過單一 AI 引擎提供。家電只需辨識一組簡單的語音指令或食物容器上的圖片。更為精密複雜的監控系統或工業機器人系統則可能要融合多種輸入來源，包括影像感測器、麥克風、動作感測器等。高階的自動或半自動駕駛辨識系統需使用非常精密的深度神經網路（DNN）。CEVA SensPro2 與 NeuPro-M 平台皆涵蓋這些應用範圍。

邊緣 AI 的市場

邊緣AI處理器晶片的市場預期從現在至未來十年的複合年增長率（CAGR）約為20%。智慧型裝置的採用/演進將是重要驅動力，例如越來越多消費者購入攝影機、穿戴式裝置和居家自動化系統、汽車業致力於強化安全和自主性，以及業界越來越重視監控系統、機器人、機器/工廠控制和預測性維護系統等。

在這些領域中，最可能成功的產品必然要具備相關功能與效能，才能滿足所需應用的辨識需求。這類產品必須符合消費者物價及/或具有成本效益規模，而且應將現有無線基礎架構的遞增負載降至最低。此外，它們也必須為可升級的軟體，才能在快速演變的 AI 技術領域中適應新興的解決方案。

感測器融合及SensPro2

現在幾乎連最簡單的智慧邊緣裝置也採用多個感測器。整合來自兩個或更多感測器的資訊，往往可讓智慧系統提供更高的準確度或輔助資訊。例如在自動路邊平行停車或自動代客停車時，若是用視覺感測或雷達偵測可用空間，再結合遠距超音波偵測或IMU輸入，即可進一步提升定位預估值。這些功能或可搭配SLAM協助在停車場內導航，從而實現自動代客停車。

CEVA SensPro2感測器中樞DSP適合於感測器中樞/融合應用。SensPro2是第二代CEVA 感測器中樞DSP，可提供多重感測器輸入：影像、麥克風、雷達、飛行時間、IMU等。軟體式的類神經網路在此DSP架構上能快速執行，這要歸功於豐富的硬體支援功能，包括具有彈性 MAC操作範圍的向量單位、整數與浮點運算支援、應用程式專用ISA延伸功能，以及全方位非線性指令集。透過這些功能，SensPro2相較於上一代的 SensPro來說，AI 效能最多高2倍、SLAM速度快 6倍、雷達速度快8倍，且音訊速度也快10倍。

邊緣人工智慧已透過SensPro2部署於SoC中，支援廣泛的消費者應用，例如最近發佈的新Novatek監控 SoC版本。

DNN智慧與 NeuPro-M

高階的邊緣智慧需要深度神經網路（DNN）支援，動用高度的平行處理和頻寬最佳化及異質加速器，才能驅動最新的 AI 演算法。

自動駕駛/半自動駕駛的可用空間偵測，便是首個需求的絕佳應用範例。可用空間偵測是為了找出道路/高速公路上的安全駕駛區域，藉此避開障礙物、對向車道以及未經舖設的路肩和分隔島。由於反應時間必須快速，前方道路的影像會分割成 4 個子畫面並進行平行處理。每個子影像上皆會執行可用空間偵測，最後重新整合以提供完整結果。NeuPro-M 針對這類邊緣應用上的人工智慧最多支援 8 個平行引擎。

準確度與效能期望並不僅滿足於平行處理。現在硬體在 NeuPro-M中獲得加速，網路開發人員因此想充分運用多項專用功能，舉凡矩陣分解、稀疏處理、Winograd和混合式精密類神經操作等功能，均可在每個平行引擎中使用。NeuPro-M系統已部署於多個設計中的 SoC，預計在未來幾年將逐漸在終端產品中出現。

AI解決方案具前瞻性

在標準 CPU 或 GPU 上執行的純軟體 AI 解決方案效率太低且太耗電，導致實用度不佳，但在理論上極具吸引力，畢竟客戶可視需要隨時變更軟體，同時無須更換硬體。

隨著 AI 技術與網路層越來越進步，我們能否既享硬體加速的所有效能和耗電優勢，同時保留升級的彈性？只要搭配使用 SensPro2 與 NeuPro-M，這件事就有可能。

這些 AI 解決方案的向量 DSP 基礎，可隨著市場需求與網路發展來升級軟體中的產品實作。CEVA Deep Neural Network （CDNN）AI 編譯器可簡化從標準網路（TensorFlow、PyTorch 等）實作至處理器 IP 的對應作業，實現宛如在特定 SoC 中實作的效果。並且可以在此步驟中控制最佳化，藉此充分利用特殊加速器的優勢，例如 NeuPro-M 中的加速器，或是新增自行設計中可能需要的其他加速器。這些延伸功能可透過 CEVA 的 CDNN 邀請 API 加以支援。

（本文作者Moshe Sheier為CEVA營銷副總經理）