當我們談論人工智慧（AI）時，焦點大多集中在模型開發、訓練，以及大型語言模型或生成式系統的突破上。然而在現實世界中—裝置必須能立即互動、回應並適應—真正帶來差異的關鍵在於「推論」。並且推論正在不斷地從雲端轉移至邊緣裝置。

圖一 : 推論正在不斷地從雲端轉移至邊緣裝置。

推論的重要性

推論可以將AI轉化為行動。無論是語音辨識、影像分類、異常檢測或手勢控制，推論能夠讓裝置現場解讀數據並做出決策。但隨著更複雜的神經網路模型的出現—特別是卷積神經網路和基於變壓器的網路，傳統基於CPU或MCU的系統愈發難以負荷。效能瓶頸正導致體驗遲緩、功能受限，或必須依賴雲端進行處理，從而引發延遲、隱私與成本問題。
...
...