後疫情時代的2022年，又再度推動著人們邁向更智能科技的生活模式。基於隱私問題、通訊安全及頻?效率等考量，因而孕育了在邊緣裝置上進行AI運算的需求。也就是近日的熱門話題之一邊緣AI。

當硬體設計同時要加入AI運算時，設計的模式更加重視軟硬整合的需求，尤其若是在邊緣裝置中要進行大規模的模型訓練及處理，而這就涉及到大量的運算，例如開發視覺型物件偵測時，就需要透過神經網路推斷模型來處理多步驟流程。

這樣的情況下，一個實用的高速推斷功能，它必須兼具靈活性、效能和節能這三個條件，才能扮演好邊緣AI運算的角色。其中目前市面提供的解決方案之中以乎eFPGA有機會異軍突起，顛覆傳統設計的極限。

eFPGA設計新思維讓靈活性更上一層樓

Embedded FPGA(簡稱eFPGA)，在邊緣運算的優勢是它的IP核心可以內嵌在訂製的SoC或ASIC上，此外它能客製化所需的邏輯、DSP和儲存器數量，也可以客製化調控尺寸大小及I/O端口數量。它的靈活性擺脫了傳統FPGA需要全定制電路設計的綀縛，也讓邊緣AI運算需求保有極佳的彈性。目前筆者所瞭解到有提供eFPGA服務的廠商共有八家(如圖一)，其中Flex Logix公司是唯一一家純硬體eFPGA的公司，可說是專注在edge運算的專家。他們獨特的技術據說可以讓工作負載的速度提升至30～100倍。

圖一 : 提供eFPGA服務的廠商共有八家，Flex Logix公司是唯一一家純硬體eFPGA的公司。

「機器學習是一種非常不同的軟體開發方法，與我們大多數人習慣於編寫C語言、Python等等是不一樣的方式。它著重的是在這些模型框架中的數據和訓練。因此，軟體方面也已有所改變以支持這個需求。」Flex Logix資深產品管理總監Sam Fuller表示。單靠處理器來進行運算雖然可行，但在邊緣裝置中需要因應環境及情境的使用而有尺寸及頻?流量的限制，有效進行資料推斷處理的效率及節能是一大挑戰。

Sam繼續說道：「我們實際上提供了另一種新模式，將執行、推理執行與開發環境分開。當我們開發這些模型並在上面訓練它們的系統。與我們實際部署的系統是不同的，因為它們在最佳化點方面完全迥異的。所以這讓我們可以構建一個非常高效且極具成本效益的部署平台，因為不需要在同一系統上進行訓練和開發。 這是我們產業一個重要的全新概念，但我認為人們理解這一點是絕對重要的。」

Edge AI應用廣泛 定制型小尺寸低功耗晶片吃香

圖二 : Flex Logix資深產品管理總監Sam Fuller。

而談到eFPGA與GPU及TPU的差異，Sam表示：「大部份 GPU在進行應用推斷工作負載的處理時是32 位浮點為主，而大多數邊緣AI 的推斷工作都是 8 位整數運算類型。所以數據集是不同的設置且操作類型不同。」因此，當需要將特定設備用於邊緣 AI 推斷時，使用專用定制型且小尺寸及低功耗的晶片，其性價比會更加理想。

根據Sam的分享，Edge AI目前主要應用以工業領域最多，尤其是影像相關的需求為主。另外近年越受重視的自駕車，舉凡一般汽車、貨車或堆高機等等的應用也有大量成長。而在城市的交通路口安全管理系統、農業區域性精確施肥需求及零售業環境等都已有不少正在進行中的應用。

Flex Logix IP業務、行銷及解決方案架構副總裁Andy Jaros表示：「我們看到很多客戶開始採用 eFPGA，尤其是開發晶片的光罩成本越來越高，而 eFPGA讓晶片設計師可以靈活地在任何設計週期中進行修改，因此這是一種節省數百萬美元的方法。」

圖三 : Flex Logix IP業務、行銷及解決方案架構副總裁Andy Jaros。

AI道德及偏見問題考驗開發者智慧

然而，近期AI的快速發展，也引起了不少隱憂。例如不同種族可能導致機器學習結果的偏差，以及AI的自主學習會否違背人性道德原則，還有究竟該如何信任AI？對此，Sam表示：「當我們進入機器學習訓練系統時，不論是更高水平的人工智慧與否，我們也必須先認知它們並不是百分之百的正確。當我們在AI系統中工作或僅只是機器學習系統中，一切都是概率性的。」

圖四 : CTIMES黃俊義社長。

對此， CTIMES黃俊義社長也持同樣的看法。他提到，機器處理的瑕疵是必須接受的，並接續處理所產生的問題。而在安全機制旳部份都應該有一套最高指導原則來審視。「edge AI也就只是一種演算法，僅止於在一定範圍內的知識系統內做處理判斷，如果太執著於AI的處理，都將會給人文帶來衝擊，變成人並非按照自己的本性來判斷，這是不符合真正的本質的。」黃社長強調。

邊緣AI的快速發展讓Tiny brain in everything成真。而eFPGA如同渦輪引?

般，將讓邊緣AI的開發更加速普及。但是科技始終必須回歸人性。AI演算法對道德的挑戰將是下一階段的重要課題。

圖五 : Flex Logix提供了另一種新模式，將執行、推理執行與開發環境分開。