AI應用日漸普遍地被部署到邊緣和終端，且高效能AI推論使更智慧的城市和高度自動化的智慧工廠得以實現。隨著智慧零售帶來精緻的自動化購物服務，消費者的零售購物體驗也變得更加細膩。這些應用需具備極高的可靠性並提供高效能，同時也需提供精巧的外形尺寸。

邊緣處理難題

在邊緣部署系統時，功耗、佔板面積和成本都是重要的考量因素。在邊緣處理的種種限制條件下，當處理需求不斷增加，也就意味著提供所需的效能水準將面臨更大的挑戰。雖然CPU在邊緣運算上已有所發展，但近年來的成長速度趨緩，尤其在嚴格的低延遲要求下，在為由新一代AI所支援的邊緣應用提供效能時，未經加速的CPU表現得相當勉強。

在邊緣上執行先進的AI應用時，專用領域架構（Domain Specific Architecture；DSA）是重要關鍵，且能提供準確性和低延遲。合適的DSA被專門設計以用於高效處理所需的資料，既有AI推論也有非AI的應用，也就是整體應用的加速。考量到AI推論需要非AI的預處理和後處理，兩者都需要更高的效能，這一點很重要。也就是說，要在邊緣和其他地方達到由AI支援的高效應用，需要整體應用的加速。

如同任何固定功能的晶片解決方案，為AI邊緣應用所開發的特定應用標準產品（Application-specific Standard Products；ASSP）仍然有自身的侷限性，其主要的挑戰在於AI創新的速度異於尋常。與非AI技術相比，AI模型的更新速度會快很多。在固定功能的晶片元件上使用AI，會因更新型、更高效的AI模型出現而迅速被淘汰，因為固定功能晶片元件往往要花費數年才能進入生產測試，屆時AI模型的先進技術將已經又向前邁進。此外，邊緣應用的功能安全性需求也日益提高，導致經常需要高成本的即時更新。

圖一 : AI普遍被部署到邊緣和終端，使智慧城市和自動工廠得以實現。（source：se.com）

自行調適運算的前景

自行調適運算包含能將具體應用進行優化的硬體，例如現場可編程邏輯閘陣列（FPGA）是一個功能強大的解決方案，專用於以AI為基礎的邊緣應用。

此外，新的自行調適硬體也層出不窮，包括含有FPGA架構並與一個或多個嵌入式CPU子系統耦合的自行調適系統單晶片（SoC）。然而，自行調適運算遠不止「純硬體」，它整合了一套綜合且全方位的設計軟體和執行時間軟體，形成獨特的自行調適平台，可在該平台上打造非常靈活且高效的系統。

藉由自行調適運算實現DSA，可免除使用ASIC等客製化晶片元件所花費的設計時間和初期製造成本，如此便能應用於任何特定領域，包含為以AI為基礎的邊緣應用迅速部署經優化的靈活解決方案。自行調適SoC是此類領域專用處理的理想選擇，因為它既擁有綜合且全面的嵌入式CPU子系統的靈活性，又具備自行調適硬體優異的資料處理能力。

自行調適系統模組System on Module

系統模組（System-on-Module；SOM）提供完整、可量產的運算平台。與精簡晶片開發（chip-down development）相比，系統模組能節省可觀的開發時間與成本。SOM能夠插入較大的邊緣應用系統內，既可以提供客製化解決方案的靈活性，又能提供現成解決方案的易用性和更快的上市速度。這些優勢讓SOM成為邊緣AI應用的理想平台。然而，要實現現代化AI應用所需的效能，加速必不可少。

某些應用需要客製化硬體元件組與自行調適SoC介面相連接，意味著需要精簡晶片設計（chip-down design）。然而，越來越多採用AI的邊緣應用，需要相似的硬體元件和介面，甚至在終端應用迥異的情況下也是如此。隨著企業採用標準化介面和通訊協定，儘管處理需求有顯著不同，但同一套元件組可適用於各種類型的應用。

基於AI邊緣應用的自行調適SOM，結合自行調適SoC與產業標準介面和元件組，使得硬體經驗有限、甚至沒有硬體經驗的開發者也可以獲益於自行調適運算技術。自行調適SoC既能實現AI處理，也能實現非AI處理，可以滿足整體應用的處理需求。

此外，自行調適SOM上的自行調適SoC支援高度的客製化。它的設計目的是為了整合到更大型的系統內，並使用預先定義的外形尺寸。使用自行調適SOM可以全面發揮自行調適運算的優勢，同時避免精簡晶片設計。然而，自行調適SOM只是解決方案的一部分，軟體也至關重要。

採用自行調適SOM的企業能廣泛受益於高效能、靈活性和快速開發時間的獨特組合，他們無需打造自己的電路板就能享受自行調適運算的各種優勢。以賽靈思Kria自行調適SOM產品組合為例，該產品的推出，得以在邊緣實現靈活性與開發速度等特性。

圖二 : Kria KV260 AI視覺入門套件

針對軟硬體開發人員提供的優勢

自行調適SOM同時讓軟硬體開發者受益。對於硬體開發者，自行調適SOM提供現成、可量產的解決方案，從而節省大量的開發成本與時間。此外，這些元件也允許硬體團隊在流程後期變更設計，這是採用固定功能晶片技術的SOM所無法達成。

對於AI和軟體開發人員而言，自行調適運算比過去更容易應用。賽靈思為了確保自行調適運算的易用性，對工具流程進行大量投資。透過將軟硬體平台與可量產的視覺加速應用相結合，Kria SOM產品組合的推出讓此結合的易用性提升到全新水準。這些一站式解決方案取消了所有FPGA硬體設計工作，只需要軟體開發者整合他們的客製化AI模型、應用編碼並選擇性地修改視覺作業流程。在Vitis統一軟體開發平台和函式庫的支援下，他們可以使用熟悉的設計環境，如TensorFlow、Pytorch或Caffe框架以及C、C++、OpenCL和Python程式語言。

透過這種針對軟體設計的新型加速應用模式，還針對邊緣應用推出了首個嵌入式應用商店Xilinx App Store，為客戶提供來自生態系合作夥伴的Kria SOM豐富多樣的應用選擇。賽靈思解決方案屬於免費的開源加速應用，其中包含智慧鏡頭、人臉偵測、具有智慧視覺輔助的自然語言處理等。

結語：靈活應變的未來

AI模型將持續發展，意味著加速平台必須要能靈活應變，才能在現在和未來以最佳方式實現AI技術。實際上，SOM提供理想的邊緣處理平台，結合自行調適SoC可為由AI支援的應用提供綜合、全方位、可量產的平台。採用這類元件的企業能廣泛受益於高效能、高靈活性和快速開發時間的獨特組合，並從自行調適運算中獲得豐厚的收穫。

（本文作者為賽靈思電路板與套件產品行銷總監）