帳號:
密碼:
最新動態
產業快訊
CTIMES / 文章 /
AI Maker世代即將展開-大家跟上了嗎?
【vMaker Edge AI專欄 #12】

【作者: Jack OmniXRI】   2023年12月25日 星期一

瀏覽人次:【1247】

在現今專業分工的時代,很多事情不用透過自己動手作就能享受時代進步所帶來的便利。大家不用自己買布作衣服,不用買食材自己下廚,家裡燈不亮了,房子想重新裝潢一下,不用自己買電線、木材,都有專業人士可以幫忙。但是自己作手作,完成一項可以改變自己生活的事,從來就不是特定專業人士才享有的能力,只是隨著時代的演進,那些父母時代才有的動手作能力及樂趣已逐漸被人們淡忘。


早在1956年瑞典知名家俱商IKEA就推出組合式家俱,讓一般人也能自己 DIY (Do It Yourself) 看圖組裝家俱。2005年Make雜誌推出,2006年Maker Faire開始推動 Maker(自造者或稱創客)運動,讓傳統手工製作的精神加入了電子、機械、資通訊(俗稱寫程式)等現代科技,同時許多廠商紛紛推出相應套件、工具及軟體、平台,也有許多樂於分享的人將相關技術無私開源,讓更多人能享受自己動手作的樂趣。


2014年美國總統歐巴馬更在白宮主持了Maker活動,並規畫教育創新十年計畫,編列四億美金,培訓十萬名教師推動 STEM(科學Science、科技Technology、工程Engineering及數學 Mathematics)來讓學生們更具動手作的能力。於是這股風潮引爆更多領域,如平價的3D印表機(3DP)、無人機(Drone)、自走車等,從此開啟跨域Maker新世代。


在這股風潮下台灣Maker也不落人後,尤其在擁有強大的電子硬體及資通訊軟體的能力下,2013年由中研院及LASS社群[1]共同推動下,一個螞蟻雄兵的計畫就此誕生,那就是「PM2.5空氣盒子」。


大家利用很簡單的PM2.5空氣品質感測器加上平價的硬體、通訊模組、開源的軟體及簡單的外殼,最後再一起串接到共同網站就能監看全台灣的空氣品質,而其整體架構剛好就是「物聯網(Internet of Things, IoT)」最基本的核心技術。


由於這項技入門容易,價格不高,具教育意義,更能讓老師、家長及學生一起動手作,不限是否具有電子或資通訊背景都能快速速上手,於是全民Maker的時代正式開啟,陸續引爆各種創意及手作風潮。



圖一 : Maker Faire Taipei [影像來源]
圖一 : Maker Faire Taipei [影像來源]

十年過去了,中間發生了很多事,包含知名Maker Faire差點倒掉又易主,很多Maker Space收起來,不禁讓很多人覺得Maker不再是熱點。但從去(2022)年及今年的Maker Faire Taipei活動來看,即便收費仍然有非常多人參加,會場中各種創意及交流,讓人覺得依舊活力十足。


不過仔細觀察了一下,會發現熟面孔似乎越來越少,作品的內容和往年相比似乎也沒有太多變化,是大家創意疲乏了嗎?還是Maker精神已融入生活不再需要多說呢?難道已經沒有新的火花可以重新點燃大家的熱情嗎?


去年11月底OpenAI發表大型語言模型(Large Language Model,LLM)ChatGPT後,短短一年就 讓生成式人工智慧(AIGC) 發生翻天覆地的變化,不僅是文字創作、自然對話、影音生成,甚至直接輸入影音而使用文字查詢也變成不再是困難的事。一般學生及大眾不需有太多操作知識,就能像面對真人一樣的對談、交辦工作,彷彿科幻電影情節降臨。


這一年來有賴像NVIDIA、INTEL、Microsoft、Google等軟硬體公司的大力推動及各學研單位的努力,僅僅一年就讓遠在天邊(雲端)的技術,可以迅速落地(邊緣),讓高階手機(Mobile)、單板微電腦(SBC)甚至高階單晶片(MCU)也有機會玩AIGC相關應用,這也似乎意味著新一波的「AI Maker世代」即將到來,各種新的創意也將遍地開花。


接下來就幫大家整理了一下有哪些硬體、軟體相關技術資源可用,還有哪些創意、應用可能成為AI Maker的新寵。


1.微型AI硬體及適用範圍


圖二 : 微型AI常見硬體組合。
圖二 : 微型AI常見硬體組合。

目前依運行模型大小,需選用不同算力及記憶體大小的硬體,才能滿足不同的邊緣型AI應用,大致可分為筆電(AI PC)、手機(SoC)、單板微電腦(MPU)及單晶片(MCU),而為了順利運行通常這些硬體都會搭配神經網路加速單元(Neural Network Processing Unit, NPU, 俗稱AI晶片),否則很難滿足即時反應需求。


一般來說在邊緣端裝置要直接跑大型語言模型(LLM)還要馬上有反應且不能太胡言亂語,那就要使用較大模型(1300億或700億個參數, 130B或70B),透過網路連線到雲端,使用業者提供的API服務(部份免費),而邊緣裝置僅負責處理人機界面,輸入文字、語音、影像等資料,待收到回覆後再顯示文字、影像,播放聲音或影片,很適合用於各種文字、影像、音樂生成等應用。這樣的作法,對硬體要求不高,也不需要有NPU存在,甚至高階MCU也都有機會能完成。常見的API服務如下所示。


‧ OpenAI:GPT-3.5/4, DallE2/E3


‧ Google:Vertex AI


‧ Microsoft Azure:Cognitive Service(DialoGPT)


‧ Amzon Web Services(AWS):Lex


如果想要離線就能運行LLM,那模型就不能太大,通常是130億或70億或13億個參數(13B或7B或1.3B),以一個參數1 Byte(8 bit)來看,就要有13GB或7GB的記憶體及儲存空間才夠用,所以有時還要透過模型優化工具將其量化、剪枝、壓縮來縮小模型,才能放的進裝置中運行。


但缺點就是模型越小,生成能力及正確性也會隨之下降,較適合特定場域中有限回答,如智慧家庭、智慧交通、智慧健康、電商客服等。以下列舉一些常見硬體。當然這些硬體算力較好,也很適合用於影像分類、物件偵測、影像分割等應用。


‧ AI PC:Intel Meteor Lake(14代CPU+iGPU+NPU), AMD Ryzen 8040(CPU+GPU+NPU), Apple M2(CPU+GPU+NPU), Qualcomm Snapdragon X Elite(CPU+GPU+DSP+NPU) …


‧ 手機平板(SoC):Qualcomm Snapdragon 8 Gen 3, 聯發科天磯9300 …


‧ 單板微電腦(MPU):Nvidia Jetson Orin(CPU+GPU), Raspberry Pi 5(CPU), Rockchip RK3588(CPU+NPU), ALIF Ensemble(MPU+MCU+NPU), NXP i.MX93 (MPU+MCU+NPU), TI AM6xA(MPU+MCU+DSP+NPU) …


常見7B LLM模型:


Meta Llama2 7B


Taiwan-LLM-7B


Mistral 7B


Intel Neural-Chat-7b


Zepyr-7B-beta


MosaicML MPT-7B


TAIDE 7B (國科會,台灣可信任AI對話引擎,模型尚未正式開放,現僅提供特定單位內測中)


一般Maker常用的Arduino及PRO系列,前者多半為低階單晶片,算力及記憶體極少,較不適用微型AI,而PRO系列雖然沒有NPU加持,但Arm Cortex-M4/M7/M33的內核時脈頻率高,運算速度快,記憶體(Flash & SRAM)較多,已能完成簡單的語音,甚至低解析度的AI影像應用。


而最近一年高階MCU+NPU已陸續亮相,雖然算力通常不到0.5TOPS,但對於較複雜的AI視覺模型及應用(如物件偵測、追蹤)還是沒問題的,以下就簡單列出一些已公開的產品。


ST STM32N6(MCU+NPU)


NXP MCX-N(MCU+NPU)


Himax WE2(MCU+NPU)


Espressif ESP32-S3(CPU+DSP)


Realtek RTL8735B(MCU+NPU)


Infineon PSoC Edge(MCU+NPU)


SiFive X390(64bit RISC-V+VLEN)


2.小型AI開發軟體及平台

有了這些硬體還不夠,因為大家對AI可能還不太懂,一下子難以跨越算法的鴻溝,因此就像開車一樣,大家只要到駕訓班學一些基本操作就能上路,不用懂汽車是如何被設計出來的,所以一個容易上手的AI開發軟體工具及平台就變得很重要。


一般AI應用開發分為訓練(Training)及推論(Inference),在邊緣端只需推論就夠了。而很多常用的AI應用多半都已開源,不需重新訓練就能使用,只要適當將模型優化處理就能塞進邊緣裝置中。常見開發工具及平台簡單介紹如下。


● AI PC / 單板微電腦端工具


‧ Google:TensorFlow Lite, Teachable Machine,MediaPipe


‧ Nvidia: TensorRT


‧ Intel: OpenVINO


‧ Microsoft: Lobe


●單晶片專用型AI函式庫及編譯器


‧ ST: CubeAI (local, cloud) , NanoEdge


‧ NXP: eIQ


‧ Renesas: Reality AI


‧ Infineon: Imagimob


‧ Nordic: Atlazo


‧ TDK: Qeexo


‧ Google: TensorFlow Lite for Microcontroller


‧ Arm: CMSIS-NN, Android NN SDK, Compute Library, Vela Compiler


‧ Nuvoton: Skymizer ONNC Compiler


●通用型單晶片TinyML開發平台


Edge Impulse Studio


Quick Logic SensiML


Neuton


AI Tech. Cainvas


OctoML


3.AI小幫手及創意發想


圖三 : 微型AI常見應用例。
圖三 : 微型AI常見應用例。

在Maker眼中,創意、靈感從不缺乏,只是在有沒有動手去作,而不是只存在嘴上和心中。當你又學習到一項新工具或新技術時,如何落實到生活中才是Maker精神。回到100年前,1920年代福特汽車開始大量生產上市時,大多數人想到的是好快的車速,人類真的有辦法操控嗎?馬車真的會被取代嗎?它會不會很危險,很容易撞傷人?這些問題是否和AI世代降臨很像呢?如今大家享受著自動化生產的成果及便捷的交通工具,都是前人努力的結果。只要大家善用工具,相信AI也能成為日常不可或缺的一部份。


為了讓大家更有想像空間,這裡簡單整理了聲音、影像、環境感測、視覺及生成五大領域,不同硬體平台,數十種微型AI應用的實作案例,希望大家能舉一反三,創作出更多有趣的案例並分享給大家,那麼一起成為「AI Maker」就不再是難事了。


【Intel DevCup 2021作品集】- 實作組概念組


【Intel OpenVINO Notebooks】(含AIGC)


【Nvidia Jetson Community Projects】


【TinyML應用大全(30組案例分享)】


【Hackster.io LLM Projects】


從以上軟硬體技術及實作案例的介紹,大致可了解到完全離網,在裝置上獨立運行微型AI推論是沒有問題,以下就簡單列出幾項考慮的重點,方便大家未來設計時的參考。


‧ 感測器類型(聲音、振動、影像、環境…)


‧ 模型大小及複雜度(模型優化工具、Flash儲存參數量、SRAM計算過程變數量)


‧ 推論效能(精度、速度…)


‧ 資料傳輸方式(有線I2C/SPI/MIPI…,無線BLE/WiFi/5G…)


‧ 耗能(電池、充放電管理、睡眠…)


‧ 晶片及開發板價格


小結

2023年即將結束,各種「AI Maker世代」所需的軟硬體及開發工具也陸續到位,以上簡介只是拋磚引玉,相信這將可以再次點燃大家心中的Maker精神,重新把創意具現化,讓AI變成大家生活的小幫手,而不再是遙不可及的技術。


(本文由VMAKER授權轉載;連結原文網址


參考文獻

[1] LASS環境感測器網路系統


https://lass-net.org/


[2] 許哲豪,“TinyML應用大全(30組案例分享)”


https://hackmd.io/@OmniXRI-Jack/tinyML_30_porjects


[3] 許哲豪,“如何結合Google Colab及Intel OpenVINO來玩轉AIGC”


https://omnixri.blogspot.com/2023/12/20231209devfest-taichunggoogle.html


  相關新聞
» 研華AIoV智慧車聯網解決方案 打造智慧交通與商用車國家隊
» 資策會MIC 37th春季研討會即將登場 聚焦AI主軸探討趨勢
» MSI於2024 NAB Show展示媒體及娛樂產業適用的GPU伺服器
» 鼎新電腦串連生態系夥伴 數智驅動智慧低碳未來製造
» 微星科技攜手Discovery推動世界地球日


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.3.233.242.67
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: webmaster@ctimes.com.tw