在现今专业分工的时代，很多事情不用透过自己动手作就能享受时代进步所带来的便利。大家不用自己买布作衣服，不用买食材自己下厨，家里灯不亮了，房子想重新装??一下，不用自己买电线、木材，都有专业人士可以帮忙。但是自己作手作，完成一项可以改变自己生活的事，从来就不是特定专业人士才享有的能力，只是随着时代的演进，那些父母时代才有的动手作能力及乐趣已逐渐被人们淡忘。

早在1956年瑞典知名家俱商IKEA就推出组合式家俱，让一般人也能自己 DIY (Do It Yourself) 看图组装家俱。2005年Make杂志推出，2006年Maker Faire开始推动 Maker（自造者或称创客）运动，让传统手工制作的精神加入了电子、机械、资通讯（俗称写程式）等现代科技，同时许多厂商纷纷推出相应套件、工具及软体、平台，也有许多乐於分享的人将相关技术无私开源，让更多人能享受自己动手作的乐趣。

2014年美国总统欧巴马更在白宫主持了Maker活动，并规画教育创新十年计画，编列四亿美金，培训十万名教师推动 STEM(科学Science、科技Technology、工程Engineering及数学 Mathematics)来让学生们更具动手作的能力。於是这股风潮引爆更多领域，如平价的3D印表机(3DP)、无人机(Drone)、自走车等，从此开启跨域Maker新世代。

在这股风潮下台湾Maker也不落人後，尤其在拥有强大的电子硬体及资通讯软体的能力下，2013年由中研院及LASS社群[1]共同推动下，一个蚂蚁雄兵的计画就此诞生，那就是「PM2.5空气盒子」。

大家利用很简单的PM2.5空气品质感测器加上平价的硬体、通讯模组、开源的软体及简单的外壳，最後再一起串接到共同网站就能监看全台湾的空气品质，而其整体架构刚好就是「物联网(Internet of Things, IoT)」最基本的核心技术。

由於这项技入门容易，价格不高，具教育意义，更能让老师、家长及学生一起动手作，不限是否具有电子或资通讯背景都能快速速上手，於是全民Maker的时代正式开启，陆续引爆各种创意及手作风潮。

图一 : Maker Faire Taipei [影像来源]

十年过去了，中间发生了很多事，包含知名Maker Faire差点倒掉又易主，很多Maker Space收起来，不禁让很多人觉得Maker不再是热点。但从去（2022）年及今年的Maker Faire Taipei活动来看，即便收费仍然有非常多人叁加，会场中各种创意及交流，让人觉得依旧活力十足。

不过仔细观察了一下，会发现熟面孔似??越来越少，作品的内容和往年相比似??也没有太多变化，是大家创意疲乏了吗？还是Maker精神已融入生活不再需要多说呢？难道已经没有新的火花可以重新点燃大家的热情吗？

去年11月底OpenAI发表大型语言模型(Large Language Model，LLM)ChatGPT後，短短一年就 让生成式人工智慧(AIGC) 发生翻天覆地的变化，不仅是文字创作、自然对话、影音生成，甚至直接输入影音而使用文字查询也变成不再是困难的事。一般学生及大众不需有太多操作知识，就能像面对真人一样的对谈、交办工作，彷佛科幻电影情节降临。

这一年来有赖像NVIDIA、INTEL、Microsoft、Google等软硬体公司的大力推动及各学研单位的努力，仅仅一年就让远在天边（云端）的技术，可以迅速落地（边缘），让高阶手机(Mobile)、单板微电脑(SBC)甚至高阶单晶片(MCU)也有机会玩AIGC相关应用，这也似??意味着新一波的「AI Maker世代」即将到来，各种新的创意也将遍地开花。

接下来就帮大家整理了一下有哪些硬体、软体相关技术资源可用，还有哪些创意、应用可能成为AI Maker的新宠。

1.微型AI硬体及适用范围

图二 : 微型AI常见硬体组合。

目前依运行模型大小，需选用不同算力及记忆体大小的硬体，才能满足不同的边缘型AI应用，大致可分为笔电(AI PC)、手机(SoC)、单板微电脑(MPU)及单晶片(MCU)，而为了顺利运行通常这些硬体都会搭配神经网路加速单元(Neural Network Processing Unit, NPU, 俗称AI晶片)，否则很难满足即时反应需求。

一般来说在边缘端装置要直接跑大型语言模型(LLM)还要马上有反应且不能太胡言乱语，那就要使用较大模型(1300亿或700亿个叁数, 130B或70B)，透过网路连线到云端，使用业者提供的API服务（部份免费），而边缘装置仅负责处理人机界面，输入文字、语音、影像等资料，待收到回覆後再显示文字、影像，播放声音或影片，很适合用於各种文字、影像、音乐生成等应用。这样的作法，对硬体要求不高，也不需要有NPU存在，甚至高阶MCU也都有机会能完成。常见的API服务如下所示。

· OpenAI： GPT-3.5/4, DallE2/E3

· Google： Vertex AI

· Microsoft Azure： Cognitive Service(DialoGPT)

· Amzon Web Services(AWS)： Lex

如果想要离线就能运行LLM，那模型就不能太大，通常是130亿或70亿或13亿个叁数（13B或7B或1.3B），以一个叁数1 Byte(8 bit)来看，就要有13GB或7GB的记忆体及储存空间才够用，所以有时还要透过模型优化工具将其量化、剪枝、压缩来缩小模型，才能放的进装置中运行。

但缺点就是模型越小，生成能力及正确性也会随之下降，较适合特定场域中有限回答，如智慧家庭、智慧交通、智慧健康、电商客服等。以下列举一些常见硬体。当然这些硬体算力较好，也很适合用於影像分类、物件侦测、影像分割等应用。

· AI PC：Intel Meteor Lake(14代CPU+iGPU+NPU), AMD Ryzen 8040(CPU+GPU+NPU), Apple M2(CPU+GPU+NPU), Qualcomm Snapdragon X Elite(CPU+GPU+DSP+NPU) …

· 手机平板(SoC)：Qualcomm Snapdragon 8 Gen 3, 联发科天矶9300 …

· 单板微电脑(MPU)：Nvidia Jetson Orin(CPU+GPU), Raspberry Pi 5(CPU), Rockchip RK3588(CPU+NPU), ALIF Ensemble(MPU+MCU+NPU), NXP i.MX93 (MPU+MCU+NPU), TI AM6xA(MPU+MCU+DSP+NPU) …

常见7B LLM模型：

· Meta Llama2 7B

· Taiwan-LLM-7B

· Mistral 7B

· Intel Neural-Chat-7b

· Zepyr-7B-beta

· MosaicML MPT-7B

· TAIDE 7B (国科会，台湾可信任AI对话引擎，模型尚未正式开放，现仅提供特定单位内测中)

一般Maker常用的Arduino及PRO系列，前者多半为低阶单晶片，算力及记忆体极少，较不适用微型AI，而PRO系列虽然没有NPU加持，但Arm Cortex-M4/M7/M33的内核时脉频率高，运算速度快，记忆体(Flash & SRAM)较多，已能完成简单的语音，甚至低解析度的AI影像应用。

而最近一年高阶MCU+NPU已陆续亮相，虽然算力通常不到0.5TOPS，但对於较复杂的AI视觉模型及应用（如物件侦测、追踪）还是没问题的，以下就简单列出一些已公开的产品。

· ST STM32N6(MCU+NPU)

· NXP MCX-N(MCU+NPU)

· Himax WE2(MCU+NPU)

· Espressif ESP32-S3(CPU+DSP)

· Realtek RTL8735B(MCU+NPU)

· Infineon PSoC Edge(MCU+NPU)

· SiFive X390(64bit RISC-V+VLEN)

2.小型AI开发软体及平台

有了这些硬体还不够，因为大家对AI可能还不太懂，一下子难以跨越算法的鸿沟，因此就像开车一样，大家只要到驾训班学一些基本操作就能上路，不用懂汽车是如何被设计出来的，所以一个容易上手的AI开发软体工具及平台就变得很重要。

一般AI应用开发分为训练(Training)及推论(Inference)，在边缘端只需推论就够了。而很多常用的AI应用多半都已开源，不需重新训练就能使用，只要适当将模型优化处理就能塞进边缘装置中。常见开发工具及平台简单介绍如下。

● AI PC / 单板微电脑端工具

· Google：TensorFlow Lite, Teachable Machine, MediaPipe

· Nvidia： TensorRT

· Intel： OpenVINO

· Microsoft： Lobe

●单晶片专用型AI函式库及编译器

· ST： CubeAI (local, cloud), NanoEdge

· NXP： eIQ

· Renesas： Reality AI

· Infineon： Imagimob

· Nordic： Atlazo

· TDK： Qeexo

· Google： TensorFlow Lite for Microcontroller

· Arm： CMSIS-NN, Android NN SDK, Compute Library, Vela Compiler

· Nuvoton： Skymizer ONNC Compiler

●通用型单晶片TinyML开发平台

· Edge Impulse Studio

· Quick Logic SensiML

· Neuton

· AI Tech. Cainvas

· OctoML

3.AI小帮手及创意发想

图三 : 微型AI常见应用例。

在Maker眼中，创意、灵感从不缺乏，只是在有没有动手去作，而不是只存在嘴上和心中。当你又学习到一项新工具或新技术时，如何落实到生活中才是Maker精神。回到100年前，1920年代福特汽车开始大量生产上市时，大多数人想到的是好快的车速，人类真的有办法操控吗？马车真的会被取代吗？它会不会很危险，很容易撞伤人？这些问题是否和AI世代降临很像呢？如今大家享受着自动化生产的成果及便捷的交通工具，都是前人努力的结果。只要大家善用工具，相信AI也能成为日常不可或缺的一部份。

为了让大家更有想像空间，这里简单整理了声音、影像、环境感测、视觉及生成五大领域，不同硬体平台，数十种微型AI应用的实作案例，希??大家能举一反三，创作出更多有趣的案例并分享给大家，那麽一起成为「AI Maker」就不再是难事了。

· 【Intel DevCup 2021作品集】- 实作组、概念组

· 【Intel OpenVINO Notebooks】(含AIGC)

· 【Nvidia Jetson Community Projects】

· 【TinyML应用大全（30组案例分享）】

· 【Hackster.io LLM Projects】

从以上软硬体技术及实作案例的介绍，大致可了解到完全离网，在装置上独立运行微型AI推论是没有问题，以下就简单列出几项考虑的重点，方便大家未来设计时的叁考。

· 感测器类型（声音、振动、影像、环境…）

· 模型大小及复杂度（模型优化工具、Flash储存叁数量、SRAM计算过程变数量）

· 推论效能（精度、速度…）

· 资料传输方式（有线I2C/SPI/MIPI…，无线BLE/WiFi/5G…）

· 耗能（电池、充放电管理、睡眠…）

· 晶片及开发板价格

小结

2023年即将结束，各种「AI Maker世代」所需的软硬体及开发工具也陆续到位，以上简介只是抛砖引玉，相信这将可以再次点燃大家心中的Maker精神，重新把创意具现化，让AI变成大家生活的小帮手，而不再是遥不可及的技术。

（本文由VMAKER授权转载；连结原文网址）

叁考文献

[1] LASS环境感测器网路系统

https：//lass-net.org/

[2] 许哲豪，“TinyML应用大全（30组案例分享）”

https：//hackmd.io/@OmniXRI-Jack/tinyML_30_porjects

[3] 许哲豪，“如何结合Google Colab及Intel OpenVINO来玩转AIGC”

https：//omnixri.blogspot.com/2023/12/20231209devfest-taichunggoogle.html