AI運算有兩大路線，一個大型雲端服務商搶佔的生成式AI，另一個則是在終端裝置上實現的邊緣AI，而後者將會滲透入百工百業，是AI技術影響層面最大的技術。而在今年的 SEMICON Taiwan展中，工研院（ITRI）展示了旗下的邊緣AI半導體元件技術，一個是號稱全球首創的「3D客製化晶片通用模組」，另一個則是異質整合的半導體3D封裝技術，及可直接在記憶體進行運算的「記憶體內運（CIM）」。

工研院秀創新異質封裝與記憶體技術

3D通用模組 快速整合運算、儲存與RF功能

首先，「3D客製化晶片通用模組」，這是一種可依照客戶獨特的應用需求來打造的晶片模組化技術，原理是透過預製連線基板內嵌主動式切換晶片，可整合多IO、影像處理、AI運算及RF傳輸，是全球最小的開發板。

而這種模組化的設計也可以大幅縮短開發時程，讓傳統需花費數月的案子，縮短至12週，突破AIoT產品上市瓶頸。

在現場展示的應用方案，是整合了MCU（含DRAM）、FLASH與RF晶片的微型模組，它能即時傳輸前端影像鏡頭（FHD）的數據，把模型火車運行的畫面傳輸到螢幕上，帶來前所未有體驗。

異質整合持續精進 CPU直接堆疊高頻寬記憶體

至於異質整合技術，則是工研院已研發多年的「MOSAIC 3D AI晶片」技術。這是一種3D晶片堆疊的技術，其運用TSV製程，將高頻寬記憶體與處理器晶片進行連接，實現小體積、高性能的AI運算晶片。

而今年展出的方案則是與晶豪的「aiPIM」（Processing-In-Memory）及力積電合作的解決方案。該晶片由工研院提供處理器晶片，高頻寬記憶體IP則是由晶豪提供，並在力積電進行生產製造和整合。

其中，aiPIM是晶豪近期才發表新的整合式記憶體技術，是專為AI應用所開發的記憶體解決方案，aiPIM是以4層堆疊為核心，相較於主流HBM的8層或12層，雖然容量與速度與之不及，但擁有成本與功耗的優勢。

目前aiPIM支援PSRAM與LPDDR4記憶體介面，也針對目前主流的Transformer與CNN模型進行了深度優化，可加速大型語言模型（LLM）的推論與電腦視覺應用，因此更適合多元多樣化的邊緣AI裝置。

現場展示的應用，便是搭載該晶片的AI影像識別應用，其只透過一顆體積精巧的晶片便能實現當前先進智慧功能。

CIM記憶體內運算 實現超低功耗AI

另一個創新的記憶體技術，則是工研院在CIM（Computing-In-Memory）技術上的新突破。根據其比較圖表，工研院研發的CIM記憶體，其運算性能不僅逐年提升，能源效率更是屬於國際一流大廠的等級以上。

工研院指出，其CIM技術採用類比式架構，因此有更佳的功耗性能，加上其獨特的超低電壓設計，將一般晶片1至1.2伏特的製程電壓，降至0.4伏特以下。再加上抗偏移機制，讓CIM能在低電壓操作，又能達到穩定運算。

現場展示的應用則是一個超低功耗智慧喚醒驗證平台，僅仰賴一個記憶體晶片，就能對資料進行預處理和驗證喚醒的功能。