就人工智慧(AI)裝置的硬體來看,關鍵的零組件共有四大塊,分別是邏輯運算、記憶體、PCB板、以及散熱元件。他們扮演著建構穩定運算處理的要角,更是使用者體驗能否優化的重要輔助。而隨著AI大勢的來臨,台灣業者也已做好準備,準備在這些領域上大展拳腳。
邏輯元件扮樞紐 台灣IC設計有商機
對整個AI運算來說,最關鍵就屬於核心處理元件的部分。儘管台灣沒有強大的CPU與GPU技術供應商,但在AI ASIC晶片設計服務與IP供應方面,則是擁有不少的業者,而且其中不乏領頭羊的先進業者。
在AI ASIC晶片設計方面,台灣主要提供客製化的AI晶片設計服務(NRE)、矽智財(IP)、SoC設計,以及相關系統整合與生產等服務。主要的業者包含晶心科技、世芯-KY、智原科技、創意電子、聯詠科技與凌陽科技等。
表一:台灣主要的AI晶片設計服務商
廠商名稱
|
AI技術服務
|
晶心科技(Andes)
|
RISC-V核心IP授權、SoC設計
|
世芯-KYN(AIChip)
|
AI晶片設計服務 (NRE)、系統整合、SoC設計
|
智原科技 (Faraday)
|
AI晶片設計服務 (NRE)、IP授權、SoC設計
|
創意電子 (GUC)
|
AI晶片設計服務 (NRE)、IP授權、系統整合
|
聯詠科技(Novatek)
|
AI晶片設計服務 (NRE) 、SoC設計 (影像處理)
|
凌陽科技 (Sunplus)
|
AI晶片設計服務 (NRE)、SoC設計 (影音處理)
|
以世芯-KY為例,由於龐大的AI市場需求,該公司的先進AI ASIC設計業務已有十分耀眼的成長,尤其是在雲端伺服器的應用上。世芯總經理沈翔霖在今年第一季的法說會就指出,世芯-KY業績將會有很強勢的成長,且將續創新高。
目前世芯-KY最主要的客戶就是雲端服務大廠AWS,該公司的雲端伺服器的處理晶片多數交由世芯-KY來設計,並由台積電進行生產製造,晶片的節點製程也高達5/3奈米。
至於IC設計服務商智原科技與創意電子,也正積極發展AI晶片的設計,以回應市場與客戶的需求。在智原方面,近期已加入Arm Total Design的設計服務合作夥伴,來提供創新的先進雲端、HPC和AI晶片。日前更宣布,攜手ARM與英特爾,共同開發基於英特爾18A製程的64核SoC,布局大規模數據中心、邊緣基礎架構和先進5G網路應用。
至於創意電子,近期則是在高速傳輸技術頗有斬獲。該公司日前宣布,已順利設計定案 8.6Gbps HBM3 控制器、實體層與GLink 2.3LL的測試晶片,將可運用在AI、HPC/xPU及網路應用。此測試晶片同樣採用台積電 3 奈米製程,並以台積電 CoWoS技術封裝。
晶心科技則是台灣的RISC-V核心供應商,過往已經智慧物聯裝置上有十分卓越的表現,近幾年也切入AI雲端伺服器的市場,並獲得Meta(Facebook母公司)的青睞,將其核心運用在自行開發AI晶片中,用來加速模型訓練與推論。
值得注意的是,台灣的IC設計服務業者除了本身的技術十分傑出外,更與台灣的半導體製造業與封裝業者緊密合作,包含台積電、聯電、力積與日月光等,能夠提供從設計到量產的一條龍服務,這也是目前全球鮮見的半導體生態系統。
總結來說,台灣的IC設計服務與IP產業在AI應用上的發展正如火如荼的進行,主要有以下四點:
1.AI晶片設計服務:
‧ 台灣IC設計服務公司積極投入AI晶片設計,提供從架構設計、演算法開發到晶片驗證的完整服務。
‧ 與國際大廠合作,參與AI晶片開發,提升技術能力並拓展市場。
2.AI加速器IP開發:
‧ 開發各種AI加速器IP,如神經網路加速器、電腦視覺加速器等,提供給IC設計公司使用。
‧ 這些AI加速器IP可以大幅提升AI運算效能,縮短產品開發時程。
3.AI應用領域拓展:
‧ 積極拓展AI應用領域,如智慧醫療、智慧製造、智慧城市等。
‧ 透過提供客製化的AI晶片與IP解決方案,協助客戶實現各種AI應用。
4.AI生態系建立:
‧ 台灣IC設計服務與IP產業積極參與AI生態系建立,與上下游廠商合作,共同推動AI產業發展。
‧ 台灣在半導體產業鏈上的完整性,有助於建立完整的AI生態系。
圖一 : AWS的AI晶片就由台灣業者設計製造。(source:AWS) |
|
HPC需求節節高升PCB板與散熱元件成要角
AI應用為台灣PCB板卡業帶來了新的發展機遇,最主要就是受惠於生成式AI的運算需求,讓AI伺服器成為PCB板卡商的新藍海。這類型的伺服器是屬於高階、高價值的PCB終端應用,因此製程技術門檻高,同時產品的單價也高,成為目前台灣PCB產業積極進軍的領域。
就技術端來看,由於AI伺服器皆搭載高性能的處裡核心,以及針對AI運算加速的GPU與AI晶片,這篇處理晶片組都採用特殊的布線與導線架,因此對於所用的PCB規格也有不同的需求。而其中最主要的就是ABF載板及HLC需求增加。 AI伺服器推升ABF載板和高多層板(HLC)的需求,成為PCB產業少數的成長亮點。
AI伺服器PCB的技術發展
有別於以往的運算架構與環境,AI伺服器也需有新的PCB板卡技術來支持,以下就是幾個PCB板技術的發展趨勢:
‧ ABF載板朝高層數、大面積發展: AI算力需求提升,推動ABF載板朝高層數與大面積發展,良率為載板廠獲利關鍵。
‧ PCB板朝高密度、多層化發展: 伺服器平台升級,PCB板朝布線更多、更密集,及更多層數發展,例如從10層以下增加到16層以上。
‧ PCB板高速傳輸需求提升: 平台升級帶動PCB板高速傳輸需求,銅箔基板等級也從Mid-Loss升級至Low Loss、與Ultra Low Loss。
圖二 : AI算力需求提升,推動ABF載板朝高層數與大面積發展。(source:Unimicron) |
|
台灣AI伺服器PCB板供應商概況
而台灣有許多PCB板卡供應商在AI領域扮演重要角色,包含欣興電子 (Unimicron)、金像電子 ( Kinsus Interconnect)、華通電腦 ( Compeq Manufacturing)、南電 (Nan Ya PCB)、景碩科技 ( Kinsus Interconnect )、瀚宇博德與臻鼎科技等。
其中欣興電子布局AI伺服器有成,目前已是NVIDIA的主要供應商之一,並在ABF載板技術方面有領先地位;金像電子是台灣最大的PCB製造商之一,專注於高階伺服器PCB板,包括AI伺服器用板,而在AI大勢驅動之下,業績呈現逐步成長的局面。
至於華通電腦是HDI板龍頭廠商,專門提供AI伺服器所需的高密度連接板;
而南電主要生產BT載板,在ABF載板技術上也有所布局,並也陸續發展AI伺服器的業務;景碩同樣也以BT載板為主要的產品,但近年來積極投入ABF載板開發,以回應市場對於AI伺服器的需求。
同樣受惠於AI伺服器需求的,則是散熱元件供應商。主要的原因,就是AI伺服器的運算能力強大,散熱需求也大幅提升,是整體效能能否穩定發揮的關鍵所在。由於AI伺服器搭載大量高效能運算晶片,例如GPU、TPU等,且需進行複雜的AI運算。當這些晶片在高負載運算時會產生大量熱能,若無法有效散熱,將導致晶片過熱,影響運算效能,甚至造成硬體損壞,也因此需要搭配更效能的散熱模組和元件。
另一方面,過高的溫度也會影響AI伺服器的穩定性,導致系統當機或運算錯誤。因此高效能的散熱元件能確保AI伺服器在長時間高負載運算下保持穩定運作。再者,優異的散熱元件也有助於延長硬體壽命,良好的散熱系統能降低晶片的工作溫度,延長硬體壽命,降低維護成本。
而在環保節能的要求之下,高效能散熱元件能更有效地將熱量排出,進而減少能源消耗,提升AI伺服器的能源效率,符合節能減碳的趨勢。
AI伺服器散熱技術發展趨勢
也由於AI伺服器對散熱性能有不同以往的要求,因此也刺激了散熱技術開始出現新的發展趨勢,以下就是三種主要的技術進展:
‧ 從氣冷走向液冷: 傳統的氣冷散熱技術已無法滿足AI伺服器的高散熱需求,因此液冷散熱技術逐漸成為主流。液冷散熱效率更高,能更有效地帶走晶片產生的熱量。
‧ 浸沒式液冷技術: 將整個伺服器浸泡在特殊的冷卻液中,直接接觸所有發熱元件,提供更均勻、高效的散熱效果。
‧ 複合式散熱方案: 結合氣冷、液冷、均溫板等多種散熱技術,針對不同發熱元件提供最佳散熱方案。
圖三 : 從氣冷走向液冷是AI伺服散熱技術的重要趨勢。圖為工研院的液體伺服散熱系統。(source:ITRI) |
|
台灣AI散熱元件概況
從PC產業起家,並一路拓展至伺服器應用,目前台灣已擁有完整的散熱產業供應鏈,從上游的材料、零組件到下游的模組組裝,且具備一定的競爭力。尤其是在散熱技術方面,台灣廠商擁有相當的競爭力,在長期的研發投入下,已擁有多項專利和技術優勢。再者台灣業者的客製化能力強,能夠根據客戶需求,提供客製化的散熱解決方案。
目前台灣主要散熱元件供應商包含雙鴻、超眾、奇鋐、建準 與泰碩。總結來說,高效能散熱元件是AI伺服器不可或缺的一部分,能確保其穩定性、效能和壽命,同時提升能源效率。隨著AI技術的發展,散熱技術也將持續演進,以滿足未來更高階AI伺服器的散熱需求。
處理器與記憶體推動AI浪潮
在當今科技發展的浪潮中,人工智慧(AI)已成為推動創新的關鍵力量。AI的應用範圍廣泛,從智慧手機、自動駕駛汽車到數據中心,無不依賴於先進的處理晶片與記憶體元件。這些元件不僅是AI系統的核心,更是實現高速運算與大量數據處理的基石。
處理晶片,如CPU和GPU,是AI運算的大腦,負責執行複雜的演算法和模型。隨著AI模型的日益複雜,對處理晶片的性能要求也隨之提高。例如,聯發科技推出的AI處理晶片,以其高效能和低功耗的特性,正逐漸成為智慧裝置中不可或缺的部分。耐能則以其創新的AI晶片KL730,提供了強大的運算能力和能效比,驅動輕量級GPT解決方案的大規模應用。而鑫創智慧則以其AI晶片在能效上的突破,成功擊敗國際大廠,展現了台灣企業在AI晶片領域的競爭力。
記憶體元件,如DRAM和Flash記憶體,則負責儲存和快速存取數據。在AI應用中,記憶體的速度和容量直接影響整體系統的效能。華邦電子和旺宏都積極開發針對AI市場的記憶體解決方案,以滿足市場對高速和大容量記憶體的需求。鈺創則推出了MemoriaLink高效AI記憶體平台,提供了一個整合硬體和軟體的解決方案,以加速AI應用的開發和部署。
聯發科聚焦AI體驗 打造旗艦級處理平台
在AI處理器領域,聯發科技與輝達合作開發了基於Arm架構的AI PC處理器,這是一個重大的突破,因為它將AI的運算能力帶到了個人電腦領域。
近期聯發科發表了天璣9300+旗艦處理器,這是一款專為AI訓練大模型而設計的行動處理器。天璣9300+的CPU配置包括一個3.40GHz Cortex-X4超大核心、三個2.85GHz Cortex-X4大核心,以及四個2.00GHz Cortex-A720效能核心,這樣的組合使其在運算過程中更加迅捷。它還內建了12核心Immortalis-G720 GPU,能夠執行多款AI大模型。
聯發科的這些進展不僅提升了AI處理器的性能,也為開發者和使用者提供了更佳的AI體驗。例如,天璣9300+支援廣泛的大型語言模型(LLM),並整合了LoRA技術,這使得生成式AI應用的開發和部署變得更加容易。
耐能科技解決邊緣AI三大問題
耐能科技推出了KL730 AI晶片,這款晶片在能效方面取得了顯著進步,相比以往的產品提升了3至4倍的能效。KL730提供每秒0.35至4 tera的有效計算能力,支持最先進的輕量級GPT大語言模型,如nanoGPT等。
KL730晶片的技術優勢在於其高能效輕量級可重構神經網路架構,這解決了邊緣AI設備所面臨的三個主要問題:延遲、安全性和成本。此外,該晶片整合了車規級NPU和影像訊號處理器(ISP),使其能夠在各種應用場景中,如邊緣伺服器、智能家居及汽車輔助駕駛系統等,提供安全且低能耗的AI能力。
耐能科技的KL730晶片還具有多通道介面,可以無縫接入圖像、視頻、音頻和毫米波等各種數字訊號,支持多種產業的人工智慧應用開發。
鑫創智慧打造低能耗、高性能AI加速晶片
鑫創智慧(NEUCHIPS)最近在MLPerf v3.0 AI推論效能基準測試中,公布了其RecAccel N3000 AI加速器的測試數據,該數據在伺服器領域的能源效率上超越了NVIDIA。這項成就不僅展現了鑫創智慧在技術上的突破,也展現了其對於環境友好解決方案的承諾。
鑫創智慧的AI晶片在低耗能上的優勢得到了國際認證,其每瓦可處理1,060次查詢的能效是對手NVIDIA H100的1.7倍,這一成績在資料中心系統領域中位居榜首。這一突破源自於公司在邊緣AIoT領域的投入,該領域對省電的要求極高。
此外,鑫創智慧的AI晶片採用台積電7奈米製程生產,這不僅保持了超低功耗,也大幅降低了記憶體需求,這些特色使其在AI時代下的電腦升級AI規格中佔有一席之地。該公司的AI晶片主打推薦模型應用,可加速資料中心、社群平台的推薦模型效能,並已完成工程驗證,陸續開發客戶中。
鎖定邊緣AI應用 華邦推出創新記憶體方案
華邦電子在AI記憶體領域推出了創新的CUBE架構,這是一種專為邊緣AI運算設計的記憶體解決方案,目的在提供超高頻寬和低功耗的記憶體技術。
CUBE架構利用3D堆疊技術和異質鍵合技術(hybrid bonding),能夠提供單顆256Mb至8Gb的高頻寬低功耗記憶體。這種記憶體技術特別適用於那些需要高效能運算能力的AI應用,如穿戴設備、邊緣伺服器設備、監控設備、ADAS及協作機器人等。
CUBE的主要特點包括節省電耗、更好的性能和較小的尺寸。例如,CUBE提供的電源效率極高,功耗效能低於1pJ/bit,這有助於延長執行時間並優化能源使用。
華邦電子的這些進展不僅提升了AI記憶體的性能,也為開發者和使用者提供了更佳的AI體驗。隨著AI技術的不斷進步,華邦電子無疑將繼續在全球半導體市場中扮演重要角色,推動AI技術的發展和應用。此外,華邦還正在積極與合作夥伴公司合作建立3DCaaS平台,該平台將進一步發揮CUBE的能力。
著眼CIM技術 旺宏為AI打造全新記憶體產品
旺宏電子為AI應用量身打造了FortiXTM系列3D NAND/NOR快閃記憶體,這些記憶體不僅提供高儲存容量和穩定品質,還兼具儲存及運算功能,支援即時資料處理、高傳輸頻寬與低功耗。
FortiXTM系列產品具備記憶體內搜尋(In-Memory Search;IMS)與記憶體內運算(Computing-In-Memory;CIM)功能,這些功能是兼有數位與類比架構的運算功能,能夠大量減少記憶體與CPU/GPU之間的資料傳輸,進而提升速度、降低功耗,並降低整體系統成本。
FortiXTM的IMS功能可以直接從記憶體的既存資料中進行資料搜尋與比對,支援平行輸入,而CIM功能則可在深度神經網路(DNN)推論任務中,執行所需的MAC運算。這些功能使得FortiXTM系列產品在AI應用中,特別是需要快速資料處理和高速傳輸的場景中,具有顯著優勢。
此外,旺宏電子與IBM合作,將其相變化記憶體(PCM)產品應用在IBM的新類比AI晶片上。
鈺創整合子公司技術 打造AI次系統
鈺創科技致力於AI技術的研發,特別是在機器視覺感測、邊緣運算以及隱私保護等方面的應用。鈺創科技開發「AI+」次系統方案,這些方案包括室外機器人在農業的創新應用、服務型機器人的領先技術、內視鏡市場的AI+創新以及新興視訊會議方案的推進。
鈺創科技的子公司eYs3D透過邊緣運算引擎eCV系統晶片,提供了創新的「AI+」次系統方案,這些方案已經在多個領域實現了AI的創新。
在產品進展方面,鈺創科技推出了全新平台MemoraiLink,這是一個整合記憶體與記憶體控制器支援系統晶片AI SoC平台。MemoraiLink原本僅限集團內部使用,現在將正式對外開放,使合作夥伴在前期導入設計時,即能以高效開發創新AI終端應用。該平台提供多樣化的記憶體選擇,滿足SoC設計的容量和頻寬需求,並結合鈺創擅長的異質整合,進一步優化SoC的整體性能和成本。
圖六 : 圖為使用鈺創MemoraiLink平台的鈺群科技EJ523D影音擷取IC |
|
結語
從處理晶片到記憶體技術,再到PCB與散熱元件等,台灣在整個AI關鍵元件上的術上不斷推動創新,並為AI應用提供強大的支持。台灣半導體廠商如聯發科、耐能、鑫創智慧等在AI處理晶片方面的創新,以及華邦、旺宏、鈺創等在記憶體技術上的進步,將持續推動AI技術的發展。
目前台灣已在全球半導體市場中占有一席之地,未來將進一步鞏固其市場地位,特別是在AI和5G等高成長領域。而跨領域的合作,如與車輛製造商、醫療設備公司和農業技術企業的合作,將開啟新的市場機會。展望未來,台灣在AI領域充滿機遇,但也面臨挑戰。透過持續的技術創新、市場開拓、人才培養和國際合作,台灣有望在AI時代扮演更加重要的角色。