在不同AI運算領域中，依照市場等級的需要，大致上可以分成三種，一種是作為高性能運算中心的人工智慧、機器學習與圖形處理的超高速運算與傳輸需求；一種是一般企業的AI伺服器、一般電腦與筆電的演算應用；另一種是一般消費電子如手機、特殊應用裝置或其它邊緣運算的應用。

現階段三種等級的應用，所搭配的記憶體也會有所不同，等級越高記憶體的性能要求越高，業者要進入的門檻也越高。不過因為各類AI應用的市場需求龐大，各種記憶體的競爭也異常的激烈，不斷地開發更新產品，降低成本，企圖向上向下擴大應用，所以只有隨時保持容量、速度與可靠度的優勢才是王道。本文就以這三種等級現在最熱門的記憶體發展來做說明。

AI高性能運算中心等級記憶體

搭配這種AI晶片的記憶體，毫無懸念就屬HBM獨占鰲頭了。市占率達95%的Nvidia AI晶片都是以HBM系列記憶體來搭配，最新的H200 GPU以H100為基礎，將原本80GB的HBM3記憶體升級為141GB的HBM3e。而競爭對手AMD同等級的MI350 AI晶片也採用HBM3e新型高頻寬記憶體。緊追在後的Intel Gaudi 3 AI晶片當然也是使用HBM系列的HBM2e記憶體。HBM系列記憶體早已供不應求了。

HBM記憶體採用了3D堆疊技術和通過矽穿孔（TSV, Through-Silicon Vias）連接技術來堆疊多層晶片，這使得數據傳輸距離短，速度快，功耗低。這種堆疊方式和垂直連接的設計是HBM的核心技術特點。使用矽基材料並通過精密的微加工技術製造這些穿孔，以實現層與層之間的密集連接。

圖一 : NVIDIA﹑AMD﹑Intel已上市的AI加速器產品及其搭配的記憶體一覽

顯然目前所有AI加速器都採用HBM記憶體系列，而未來將制定的DDR6和DDR7記憶體是否有機會跨入此一市場？雖然DDR6等是傳統的動態隨機存取記憶體（DRAM）技術的進一步演進，專為提升系統記憶體頻寬和效率而設計。它們未來還是主要用於個人電腦、伺服器和一些嵌入式系統中，預計DDR6的資料傳輸速率可達到12.8 Gbps，而DDR7可能會更高，但這些仍主要在應付PC提升到AI PC後，對於高容量、高速度記憶體的需求。

目前市場上提供HBM技術的主要廠商包括：

SK海力士（SK Hynix）：提供HBM1、HBM2、HBM2E與HBM3產品。

三星電子（Samsung Electronics）：同樣涵蓋從HBM1到HBM3的產品線。

美光科技（Micron Technology）：較晚進入HBM市場，但也開始提供HBM2產品，並參與未來更高規格的研發。

AI PC與伺服器等級的記憶體

一般電腦、筆電、伺服器、遊戲主機升級為各類AI應用後，所需要的記憶體容量與頻寬速率也都要擴增，AI PC和遊戲機等級的AI晶片與記憶體的需求主要集中在高處理能力、高頻寬、低延遲和大容量上。這些設備通常用於需求密集型的任務，如遊戲渲染、機器學習、深度學習訓練及推理等。這類應用需要強大的計算能力和快速的數據存取能力。

高頻寬和低延遲的記憶體可以支持密集型的圖形和AI計算，所需的記憶體必須具有高頻寬來處理大量數據流。低延遲確保了快速響應，這對於實時遊戲性能、虛擬實境、擴增實境和AI應用至關重要。大容量記憶體為了因應遊戲和AI應用越來越複雜，需要更多的記憶體來存儲更詳細的資產和機器學習模型。

目前此一等級AI應用的記憶體仍以DDR4為主，未來配合AI應用軟體與作業系統的更新，更高容量與速度的DDR5乃至於DDR6就會因應而成為主流記憶體了。至於介於AI PC與終端、邊緣運算裝置之間的平板電腦，則是以低功耗的LPDDR系列為主，會在下一個等級的應用裡再做詳細說明。

圖二 : 主要的AI PC製造商及其使用的記憶體和處理器規格

消費性電子與邊緣運算等級的記憶體

目前平板電腦的規格功能已經與筆電差不多了，而筆電、平板電腦，乃至於手機的設計都是以輕薄短小容易攜帶為主，所以都是低功耗的LPDDR為主，但為了未來AI應用的需求，更省電與效率更高的新形態記憶體也會陸續推出，LPDDR5、LPDDR6都是可以期待的應用系列，因為這些都是符合容量、速度加倍與大量生產的需求。

一般筆電、平板與手機都可以視為一種AI助手的應用來發展，主要智能化需要自身做邊緣運算與大量數據傳輸的項目有下列幾種，而這些都需要高容量、高頻寬、高可靠性與低延遲的記憶體來支撐：

1.相機增強：許多智能手機使用AI來改進圖像質量，包括場景識別、光線調整、人像模式等。這些功能需要AI演算法即時分析和處理圖像數據，需要快速且大容量的記憶體。

2.語音助手：如Google Assistant和Siri，這些AI助手需要即時處理語音指令並作出響應，這對記憶體的響應速度和處理能力提出了高要求。

3.實時翻譯：現代智能手機能夠實時翻譯外語對話或文字，這需要快速存取記憶體來處理語音和文字數據，並即時顯示翻譯結果。

4.增強現實：AR應用程序利用AI來分析用戶的環境並以此來疊加數字信息。這種應用需要大量記憶體以存儲複雜的3D模型和圖像，同時保持快速的數據處理速度。

這些應用顯示了AI技術如何推動智能筆電、平板與手機的記憶體技術創新，以滿足高效能和多功能的需求。

至於嵌入式或其它邊緣運算裝置，需要在電池供電或低能源消耗的環境下運作，所以它們的記憶體設計必須更優化來降低功耗。除了上面LPDDR系列可供選擇外，他們通常需要在更狹窄的空間來應用，所以為了減省空間與綜合處理，高容量、高頻寬的非揮發性的記憶體也是未來的趨勢與選擇，下面是可應用發展的方向：

1.磁阻隨機存取記憶體（MRAM）：MRAM是一種相對較新的技術，結合了DRAM的速度和快閃記憶體的非揮發性特點。它特別適合於需要快速存取速度和數據持久性的嵌入式應用。

2.鐵電隨機存取記憶體（FeRAM）：FeRAM也是一種非揮發性記憶體，提供快速讀寫能力和高耐久性。這使得它適合於需要頻繁讀寫操作且數據保持很重要的應用。

這兩種記憶體類型在設計時需要考慮到裝置的具體應用，例如處理能力、功耗限制和環境因素。其中MRAM在容量與頻寬都在持續發展與突破當中，被一般業界所看好的一種未來記憶體。總之選擇合適的記憶體技術可以顯著提高嵌入式系統和邊緣運算裝置的性能和可靠性。

圖三 : 恩智浦半導體(NXP)攜手台積電，推出業界首款採用16奈米 FinFET技術的車用嵌入式磁阻式隨機存取記憶體（MRAM）。（source：NXP）

嵌入式系統與邊緣運算的智能化應用在未來擁有廣大且創新的市場，在跨領域的專業用途上，記憶體產業也會隨之擴大市場應用，當在某一個領域達到一定規模之後，專門特殊規格的記憶體也可能因應而生，以下就是一些應用案例：

1.智能攝像頭：在安全監控或智能家居系統中，邊緣裝置需要即時分析視頻數據來進行物體識別或異常行為檢測，這要求記憶體能夠快速處理和存儲大量數據。

2.無人駕駛汽車：在自動駕駛系統中，嵌入式裝置需即時處理來自雷達、攝像頭和其他感測器的數據，以實現對周圍環境的快速反應。這類應用對記憶體的速度和可靠性要求非常高。

3.可穿戴設備：如智能手表或健康監測設備，它們需要在極小的空間內儲存和處理數據，同時保持低功耗以延長電池壽命。

4.工業自動化：在工廠自動化中，邊緣計算設備可用於實時監控生產線，識別潛在的機械故障或優化生產流程，這些裝置通常需要在惡劣環境下運作，且記憶體需具備高可靠性。

這些應用案例顯示，隨著AI技術的進步和應用範圍的擴大，嵌入式和邊緣運算裝置的記憶體技術也在不斷進化以滿足新的需求。

結語

AI運算平台可分為三種等級，而其搭配的記憶體效能也有所差別，主要就是為了滿足運算的需求，以及特殊領域的專門用途。但AI記憶體應用有其一致性的原則，為了不同等級開發的記憶體，也都可能向下或向上發展來擴充其市場應用，同時運算系統也不斷在更新發展，不同種類的記憶體、不同世代的記憶體，也都可以交互使用。例如第一代的HBM，轉而給一般伺服器PC來使用，以增強其機器學習的應用。但若意圖以同一種類的記憶體來供應所有市場的需求，這也是不可能辦到的事，預料未來記憶體仍將持續地百花齊放。