在不同AI运算领域中，依照市场等级的需要，大致上可以分成三种，一种是作为高性能运算中心的人工智慧、机器学习与图形处理的超高速运算与传输需求；一种是一般企业的AI伺服器、一般电脑与笔电的演算应用；另一种是一般消费电子如手机、特殊应用装置或其它边缘运算的应用。

现阶段三种等级的应用，所搭配的记忆体也会有所不同，等级越高记忆体的性能要求越高，业者要进入的门槛也越高。不过因为各类AI应用的市场需求庞大，各种记忆体的竞争也异常的激烈，不断地开发更新产品，降低成本，企图向上向下扩大应用，所以只有随时保持容量、速度与可靠度的优势才是王道。本文就以这三种等级现在最热门的记忆体发展来做说明。

AI高性能运算中心等级记忆体

搭配这种AI晶片的记忆体，毫无悬念就属HBM独占??头了。市占率达95%的Nvidia AI晶片都是以HBM系列记忆体来搭配，最新的H200 GPU以H100为基础，将原本80GB的HBM3记忆体升级为141GB的HBM3e。而竞争对手AMD同等级的MI350 AI晶片也采用HBM3e新型高频宽记忆体。紧追在後的Intel Gaudi 3 AI晶片当然也是使用HBM系列的HBM2e记忆体。HBM系列记忆体早已供不应求了。

HBM记忆体采用了3D堆叠技术和通过矽穿孔（TSV, Through-Silicon Vias）连接技术来堆叠多层晶片，这使得数据传输距离短，速度快，功耗低。这种堆叠方式和垂直连接的设计是HBM的核心技术特点。使用矽基材料并通过精密的微加工技术制造这些穿孔，以实现层与层之间的密集连接。

图一 : NVIDIA、AMD、Intel已上市的AI加速器产品及其搭配的记忆体一览

显然目前所有AI加速器都采用HBM记忆体系列，而未来将制定的DDR6和DDR7记忆体是否有机会跨入此一市场？虽然DDR6等是传统的动态随机存取记忆体（DRAM）技术的进一步演进，专为提升系统记忆体频宽和效率而设计。它们未来还是主要用於个人电脑、伺服器和一些嵌入式系统中，预计DDR6的资料传输速率可达到12.8 Gbps，而DDR7可能会更高，但这些仍主要在应付PC提升到AI PC後，对於高容量、高速度记忆体的需求。

目前市场上提供HBM技术的主要厂商包括：

SK海力士（SK Hynix）：提供HBM1、HBM2、HBM2E与HBM3产品。

三星电子（Samsung Electronics）：同样涵盖从HBM1到HBM3的产品线。

美光科技（Micron Technology）：较晚进入HBM市场，但也开始提供HBM2产品，并叁与未来更高规格的研发。

AI PC与伺服器等级的记忆体

一般电脑、笔电、伺服器、游戏主机升级为各类AI应用後，所需要的记忆体容量与频宽速率也都要扩增，AI PC和游戏机等级的AI晶片与记忆体的需求主要集中在高处理能力、高频宽、低延迟和大容量上。这些设备通常用於需求密集型的任务，如游戏渲染、机器学习、深度学习训练及推理等。这类应用需要强大的计算能力和快速的数据存取能力。

高频宽和低延迟的记忆体可以支持密集型的图形和AI计算，所需的记忆体必须具有高频宽来处理大量数据流。低延迟确保了快速响应，这对於实时游戏性能、虚拟实境、扩增实境和AI应用至关重要。大容量记忆体为了因应游戏和AI应用越来越复杂，需要更多的记忆体来存储更详细的资产和机器学习模型。

目前此一等级AI应用的记忆体仍以DDR4为主，未来配合AI应用软体与作业系统的更新，更高容量与速度的DDR5乃至於DDR6就会因应而成为主流记忆体了。至於介於AI PC与终端、边缘运算装置之间的平板电脑，则是以低功耗的LPDDR系列为主，会在下一个等级的应用里再做详细说明。

图二 : 主要的AI PC制造商及其使用的记忆体和处理器规格

消费性电子与边缘运算等级的记忆体

目前平板电脑的规格功能已经与笔电差不多了，而笔电、平板电脑，乃至於手机的设计都是以轻薄短小容易携带为主，所以都是低功耗的LPDDR为主，但为了未来AI应用的需求，更省电与效率更高的新形态记忆体也会陆续推出，LPDDR5、LPDDR6都是可以期待的应用系列，因为这些都是符合容量、速度加倍与大量生产的需求。

一般笔电、平板与手机都可以视为一种AI助手的应用来发展，主要智能化需要自身做边缘运算与大量数据传输的项目有下列几种，而这些都需要高容量、高频宽、高可靠性与低延迟的记忆体来支撑：

1.相机增强：许多智能手机使用AI来改进图像质量，包括场景识别、光线调整、人像模式等。这些功能需要AI演算法即时分析和处理图像数据，需要快速且大容量的记忆体。

2.语音助手：如Google Assistant和Siri，这些AI助手需要即时处理语音指令并作出响应，这对记忆体的响应速度和处理能力提出了高要求。

3.实时翻译：现代智能手机能够实时翻译外语对话或文字，这需要快速存取记忆体来处理语音和文字数据，并即时显示翻译结果。

4.增强现实：AR应用程序利用AI来分析用户的环境并以此来叠加数字信息。这种应用需要大量记忆体以存储复杂的3D模型和图像，同时保持快速的数据处理速度。

这些应用显示了AI技术如何推动智能笔电、平板与手机的记忆体技术创新，以满足高效能和多功能的需求。

至於嵌入式或其它边缘运算装置，需要在电池供电或低能源消耗的环境下运作，所以它们的记忆体设计必须更优化来降低功耗。除了上面LPDDR系列可供选择外，他们通常需要在更狭窄的空间来应用，所以为了减省空间与综合处理，高容量、高频宽的非挥发性的记忆体也是未来的趋势与选择，下面是可应用发展的方向：

1.磁阻随机存取记忆体（MRAM）：MRAM是一种相对较新的技术，结合了DRAM的速度和快闪记忆体的非挥发性特点。它特别适合於需要快速存取速度和数据持久性的嵌入式应用。

2.铁电随机存取记忆体（FeRAM）：FeRAM也是一种非挥发性记忆体，提供快速读写能力和高耐久性。这使得它适合於需要频繁读写操作且数据保持很重要的应用。

这两种记忆体类型在设计时需要考虑到装置的具体应用，例如处理能力、功耗限制和环境因素。其中MRAM在容量与频宽都在持续发展与突破当中，被一般业界所看好的一种未来记忆体。总之选择合适的记忆体技术可以显着提高嵌入式系统和边缘运算装置的性能和可靠性。

图三 : 恩智浦半导体(NXP)携手台积电，推出业界首款采用16奈米 FinFET技术的车用嵌入式磁阻式随机存取记忆体（MRAM）。（source：NXP）

嵌入式系统与边缘运算的智能化应用在未来拥有广大且创新的市场，在跨领域的专业用途上，记忆体产业也会随之扩大市场应用，当在某一个领域达到一定规模之後，专门特殊规格的记忆体也可能因应而生，以下就是一些应用案例：

1.智能摄像头：在安全监控或智能家居系统中，边缘装置需要即时分析视频数据来进行物体识别或异常行为检测，这要求记忆体能够快速处理和存储大量数据。

2.无人驾驶汽车：在自动驾驶系统中，嵌入式装置需即时处理来自雷达、摄像头和其他感测器的数据，以实现对周围环境的快速反应。这类应用对记忆体的速度和可靠性要求非常高。

3.可穿戴设备：如智能手表或健康监测设备，它们需要在极小的空间内储存和处理数据，同时保持低功耗以延长电池寿命。

4.工业自动化：在工厂自动化中，边缘计算设备可用於实时监控生产线，识别潜在的机械故障或优化生产流程，这些装置通常需要在恶劣环境下运作，且记忆体需具备高可靠性。

这些应用案例显示，随着AI技术的进步和应用范围的扩大，嵌入式和边缘运算装置的记忆体技术也在不断进化以满足新的需求。

结语

AI运算平台可分为三种等级，而其搭配的记忆体效能也有所差别，主要就是为了满足运算的需求，以及特殊领域的专门用途。但AI记忆体应用有其一致性的原则，为了不同等级开发的记忆体，也都可能向下或向上发展来扩充其市场应用，同时运算系统也不断在更新发展，不同种类的记忆体、不同世代的记忆体，也都可以交互使用。例如第一代的HBM，转而给一般伺服器PC来使用，以增强其机器学习的应用。但若意图以同一种类的记忆体来供应所有市场的需求，这也是不可能办到的事，预料未来记忆体仍将持续地百花齐放。