根据IDC最新研究，2024年在疫情影响逐步趋缓下，终端市场回稳，加上资料中心对人工智慧（AI）训练与推论的需求带动记忆体提升，整体应用及库存水准皆开始正常化，连带带动2024第一季整合元件制造（IDM）市场的发展，而其中高频宽记忆体（HBM）扮演重要角色。

高频宽记忆体的需求不断成长，价格比传统记忆体高出四到五倍，也进一步压缩到终端市场的DRAM产能促使DRAM价格提升，使得总体记忆体市场营收大幅成长。同时，AI PC以及AI智慧型手机逐步释出市场，其所需要的记忆体内容较传统装置增加，也带动记忆体整体市场发展。

人工智慧伺服器对运算能力的快速成长，顺势带动了高频宽记忆体的需求，为记忆体部门带来许久未见的成长动能。SEMI指出，爆炸性的AI技术落地风潮需要HBM堆叠配置更加紧密，每个HBM现已可整合8到12个晶粒，这也正是为什麽许多DRAM市场领导厂商正不断增加 HBM/DRAM领域的投资。DRAM产能2024年和2025年都将出现9％的成长；相较之下，3D NAND市场的复苏较为缓慢， 2024年产能不会上升，2025年则有5％的涨幅。

在边缘装置中人工智慧应用兴起影响下，主流智慧型手机DRAM容量也将从8GB增至12GB，而配备人工智慧助理的笔记型电脑则有至少16GB DRAM的需求，人工智慧拓展至边缘装置可??进一步带动DRAM需求往上爬升。

图一 : HBM3 Gen2架构图（美光科技提供）

HBM

高频宽记忆体（High Bandwidth Memory；HBM）是一种基於3D堆叠技术的高效能DRAM。它由三星电子、AMD和SK海力士共同开发，目的在满足高记忆体频宽需求的应用，如GPU、网路交换装置等。HBM的设计使其能够提供比传统DRAM更高的频宽和更低的功耗。

HBM透过3D堆叠架构，将多层DRAM晶片垂直堆叠，并使用矽穿孔（TSV）技术进行连接，实现高频宽和高容量。其频宽远高於传统DRAM，这使得它能够快速传输大量数据。而由於其高效的设计，HBM在提供高性能的同时，能够保持较低的功耗。

现阶段AI模型需要处理大量数据，HBM的高频宽特性使得数据传输速度大幅提升，加快了AI处理器与记忆体之间的通讯速度。另外随着AI模型（如大语言模型）的叁数量增加，对记忆体频宽和容量的需求也随之增加。HBM能够提供足够的频宽和容量，支持更大、更复杂的AI模型进行训练。而HBM的设计缩短了数据路径，减少了数据传输的延迟，这对於需要即时处理数据的AI应用尤为重要。

除了AI伺服器之外，HBM还广泛应用於高效能运算（HPC）、图形处理、网路设备等领域。当然随着AI技术的发展，HBM在AI运算中的地位将变得越来越重要。HBM的3D堆叠技术主要通过以下几个步骤实现：

矽穿孔技术

矽穿孔（Through-Silicon Via；TSV）是HBM 3D堆叠技术的核心。TSV技术在每层DRAM晶片上钻出微小的垂直孔，并填充导电材料（如铜），以实现层与层之间的电气连接。

微凸块焊锡连接

在每层DRAM晶片的表面，使用微凸块焊锡（Microbump）技术进行连接。这些微小的焊锡凸块能够确保每层晶片之间的稳定电气连接。

矽中介层

HBM晶片堆叠在一个矽中介层（Silicon Interposer）上，这个中介层负责将HBM与CPU或GPU等核心元件连接起来。矽中介层上有许多细小的导线，能够实现高频宽的数据传输。

精密对齐与封装

在堆叠过程中，每层DRAM晶片需要精确对齐，确保TSV和微凸块能够正确连接。这需要高度精密的制造技术和设备。

散热管理

由於多层晶片堆叠会产生大量热量，因此需要有效的散热解决方案。通常会在堆叠结构中加入散热材料或设计特殊的散热通道，以确保晶片在高效运行时不会过热。

HBM的3D堆叠技术尽管带来了高频宽和低功耗的优势，但在实现过程中也面临多项挑战。其多层DRAM晶片需要高度精准地堆叠在一起，确保每层晶片的对准精度非常高，以避免电气性能损失。这需要极高的制造技术水准。而TSV技术涉及在每层晶片上钻出垂直通孔，并在通孔内填充导电材料。这需要精密的刻蚀和填充技术，稍有不慎就可能导致电气连接或热应力问题。

另外，HBM的封装需要将晶片、基板和散热材料等多种材料整合，并配合各材料的热膨胀系数，避免热膨胀差异导致机械应力和晶片损坏。封装的可靠性也需要确保，包括抗机械冲击、热??圈和电迁移等。

由於HBM是3D堆叠结构，单位体积的热量密度更高，导致晶片热量难以散发，可能引发热失效。需要高效的热管理方案，如先进的散热材料和结构设计，以确保晶片的热稳定性。HBM也需要高频宽传输，对电源分配网路有极高要求，任何杂讯都可能影响HBM性能，导致传输错误。高速数据传输对讯号完整性也是挑战，需要确保高频环境中的讯号传输完整性。

技术比较

接着来比较几种不同HBM之间的差异。HBM3的传输速度最高可达6.4 Gbps，频宽可达819 GB/s。每个HBM3模组的容量可达16 GB。HBM3采用了16层堆叠技术，并且使用了先进的2.5D/3D封装技术。主要应用於AI训练、图形处理和高效能运算（HPC）等领域。

HBM3E在频宽和容量上相较於HBM3有显着提升。它能提供高达1280 GB/s的频宽，并且单颗记忆体的容量可达36 GB。HBM3E也采用了更先进的制程技术和封装技术，这使得它在性能和能效方面都有所提升。在应用场景方面，HBM3E主要应用於AI伺服器、高效能运算（HPC）和自驾车等领域。

HBM4是新一代的HBM记忆体，预计将在2026年推出，频宽将达到2048位元，这将使其频宽和容量大幅提升。HBM4将采用16层堆叠技术，并使用12奈米逻辑制程技术，这将使其在性能和能效方面有显着提升。此外，HBM4也采用了新的混合键合技术，同时保持记忆体堆叠的完整性。HBM4将主要应用於未来的AI处理器和高效能运算市场，并且将更注重定制化需求。

主要技术发开商

目前，主要发展HBM（高频宽记忆体）的厂商包括SK海力士、三星电子，以及美光科技。在2023年，SK海力士的市场占有率超过50%，是HBM市场的领导者。三星电子也是HBM技术的重要叁与者，积极扩产以追赶市场需求。美光科技在HBM市场中也占有一席之地，并且依靠技术优势来争取更多市场份额。这些厂商不仅在传统DRAM记忆体市场中占有重要地位，目前也积极投入研发最新的HBM技术及量产。

美光科技

图二 : Sk Hynix最新的HBM3E记忆体晶片。

美光科技在HBM（高频宽记忆体）领域的技术进展方面，目前美光的HBM3E记忆体采用了8层和12层堆叠技术，这些记忆体晶片基於1β（1-beta）技术，能够在更小的尺寸内提供24GB或36GB的容量。HBM3E的记忆体频宽超过1.2 TB/s，Pin速度超过9.2 Gb/s，功耗比竞争对手低30%。这得益於先进的CMOS技术和多达2倍的TSV（矽穿孔）技术。

在应用上，HBM3E记忆体特别适合用於AI加速器和高效能运算（HPC）系统，能够缩短大型语言模型（LLM）的训练时间，并支援更大的模型。美光也透过先进封装技术改善了热阻抗，提升了散热效能，并且在每个记忆体实例8Gbps的速度下，功耗降低了30％。美光也正计划在2025年挑战HBM市场25%的市占率，并且正在开发新一代的HBM4产品。美光的HBM技术不仅在效能和功耗方面具有优势，还在AI和高效能运算领域中发挥了重要作用。

SK海力士

SK海力士在HBM技术方面有多项重要进展。目前SK海力士正在加速开发混合键合技术（Hybrid Bonding），这种技术能够在不使用微凸块的情况下连接DRAM模组，大幅降低晶片厚度，并提高制程可靠性。这项技术已在HBM2E中通过所有可靠性测试，并计划应用於未来的HBM4产品。

SK海力士也正与台积电合作，开发客制化的HBM解决方案，以满足不同客户的效能和省电需求。这种客制化策略有助於解决记忆体市场供过於求的问题，并确保产品能够更符合客户需求。

SK海力士在HBM3E中也导入了MR-MUF（Mass Reflow Molded Underfill）制程，这种技术提高了产品的散热效能和可靠性。此外，SK海力士还计划在HBM4中使用与台积电合作的先进制程，以进一步提升性能和能源效率。SK海力士预计在2026年量产HBM4，并计划在2027年提前量产HBM4E，以应对市场需求的快速变化。

三星电子

图三 : 三星已宣布完成12-Hi 36GB HBM3E记忆体堆叠的开发

三星电子在HBM方面，目前正采用热压缩非导电薄膜（TC-NCF）技术，这种技术具有抗弯曲特性，能够制造更多层的DRAM堆叠，提高记忆体的容量和效能。三星也拥有自己的晶圆代工厂，这使得他们能够在HBM的最底层控制晶片上使用自家技术，提高产品的一致性和性能。

三星成功开发了业界首款整合AI处理能力的高频宽记忆体（HBM-PIM），这种记忆体处理（processing-in-memory；PIM）是一种在记忆体内整合AI运算的记忆体晶片架构，赋予高效能记忆体AI运算能力，可加速资料中心大规模数据运作和高效能运算（HPC）系统。三星也正在开发混合键合技术，这种技术能够焊接更多晶片堆叠，维持更低的堆叠高度并提高热排放效率，这对於未来的HBM4和更高代产品尤为重要。三星也计划在2025年提供HBM4样品，并在2026年量产，这显示出他们在市场上的积极布局和对未来技术的投入。

结语

图四 : HBM不断进步，每一代都在频宽、容量和能效方面有所提升。

高频宽记忆体非常有未来发展性，特别是在人工智慧和高效能运算领域。随着生成式AI和大语言模型（LLM）的快速发展，对高频宽记忆体的需求也在增加。HBM能够提供更高的频宽和更大的容量，有助於处理大量数据和复杂计算。HBM技术正不断进步，从HBM2到HBM3，再到即将推出的HBM3E和HBM4，每一代都在频宽、容量和能效方面有所提升。

主要的记忆体制造商如SK海力士、三星和美光正在积极扩展HBM的产能，以满足市场需求。这些公司也在技术上不断创新，以保持竞争优势。HBM的市场需求预计将持续成长。

根据预测，HBM的年复合成长率（CAGR）将达到50％，特别是在AI伺服器和自驾车市场。除了AI伺服器，自驾车、5G网路设备和高效能运算也是HBM的重要应用场景。这些应用需要高频宽和低延迟的记忆体来支持其运行。放眼未来，HBM技术的未来发展前景非常乐观，随着技术的进步和市场需求增加，HBM将在更多领域中发挥重要作用。