根据IDC最新研究,2024年在疫情影响逐步趋缓下,终端市场回稳,加上资料中心对人工智慧(AI)训练与推论的需求带动记忆体提升,整体应用及库存水准皆开始正常化,连带带动2024第一季整合元件制造(IDM)市场的发展,而其中高频宽记忆体(HBM)扮演重要角色。
高频宽记忆体的需求不断成长,价格比传统记忆体高出四到五倍,也进一步压缩到终端市场的DRAM产能促使DRAM价格提升,使得总体记忆体市场营收大幅成长。同时,AI PC以及AI智慧型手机逐步释出市场,其所需要的记忆体内容较传统装置增加,也带动记忆体整体市场发展。
人工智慧伺服器对运算能力的快速成长,顺势带动了高频宽记忆体的需求,为记忆体部门带来许久未见的成长动能。SEMI指出,爆炸性的AI技术落地风潮需要HBM堆叠配置更加紧密,每个HBM现已可整合8到12个晶粒,这也正是为什麽许多DRAM市场领导厂商正不断增加 HBM/DRAM领域的投资。DRAM产能2024年和2025年都将出现9%的成长;相较之下,3D NAND市场的复苏较为缓慢, 2024年产能不会上升,2025年则有5%的涨幅。
在边缘装置中人工智慧应用兴起影响下,主流智慧型手机DRAM容量也将从8GB增至12GB,而配备人工智慧助理的笔记型电脑则有至少16GB DRAM的需求,人工智慧拓展至边缘装置可??进一步带动DRAM需求往上爬升。
![图一 : HBM3 Gen2架构图(美光科技提供)](/art/2024/08/211103318370/p1S.JPG)
图一 : HBM3 Gen2架构图(美光科技提供) |
|
HBM
高频宽记忆体(High Bandwidth Memory;HBM)是一种基於3D堆叠技术的高效能DRAM。它由三星电子、AMD和SK海力士共同开发,目的在满足高记忆体频宽需求的应用,如GPU、网路交换装置等。HBM的设计使其能够提供比传统DRAM更高的频宽和更低的功耗。
HBM透过3D堆叠架构,将多层DRAM晶片垂直堆叠,并使用矽穿孔(TSV)技术进行连接,实现高频宽和高容量。其频宽远高於传统DRAM,这使得它能够快速传输大量数据。而由於其高效的设计,HBM在提供高性能的同时,能够保持较低的功耗。
现阶段AI模型需要处理大量数据,HBM的高频宽特性使得数据传输速度大幅提升,加快了AI处理器与记忆体之间的通讯速度。另外随着AI模型(如大语言模型)的叁数量增加,对记忆体频宽和容量的需求也随之增加。HBM能够提供足够的频宽和容量,支持更大、更复杂的AI模型进行训练。而HBM的设计缩短了数据路径,减少了数据传输的延迟,这对於需要即时处理数据的AI应用尤为重要。
除了AI伺服器之外,HBM还广泛应用於高效能运算(HPC)、图形处理、网路设备等领域。当然随着AI技术的发展,HBM在AI运算中的地位将变得越来越重要。HBM的3D堆叠技术主要通过以下几个步骤实现:
矽穿孔技术
矽穿孔(Through-Silicon Via;TSV)是HBM 3D堆叠技术的核心。TSV技术在每层DRAM晶片上钻出微小的垂直孔,并填充导电材料(如铜),以实现层与层之间的电气连接。
微凸块焊锡连接
在每层DRAM晶片的表面,使用微凸块焊锡(Microbump)技术进行连接。这些微小的焊锡凸块能够确保每层晶片之间的稳定电气连接。
矽中介层
HBM晶片堆叠在一个矽中介层(Silicon Interposer)上,这个中介层负责将HBM与CPU或GPU等核心元件连接起来。矽中介层上有许多细小的导线,能够实现高频宽的数据传输。
精密对齐与封装
在堆叠过程中,每层DRAM晶片需要精确对齐,确保TSV和微凸块能够正确连接。这需要高度精密的制造技术和设备。
散热管理
由於多层晶片堆叠会产生大量热量,因此需要有效的散热解决方案。通常会在堆叠结构中加入散热材料或设计特殊的散热通道,以确保晶片在高效运行时不会过热。
HBM的3D堆叠技术尽管带来了高频宽和低功耗的优势,但在实现过程中也面临多项挑战。其多层DRAM晶片需要高度精准地堆叠在一起,确保每层晶片的对准精度非常高,以避免电气性能损失。这需要极高的制造技术水准。而TSV技术涉及在每层晶片上钻出垂直通孔,并在通孔内填充导电材料。这需要精密的刻蚀和填充技术,稍有不慎就可能导致电气连接或热应力问题。
另外,HBM的封装需要将晶片、基板和散热材料等多种材料整合,并配合各材料的热膨胀系数,避免热膨胀差异导致机械应力和晶片损坏。封装的可靠性也需要确保,包括抗机械冲击、热??圈和电迁移等。
由於HBM是3D堆叠结构,单位体积的热量密度更高,导致晶片热量难以散发,可能引发热失效。需要高效的热管理方案,如先进的散热材料和结构设计,以确保晶片的热稳定性。HBM也需要高频宽传输,对电源分配网路有极高要求,任何杂讯都可能影响HBM性能,导致传输错误。高速数据传输对讯号完整性也是挑战,需要确保高频环境中的讯号传输完整性。
技术比较
接着来比较几种不同HBM之间的差异。HBM3的传输速度最高可达6.4 Gbps,频宽可达819 GB/s。每个HBM3模组的容量可达16 GB。HBM3采用了16层堆叠技术,并且使用了先进的2.5D/3D封装技术。主要应用於AI训练、图形处理和高效能运算(HPC)等领域。
HBM3E在频宽和容量上相较於HBM3有显着提升。它能提供高达1280 GB/s的频宽,并且单颗记忆体的容量可达36 GB。HBM3E也采用了更先进的制程技术和封装技术,这使得它在性能和能效方面都有所提升。在应用场景方面,HBM3E主要应用於AI伺服器、高效能运算(HPC)和自驾车等领域。
HBM4是新一代的HBM记忆体,预计将在2026年推出,频宽将达到2048位元,这将使其频宽和容量大幅提升。HBM4将采用16层堆叠技术,并使用12奈米逻辑制程技术,这将使其在性能和能效方面有显着提升。此外,HBM4也采用了新的混合键合技术,同时保持记忆体堆叠的完整性。HBM4将主要应用於未来的AI处理器和高效能运算市场,并且将更注重定制化需求。
主要技术发开商
目前,主要发展HBM(高频宽记忆体)的厂商包括SK海力士、三星电子,以及美光科技。在2023年,SK海力士的市场占有率超过50%,是HBM市场的领导者。三星电子也是HBM技术的重要叁与者,积极扩产以追赶市场需求。美光科技在HBM市场中也占有一席之地,并且依靠技术优势来争取更多市场份额。这些厂商不仅在传统DRAM记忆体市场中占有重要地位,目前也积极投入研发最新的HBM技术及量产。
美光科技
![图二 : Sk Hynix最新的HBM3E记忆体晶片。](/art/2024/08/211103318370/p2S.JPG)
图二 : Sk Hynix最新的HBM3E记忆体晶片。 |
|
美光科技在HBM(高频宽记忆体)领域的技术进展方面,目前美光的HBM3E记忆体采用了8层和12层堆叠技术,这些记忆体晶片基於1β(1-beta)技术,能够在更小的尺寸内提供24GB或36GB的容量。HBM3E的记忆体频宽超过1.2 TB/s,Pin速度超过9.2 Gb/s,功耗比竞争对手低30%。这得益於先进的CMOS技术和多达2倍的TSV(矽穿孔)技术。
在应用上,HBM3E记忆体特别适合用於AI加速器和高效能运算(HPC)系统,能够缩短大型语言模型(LLM)的训练时间,并支援更大的模型。美光也透过先进封装技术改善了热阻抗,提升了散热效能,并且在每个记忆体实例8Gbps的速度下,功耗降低了30%。美光也正计划在2025年挑战HBM市场25%的市占率,并且正在开发新一代的HBM4产品。美光的HBM技术不仅在效能和功耗方面具有优势,还在AI和高效能运算领域中发挥了重要作用。
SK海力士
SK海力士在HBM技术方面有多项重要进展。目前SK海力士正在加速开发混合键合技术(Hybrid Bonding),这种技术能够在不使用微凸块的情况下连接DRAM模组,大幅降低晶片厚度,并提高制程可靠性。这项技术已在HBM2E中通过所有可靠性测试,并计划应用於未来的HBM4产品。
SK海力士也正与台积电合作,开发客制化的HBM解决方案,以满足不同客户的效能和省电需求。这种客制化策略有助於解决记忆体市场供过於求的问题,并确保产品能够更符合客户需求。
SK海力士在HBM3E中也导入了MR-MUF(Mass Reflow Molded Underfill)制程,这种技术提高了产品的散热效能和可靠性。此外,SK海力士还计划在HBM4中使用与台积电合作的先进制程,以进一步提升性能和能源效率。SK海力士预计在2026年量产HBM4,并计划在2027年提前量产HBM4E,以应对市场需求的快速变化。
三星电子
![图三 : 三星已宣布完成12-Hi 36GB HBM3E记忆体堆叠的开发](/art/2024/08/211103318370/p3S.JPG)
图三 : 三星已宣布完成12-Hi 36GB HBM3E记忆体堆叠的开发 |
|
三星电子在HBM方面,目前正采用热压缩非导电薄膜(TC-NCF)技术,这种技术具有抗弯曲特性,能够制造更多层的DRAM堆叠,提高记忆体的容量和效能。三星也拥有自己的晶圆代工厂,这使得他们能够在HBM的最底层控制晶片上使用自家技术,提高产品的一致性和性能。
三星成功开发了业界首款整合AI处理能力的高频宽记忆体(HBM-PIM),这种记忆体处理(processing-in-memory;PIM)是一种在记忆体内整合AI运算的记忆体晶片架构,赋予高效能记忆体AI运算能力,可加速资料中心大规模数据运作和高效能运算(HPC)系统。三星也正在开发混合键合技术,这种技术能够焊接更多晶片堆叠,维持更低的堆叠高度并提高热排放效率,这对於未来的HBM4和更高代产品尤为重要。三星也计划在2025年提供HBM4样品,并在2026年量产,这显示出他们在市场上的积极布局和对未来技术的投入。
结语
![图四 : HBM不断进步,每一代都在频宽、容量和能效方面有所提升。](/art/2024/08/211103318370/p4S.JPG)
图四 : HBM不断进步,每一代都在频宽、容量和能效方面有所提升。 |
|
高频宽记忆体非常有未来发展性,特别是在人工智慧和高效能运算领域。随着生成式AI和大语言模型(LLM)的快速发展,对高频宽记忆体的需求也在增加。HBM能够提供更高的频宽和更大的容量,有助於处理大量数据和复杂计算。HBM技术正不断进步,从HBM2到HBM3,再到即将推出的HBM3E和HBM4,每一代都在频宽、容量和能效方面有所提升。
主要的记忆体制造商如SK海力士、三星和美光正在积极扩展HBM的产能,以满足市场需求。这些公司也在技术上不断创新,以保持竞争优势。HBM的市场需求预计将持续成长。
根据预测,HBM的年复合成长率(CAGR)将达到50%,特别是在AI伺服器和自驾车市场。除了AI伺服器,自驾车、5G网路设备和高效能运算也是HBM的重要应用场景。这些应用需要高频宽和低延迟的记忆体来支持其运行。放眼未来,HBM技术的未来发展前景非常乐观,随着技术的进步和市场需求增加,HBM将在更多领域中发挥重要作用。