美光科技宣布推出业界首款第二代 8 层堆叠（8-High）24GB HBM3，并开始送样。此产品频宽达 1.2TB/s 以上，每脚位传输速率超过 9.2Gb/s，较目前市面上的HBM3解决方案高出 50%。此外，美光第二代HBM3的每瓦效能较前几代产品提升2.5 倍，刷新 AI 数据中心的关键性能、容量及功耗指标。这些改进缩短了业界训练 GPT-4 等大型语言模型及其更高阶版本所需时间。

/news/2023/07/30/0929567130S.jpg

奠基於1β DRAM 制程节点，美光的 HBM 解决方案能在业界标准封装尺寸中，将24GB的晶粒组装为8层高度的立方体。美光 12 层堆叠（12-High）36GB HBM3 亦将於 2024 年第一季开始送样。

透过此堆叠高度，美光可提供较竞品解决方案高出 50% 的容量。美光第二代 HBM3 性能功耗比和每脚位传输速率的改善，对因应当前 AI 资料中心的高功耗需求而言至关重要。美光提供较现行 HBM3 解决方案多出一倍的直通矽晶穿孔（TSV）数量，又以五倍金属密度减少热阻抗，并采用高能效资料路径设计，实现功耗的改善。

在生成式AI方面，美光第二代 HBM3 亦能符合多模态数兆叁数AI模型所需。每组堆叠24GB的容量、大於9.2Gbps的每脚位传输速率除了能减少大型语言模型 30% 以上的训练时间，进而降低总体拥有成本外，也能大幅提升每日查询次数，让训练完成的模型在使用时更有效率。

美光??总裁暨运算产品事业群总经理 Praveen Vaidyanathan表示：「美光第二代 HBM3 的研发重点，在於为客户及业界提供卓越的 AI 及高效能运算解决方案。我们所考虑的一项重要标准，就是第二代 HBM3 产品能否轻松与客户平台整合。对此，记忆体内建的自我测试（MBIST）不仅可彻底程式化，还能以规格中的最高每脚位传输速率进行测试，有助於改善与客户的测试能力，提升协作效率，并缩短上市时间。」