账号:
密码:
最新动态
产业快讯
CTIMES/SmartAuto / 新闻 /
AI驱动高效能运算需求 刺激HBM与CXL技术兴起
 

【CTIMES / SMARTAUTO ABC_1 报导】    2021年11月15日 星期一

浏览人次:【2689】

根据TrendForce最新发表的伺服器报告指出,庞大的资料处理量受硬体效能局限,导致使用者在设备的建置面临了效能、容量、延迟度以及成本间的取舍问题,从而刺激HBM(High Bandwidth Memory)及CXL(Compute Express Link)的出现。

功能上来说,HBM为新型态记忆体,主要协助更多元、高复杂运算而需要的I/O作辅助,而CXL则为使记忆体资源共享的协定,提供xPU更为便捷的应用。

为了不受限于传统记忆体的频宽束缚,记忆体原厂开发了HBM,其结构为基本逻辑颗粒上连接数层的DRAM裸晶,而DRAM裸晶之间以矽通孔及微凸块3D堆叠达到高频宽设计,层数又以4层及8层为主流。而以现行世代来看,HBM2e为目前最新的量产世代,单层16Gb的裸晶堆叠4层或8层,使得单颗容量分别为8GB及16GB,频宽可达410-460GB/s,而下一代HBM3已进入机构件送样阶段,可望于2022年量产。

根据TrendForce观察,2021年HBM位元需求占整体DRAM市场仍未达1%,主要包含两大原因:首先是消费级应用因成本考量下几乎未采用HBM,其次是伺服器市场中作为AI功能的建置低于1%,意即伺服器搭载相关AI运算卡的比重仍小于1%,且多数记忆体仍使用GDDR5(x)、GDDR6来支持其算力。

展望未来,虽然HBM仍在发展期,但随着应用对AI的依赖度增加(包含模型复杂化来优化AI精准度),需要HBM的加入来支援硬体。其中,以与AI最相关的FPGA和ASIC来看,FPGA产品有Intel的Stratix、Agilex-M以及Xilinx的Versal HBM导入HBM;而ASIC方面,多数资料中心在AI的建置中,逐渐以自研的ASIC晶片作为发展方向,例如Google的TPU、Tencent的邃思、Baidu的昆仑皆使用HBM。再者,Intel的server CPU Sapphire Rapids亦规划于2022年底释出带HBM的高阶版本。TrendForce认为,HBM有助于突破AI发展中受限的硬体频宽瓶颈,未来市场上将出现更多相关应用。

CXL则是基于PCIe Gen5规格演变的协定,让CPU及其他加速器(例如GPU、FPGA等之间)建立高速、低延迟的互联性,使其各自的记忆体模拟成一个共用的空间,允许记忆体资源共享,从而降低系统成本并获得更高的性能,因此有利于解决AI及HPC的工作负载。

而市场上类似概念的记忆体资源共享协定并非只有CXL提出,NVIDIA的NVLink、AMD及Xilinx的Gen-Z,皆凸显大厂对系统资源整合的重视。然而,TrendForce认为,CXL能由众多协定中脱颖而出的主要原因,来自于其协定为Intel提出,而该公司在CPU市场占有高采用率的优势,Intel CPU支援的号召能使得CXL及其相关硬体设备商得以自上而下的统合,因此相继获得AMD、ARM、NVIDIA、Google、Microsoft、Facebook、Alibaba、Dell等公司的加入,成为目前呼声最高的记忆体协定。

在允许CPU及其他硬体进行记忆体资源整合下,利于降低各硬体间的通信延迟,也能提高AI及HPC发展需要的计算性能。为此,Intel将在下一代伺服器CPU Sapphire Rapids中支援CXL,而记忆体原厂亦规划支援CXL的产品方案,其中,三星(Samsung)宣布将推出支援CXL的DDR5模组,用以扩张伺服器记忆体容量,满足AI运算需要的庞大记忆体需求。未来CXL亦有机会推及至NAND Flash的方案支援,使得DRAM及NAND Flash双双受惠。

TrendForce认为,CXL导入将随着未来CPU内建CXL功能而普及化,而未来AI伺服器的硬体建置,将能见到更多同时采用HBM及CXL的设计。其中HBM能分别增加CPU及加速器各自的频宽,加速资料处理速度;CXL则建立彼此间沟通的高速互联性,两者交互有助于扩展AI算力从而加速AI发展。

在记忆体资源共享下,模型的设计能摆脱硬体瓶颈,持续往更复杂的架构建设。 TrendForce预估,随着支援CXL的Intel CPU Sapphire Rapids导入达一定覆盖率,以及记忆体原厂陆续量产更高频宽的HBM3及具备CXL功能的DRAM与SSD,2023年可望于市场上见到更多HBM及CXL合作使用的应用。

關鍵字: TrendForce 
相关新闻
TrendForce:台湾强震过後 半导体、面板业尚未见重大灾损
日本强震影响半导体业可控 惟曝露供应链风险
2023年新能源车统计出炉 中国大陆出囗及占比居首
TrendForce上看2026年5G产值370亿美元 元宇宙应用是推手
TrendForce:花东强震对台湾半导体、面板产业影响有限
comments powered by Disqus
相关讨论
  相关文章
» 以协助因应AI永无止尽的能源需求为使命
» 低 IQ技术无需牺牲系统性能即可延长电池续航力
» P通道功率MOSFET及其应用
» 运用能量产率模型 突破太阳能预测极限
» 新一代4D成像雷达实现高性能


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK84J3M648MSTACUKO
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw