账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
以协助因应AI永无止尽的能源需求为使命
推动AI资料中心工作负载的挑战和机会

【作者: Rene Haas】2024年04月18日 星期四

浏览人次:【724】

人工智慧(AI)拥有超越上个世纪所有颠覆性创新的潜力,在医疗保健、生产力、教育等许多领域为社会带来的助益,将超??我们的想像。为了让这些复杂的AI工作负载得以运作,全球资料中心所需的运算量也将急速成长。然而,这永无止尽的运算需求反映了一大挑战:资料中心需要无比庞大的电力,才能推动这项突破性技术。


当前资料中心的用电量已经十分惊人:全球每年需要460太瓦/时(TWh)的电力,相当於德国全国的用电量。预计在2030年前,AI的崛起将让这个数值成长3倍,超过印度这个全球人囗最多国家的总用电量。


未来的AI模型将持续扩大且更加聪明,进而刺激对更多运算的需求,对电力的需求也将随之增加,形成互相推升的循环。如何找到降低大型资料中心用电量的方法,对於如何突破社会发展与实践AI承诺来说相当关键。


换句话说,没有电力就没有AI。


企业必须重新审视全局以因应能源效率问题。


重新构想AI未来:由Arm驱动的未来

追求能源效率是Arm的DNA。Arm最早推出的产品即是运用电池供电,并启动了手机革命。这让业界重新思考如何打造晶片,以满足对AI日益成长的需求。


在一个传统的伺服器机柜中,光是运算晶片就可消耗超过50%的电力预算。工程师们正在设法减少这个数值,每一瓦电力都很重要。


在探寻解方的过程中,全球最大的AI超大规模运算业者纷纷改采Arm解决方案来降低用电量,这并不令人意外。相较於市场上的其他方案,Arm最新的Neoverse CPU是效能最高、能源效率最隹的云端资料中心处理器。Neoverse提供超大规模运算业者客制化晶片的弹性,将要求严苛的工作负载最隹化,同时提供先进的效能和能源效率,省下的每一度电都可以投入更多的运算。这就是现在Amazon、Microsoft、Google 和Oracle都采用Arm Neoverse技术,来处理通用型运算,与进行基於 CPU 的 AI 推论和训练的原因。Arm Neoverse正成为各云端资料中心的实质标准。


请叁考近期发表讯息中的数据:


· AWS基於Arm架构的Graviton:相较於市场竞品,Amazon Sagemaker的AI推论效能高出25%,Web应用程式效能高出0%,资料库效能高出40%,能源效率则提升60%。


· Google Cloud基於Arm架构的Axion:支援基於CPU的AI推论和训练、YouTube、Google Earth等服务,相较於竞品的传统式架构,效能高出50%,能源效率提升60%。


· Microsoft Azure基於Arm架构的Cobalt:效能比市场竞品高出40%,支援 Microsoft Teams等服务,并与Maia加速晶片结合,推动Azure的端对端AI架构。


· Oracle Cloud基於Arm架构的Ampere Altra Max:相较於传统的竞争者,每机柜伺服器的效能高出2.5倍,用电量降低2.8倍,并已用於生成式AI推论模型:LLM 训练的资料汇整、标记,以及批次推论使用场景。


显然Arm Neoverse已大幅提高云端通用型运算的效能和能源效率。然而,客户现在发现加速运算也能带来同样的效益。大规模AI训练需要独特的加速运算架构,例如 NVIDIA Grace Blackwell平台(GB200),它将NVIDIA的Blackwell GPU架构与基於Arm 架构的Grace CPU相结合。相较於使用同级LLM架构的NVIDIA H100 GPU,基於Arm 的运算架构可实现系统级设计的最隹化,将用电量降低25倍,并将每个GPU的效能提高达30倍。这些最隹化能够带来颠覆性的效能和节能效果,归功於 Arm Neoverse 能实现前所未有的客制化晶片的弹性。


随着Arm部署规模的扩大,这些企业在资料中心总用电量可??节省高达15%。省下的庞大电量,将可用於在相同的功耗范围内提升AI能力,而无需增加用电。具体来看,这些省下的电力可以用来执行20亿次ChatGPT查询,支持四分之一的日常网路搜寻流量,照亮 20% 的美国家庭,或者为类似哥斯大黎加面积相仿的国家提供电力。


这对能源消耗和环境永续产生了惊人的影响。


从基础面来看,Arm CPU正在驱动AI革命,同时造福地球。


AI运算的未来建构於Arm之上。


(本文作者Rene Haas为Arm执行长)


*刊头图(source : Arm)


相关文章
智慧家居大步走 Matter实现更好体验与可靠连结
车载软体数量剧增 SDV硬体平台方兴未艾
低功耗MCU释放物联网潜力 加速智慧家庭成形
AI赋能智慧边缘 行动运算处理器的时代革命
数据需求空前高涨 资料中心发挥关键角色
comments powered by Disqus
相关讨论
  相关新闻
» A+计划补助电动车产业 驱动系统、晶片和SiC衍生投资3亿元
» 中华精测自制MEMS探针再突破 超高速SL系列即将上场
» 国际遥感探测研讨交流 促进新兴技术融合
» 意法半导体公布2024年第一季财报 营收34.7亿美元净利润5.13亿美元
» 调研:至2030年全球互联汽车销量预计将超过5亿辆


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK851AYBE10STACUKR
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw