账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
解析伺服系统之新内存架构──FB-DIMM
Intel记取RDRAM教训后的新修正?

【作者: 陳隱志】2006年07月06日 星期四

浏览人次:【6863】

2006年5月4日,JEDEC正式发布最终敲定的FB-DIMM规格标准,FB-DIMM是由Intel提出的一项新内存架构,用意在于提升服务器及高阶工作站的内存效能,同时也扩增内存的容量潜能。FB-DIMM(Full Buffered Dual In Line Memory Module,有时也写成FBDIMM)与现有的内存架构相较到底有何承袭与革新?本文以下将对此更深入解析。


《图一 FB-DIMM依然使用今日主流的DDR2 SDRAM内存颗粒》
《图一 FB-DIMM依然使用今日主流的DDR2 SDRAM内存颗粒》

传统架构的效能、容量皆已受限

长久以来内存一直倚赖两种手法来提升效能,一是加宽数据传输的并行度,另一是加快数据传输的频率速度,不断加宽的结果是内存模块(DIMM)的接脚数愈来愈多,从过去的FPM/EDO RAM 72pin、SDR SDRAM 168pin、DDR SDRAM 184pin,到今日DDR2 SDRAM的240pin,然而主板的电路布局面积有限,难以再用拓宽线路数的方式来提升效能,虽然可以用增加电路板层数的方式来因应,但成本也会大增。


更具体而言,今日一个内存信道(Channel)的宽度为64bit,在并行线路数的限制下,一般的运算系统多只能有两个信道,即是128bit,难以再更宽,更宽多半要付出极高的代价,同时线路数愈多也就愈难掌控并行传输的时序准确性,使得实际布线设计变的困难,过往就经常要用蛇绕方式的布线来求取并列时序的同步[1]。


另一个问题是频率,透过并列同步频率的提升以达成加速的目标会带来副作用,即是愈高速愈会使传输线路的长度受限,这同样会造成电路布线设计时的难度,连带的也会使每信道的连接模块数受到约束,过去一个信道允许连接四条模块,之后降成两条模块,若方式不变未来一个信道仅能连接一个模块,这并非不可能,看看ATA硬盘接口,更高速的SATA仅允许一个信道连接一个ATA装置(硬盘),而过去较慢速的PATA则仍允许一个信道连接两个ATA装置。


即便模块数可以增加,然现有内存架构的连接拓朴(Topology)属Stub-bus作法,即是同一时间、同一信道内只能有一个DIMM进行传输,其余的DIMM都必须闲置等候,如此传输效率依然卡在信道数、数据宽度的环节,难以改变。


信道数受限、模块数受限,自然内存的扩充容量也会受限,倘若情形不改变,就只能倚赖内存颗粒(芯片)的容量密度提升,然这就得倚赖半导体制程技术的精进才行(如从90nm进步至65nm)。


很明显的,传统内存架构已至多方窘困:效能、容量、线路数、频率速、信道数、模块数、同步设计难度、电路面积成本等。


《图二 FB-DIMM主要是在既有的DIMM模块上加装一颗转化功用的AMB芯片》
《图二 FB-DIMM主要是在既有的DIMM模块上加装一颗转化功用的AMB芯片》

FB-DIMM的沿袭与变革

接着来看FB-DIMM的作法,FB-DIMM其实只改变内存的连接架构与传输方式,在内存颗粒方面仍是用今日常见的DDR2 SDRAM,但是在每个DIMM模块上追加一颗先进内存缓冲(Advanced Memory Buffer;AMB)芯片,所有在DIMM上头的DDR2 SDRAM颗粒都与AMB芯片相连,再由AMB芯片与主板相连,不再是过去让每颗DDR2 SDRAM颗粒自行与主板相连,简单说即是一律透过AMB来转换、转接。


至于如何转换转接呢?AMB将原有DDR2 DIMM的64bit并列数据传输转换成24bit的串行传输,过去64bit并列传输是使用统一的传输频率,且64bit在单一时间内只能在读取「或」写入,不能让读取与写入同时发生,而AMB转换后变成14bit读取与10bit写入,且在串行传输中夹带频率讯号(类似PCIe的8b10b法),各bit的传输时序不用整齐一致(即指同步),没有过去并列传输常要担忧的串音干扰,并允许各bit尽其所能的加快传输。


此外,DDR2 SDRAM使用的单端式(Single End)传输,逻辑定义来自绝对性的电压准位,如LVTTL、SSTL、HSTL等,难以长距离传输,如今AMB将单端传输转换成差动式(Differential)传输,以一对传输线路间的相对电压差作为逻辑定义,因此可长距、高速传输,也因此FB-DIMM的每信道可串接八个DIMM,不似现有传统架构仅能两个DIMM。


从64bit同步并列改成24bit异步串行后,FB-DIMM的线路数也获得大幅缩减,过去要用240pin与内存控制器(即北桥芯片)相连,如今只需用69pin相连,如此布线设计更容易(线路减少,不用时序同步),电路面积、层数等制造成本也可缩减。


进一步地说,每个FB-DIMM上的AMB芯片会相互串接,且如前所述可在单一信道内串接八条DIMM,即是串接八颗AMB,八颗AMB相互间以点对点(Point-to-Point)的方式连接,因此两点间可高速交换传递信息,逐颗串接后会形成一个链(Chain)状连接,每个信道中只有第一颗AMB芯片会与内存控制器连接,其余都是相互串接,串接的结果变成每颗AMB(DIMM)随时都可以传输,不似传统Stub-bus架构同时间只能有一条DIMM传输,明显的FB-DIMM/AMB作法较不易产生传输瓶颈,进而增加整体传输率。


附带一提的是,串接的部分包含14pin的读取与10pin的写入,每个bit用一对差动线路构成,在专业用语上称为传输巷(Lane),而14pin的串接称为北面(Northbound),10bit写入称为南面(Southbound)。


此外,为何要称为Full Buffered,因为过去SDR SDRAM时代就用过Buffer技术,但只用在地址线路与控制线路,未用在数据线路,属于部分性的Buffer运用,运用Buffer缓冲可提升信号的发散(Fan Out;扇出)驱动力,这在过去单一DIMM上的颗粒过多时必须使用。如今FB-DIMM则是各颗粒的所有运作信号都要进行Buffered,所以称为Full Buffered。


之后,由于并列宽度与速度都提升,Buffer没有并列传输的同步机制,容易使传输失误,所以改成有同步机制的Registered作法,即是今日所称的Registered SDRAM,然预计Full Buffered作法将在二、三年内取代Registered。至于为何不在DIMM上也用Registered?因为各bit的传输已内含自用的频率(称为Self-Clocking),各bit不用时序同步,所以不需要。


而AMB的转换也将侦错、更错机制进行改变,由过去的ECC(Error Correcting Code)换成CRC(Cyclical Redundancy Check),使侦错、更错能力获得提升。



《图三 FB-DIMM的架构可连接六个Channel》
《图三 FB-DIMM的架构可连接六个Channel》

计算FB-DIMM的提升效益

改采FB-DIMM架构后真的可以加速与容量拓增吗?对此一样以机制原理来解释。


以现有DDR2 800而言,使用200MHz频率可得到800Mbps传输率,乘以64bit可得51.2Gbps,除以8则成6.4GB/Sec。


同样的频率频率用于FB-DIMM,则每个bit能有4.8Gbps,乘以24bit可得115.2Gbps,除以8为14.4GB/Sec,如此在同样的单一信道、同样的传输频率下,FB-DIMM的14.4GB/Sec远胜传统的6.4GB/Sec。


而且如前所述,FB-DIMM仅有69pin与内存控制器相连,远少于现今的240pin,这意味着:取消一个传统信道的设置,可以改设置三个FB-DIMM信道,且使用线路、占用面积依然少于传统信道(69pinx3<240pin),串接方式也比Stub-bus更省电路面积。


如此,原本可以设置两个传统信道的电路板,可以改设置成六个FB-DIMM信道,六个信道同时启用,则最高传输率可达86.4GB/Sec。


不过,86.4GB/Sec只是理想值,重点依旧在内存颗粒上,FB-DIMM仍是使用DDR2颗粒,DDR2颗粒并行传输若只能达6.4GB/Sec,那么六个信道同时启用也只能获得38.4GB/Sec,此一瓶颈与硬盘的内外部传输率相类似,FB-DIMM的极致传输值如同硬盘外部的接口传输率,DDR2颗粒的传输率如同硬盘内部的磁头感应速率,真正的整体效能取决于内部、外部居次,外部更快速只是预留带宽,以待日后内部传输率提升时仍可因应,使外部不至成为整体传输的碍阻。


如此,FB-DIMM将DIMM数从二增至八,Channel数从二增至六,使FB-DIMM架构的最高DIMM数达四十八条,相对的传统架构仅四条,差异为二十四倍[2]。



《图四 FB-DIMM运作原理》
《图四 FB-DIMM运作原理》

更多的益处

FB-DIMM除了能提升传输、拓增容量,其实还带来更多传统架构时所较难实现的好处:


  • ●由AMB芯片统管各内存颗粒,反而能消弥以往传统架构所常出现的DRAM颗粒兼容性问题,因为此一电气特性差异已由AMB转化吸收,只要信道内的每条DIMM都使用同一业者的同一型款AMB芯片,颗粒兼容性问题就容易排除,其他如负载效应平衡、阻抗匹配问题也都容易解决。


  • ●更容易实现服务器系统所需要的内存坚稳机制,例如由AMB负责管控,若某颗DRAM颗粒暂时或永久失效,则可由其他备援颗粒来暂顶或取代。此外,也因为相同线路数下可比过去多设置1、2个信道,因此要实现如Chipkill之类的内存镜射数组(Memory RAID)防护也更容易。类似的情况,当某一传输巷(Lane、bit)失效或故障时,因为各bit毫无相依关连,也可实时由其他传输巷来替顶。


  • ●要在串行传输中增加特色功效机制也比并列方式容易,例如改用更先进的侦错、除错编码法,或添入传输加密等,这些追加只需稍减损原有的传输带宽即可达成,相对的并列传输得拓增更多的相关线路才能办到,在硬件工程上有较高的变更成本。


  • ●过去服务器管理者经常碍于单一系统内可用的DIMM数过少,迫使采购初期就得用单条高容量的DIMM,但也必须接受较贵的单价,否则没有足够的DIMM数可供扩充,而改采FB-DIMM后则可抒解此一问题,因为一信道内最多可有八个DIMM,使内存的容量组态弹性、最高扩充容量都获得改善。


  • ●此一特点其实也源自第一项特点,透过AMB的转化,日后即便DRAM颗粒改朝换代也可持续兼容,现在使用DDR2 SDRAM,日后也可升级使用新一代的DDR3 SDRAM,或其他类型的DRAM。




《图五 图左为一个DDR2 Registered DIMM信道的布线图,图右则为二个FB-DIMM信道的布线图》
《图五 图左为一个DDR2 Registered DIMM信道的布线图,图右则为二个FB-DIMM信道的布线图》

FB-DIMM也有隐忧、威胁

乍听之下FB-DIMM的一切表现都超越传统,然事实真如此吗?事实上FB-DIMM也有其隐忧,以下也逐一讨论:


●高速的AMB芯片功耗相当高,就一般而言,过去的DDR DIMM约5.4W,DDR2 DIMM因颗粒制程的进步而降至约4.4W,然使用DDR2颗粒的FB-DIMM却增至10.4W(因为加了AMB芯片),这在讲究营运成本精省的今天是一大致命伤,同时更高的功耗也使散热更困难,多条密排的DIMM将不易设计散热,如此不易运用在刀锋服务器或超薄服务器等散热空间有限的系统上,例如Sun在评估过FB-DIMM后就透露出可能放弃在薄型或省电型的服务器中使用。


●在DIMM上追加AMB芯片也使DIMM模块上的电路复杂度增加,这对DIMM模块的制造商而言也有些挑战要克服。


●老实说FB-DIMM的原理与Rambus的RDRAM相近,主要差别只在FB-DIMM是以兼容现有DRAM颗粒的方式来实现,以此规避技术专利,但就成本与简化性而言,反而是RDRAM较有利。


●Rambus已在推行比RDRAM更先进的XDR RAM及XDR2 RAM,XDR RAM是RDRAM的进化,将地址线、控制线分立出来,如此传输的延迟性(Latency)可低于RDRAM,且将用在Sony的新一代电视游乐器:PlayStation 3(PS3)上,FB-DIMM面对RDRAM已居弱位,如今就更难面对XDR RAM,唯FB-DIMM是JEDEC国际标准,此点胜过RDRAM、XDR RAM的独家业者授权。



《图六 XDR RAM技术示意图》
《图六 XDR RAM技术示意图》

支持业者与展望未来

最后,除了Intel发起外,Dell、HP等系统大厂都已表态支持FB-DIMM,DIMM模块业者如A-DATA、Apacer、Crucial、Kingston、SMART Modular Technologies也都支持,内存颗粒业者也是全面投入AMB的研发及量产,如Samsung、Micron、Hynix、NEC/Elpida、Infineon等,就连IDT也投入AMB芯片的战局,同时各大厂也将持续提升FB-DIMM的传输率,预计将既有每Lane的4.8Gbps提升至6.4Gbps,甚至上看9.6Gbps。


延伸阅读

最后,除了Intel发起外,Dell、HP等系统大厂都已表态支持FB-DIMM,DIMM模块业者如A-DATA、Apacer、Crucial、Kingston、SMART Modular Technologies也都支持,内存颗粒业者也是全面投入AMB的研发及量产,如Samsung、Micron、Hynix、NEC/Elpida、Infineon等,就连IDT也投入AMB芯片的战局,同时各大厂也将持续提升FB-DIMM的传输率,预计将既有每Lane的4.8Gbps提升至6.4Gbps,甚至上看9.6Gbps。相关介绍请见「XDR是RAMBUS的新一代RDRAM内存,其中XDR代表eXtreme Data Rate DRA的缩写。因为XDR采用Octal Data Rate八倍速传输,在一个时钟循环中传送八个Bit的数据,因此实际频率仅仅是400MHz的XDR等效于3.2GHZ的SDRAM内存。」一文。

XDR是RAMBUS的新一代RDRAM内存,其中XDR代表eXtreme Data Rate DRA的缩写。因为XDR采用Octal Data Rate八倍速传输,在一个时钟循环中传送八个Bit的数据,因此实际频率仅仅是400MHz的XDR等效于3.2GHZ的SDRAM内存。你可在「稍早之前,一场FB-DIMM内存模块插拔测试大会悄悄在台湾登场,这次大会并未对外公开,而是由主办厂商英特尔(Intel)邀请内存模块、系统厂、量测工具供货商等业者进行技术交流与互操作性测试,主要目的是为了推动英特尔为服务器平台规划的全新内存规格-FB-DIMM。」一文中得到进一步的介绍。

FB-DIMM重塑服务器内存产业生态在「所谓的奈米技术是一项重大变革吗?答案是「不尽然」,对微机电(MEMS)发展或其他类型的奈米技术而言或许是个大跃进,但就半导体制程而言则属渐进达成,从0.13um(130nm)制程微缩到90nm制程,就可以说是进入奈米技术时代,同样的从90nm微缩至65nm,乃至于在数年后预计问世的45nm,甚至是32nm,都属于奈米技术层次与技术时代。」一文为你做了相关的评析。

市场动态

奈米级半导体制程之多向性挑战相关介绍请见「IDT宣布,采用IDT与Intel生产之先进内存缓冲器(AMB)的全缓冲双列直插式内存模块(FB-DIMM)之间可以互通,有了这项互通之后,内存模块、服务器与工作站的设计工程师可放心选择FB-DIMM平台,而系统仍保持弹性,可随带宽需求增加而升级。」一文。

IDT宣布,采用IDT与Intel生产之先进内存缓冲器(AMB)的全缓冲双列直插式内存模块(FB-DIMM)之间可以互通,有了这项互通之后,内存模块、服务器与工作站的设计工程师可放心选择FB-DIMM平台,而系统仍保持弹性,可随带宽需求增加而升级。你可在「Elpida发表容量达4GB的FB-DIMM(Fully Buffered Dual In-Line Memory Modules)内存模块,其产品编号分别为EBE41FE4AAHA-5C-E和EBE41FE4AAHA-6E-E。新组件支持最达到32GB容量的八个插槽服务器应用平台。」一文中得到进一步的介绍。

Elpida的4GB FB-DIMM内存模块有助提升系统散热性能在「Elpida的4GB FB-DIMM内存模块有助提升系统散热性能」一文为你做了相关的评析。

相关文章
Intel OpenVINO 2023.0初体验如何快速在Google Colab运行人脸侦测
零信任资安新趋势:无密码存取及安全晶片
新一代异质运算带动资料中心运算架构变革潮
铁道数位化转型全面启动
企业迎向数位创新的关键思考
comments powered by Disqus
相关讨论
  相关新闻
» 晶创台湾办公室揭牌 打造台湾次世代科技国力
» 工研院突破3D先进封装量测成果 获德律、研创资本、新纤注资共创欧美科技
» A+计划补助电动车产业 驱动系统、晶片和SiC衍生投资3亿元
» 工研院主办VLSI TSA研讨会登场 聚焦异质整合与小晶片、高速运算、AI算力
» 英特尔晶圆代工完成商用高数值孔径极紫外光微影设备组装


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK85DBBFVR0STACUKM
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw