账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
网络搜索引擎架构优势概述
提升通讯协议与数据处理速度

【作者: Cypress】2004年08月04日 星期三

浏览人次:【6988】

根据统计,所有储存系统的支出当中,有50%的费用是花在NAS与SAN技术,这显示出业界迈向网络化储存的趋势。客户要求的不再仅是链接可靠度更高的储存网络。各大厂商正着手开发新型解决方案,这类方案以往都配置在主系统中,其功能结构位于网络层之下。例如像是虚拟化以及安全等方面的技术就是最好的例子。


迈向复杂与智能型储存网络的动力

业者在追求降低成本的目标下,纷纷采用规模更大的网络化储存系统,应用在服务器与储存汇整以及灾难修复等项目中。这些规模持续扩充的储存集区对于现有的基础建设带来许多压力,且用户亦需要不同的服务质量以及安全性。而在现今相互隔离的小型储存集区中,并没有发生这类问题。


包括像光纤信道与IP等相互竞争的技术,能解决不同应用所面临的相同问题,这些技术促使业者运用多重通讯协议的交换器或转换器,而这类系统则需搭配复杂、相互链接的储存网络。


现今的灾难修复与商务持续运作等项目,需要像是链结加密以及「data-at-rest」数据加密等安全机制。这方面的需求让储存网络更加复杂。尤其是面临严格法律规范的产业更是如此,像是金融与医疗等产业就面临Sarbanes-Oxley 沙氏法案以及美国证管会SEC 17a法条的规范。


为提高速度并缩短延迟,协助业者突破技术上的极限,但亦增加网络的复杂度。OEM业者已着手发展10G网络以及支持这类网络的相关技术。


智能型储存数据处理

讯框(Frame)检验与数据处理以往都是运用软件或硬件的表头检验技术,但如今已无法满足这些智能网络的需求。许多厂商纷纷开发新技术,因应这些市场趋势,并简化这些必要的处理作业。业者必须开发适合的解决方案来解决这些问题,并将解决方案套用在HBA、TCA以及交换器等刀锋型系统。为达成这个目标,业者将须投入大笔的资金开发客制化的ASIC或昂贵的网络处理器,类似数据网络所使用的系统。现今以网络处理器为基础所开发的解决方案,都是针对特定的数据网络需求所量身订制。然而各种储存网络的需求,例如像SCSI或iSCSI,其本质以及数据流的属性都有极大的差异。例如:


  • ●控制讯框与数据讯框之间的差异,是影响服务质量的重要因素


  • ●数据讯框的容量通常较大


  • ●储存资源中数据流的生命周期较短


  • ●讯框有状态上的差别且需要维持一致性(persistence)



《图一 网络化储存环境中的储存局域网络》
《图一 网络化储存环境中的储存局域网络》

要求与响应的处理数据(payload)在传送期间会使用多种通讯协议与装置。在档案与区块层级的磁盘存取、IP/以太网络与光纤信道的发送端或目的地之间存有许多转译机制。除此之外,每个转译阶段以及指令响应程序的每个端点,都必须配置通讯协议的终端机制。由于传输网络的底层采用10Gbps以上的速度,因此这些转译与终端作业对处理资源形成更多的压力。储存设备厂商采用各种策略试图解决这方面的问题。这些策略可区分成两大类:运用ASIC型解决方案,以及运用现成的处理器。两种方法都需要将作业负荷分担给协同处理器,并让协同处理器以10Gbps以上的全速模式支持网络储存作业。


储存网络中的数据与通讯协议转译

如(图一)所示,在储存数据流方面,在从来源端传送至目标期间,需要执行多项转译功能。在转译或对映功能方面,系统会运用一组translation operator负责将数据流从某项处理器转译成另一项通讯协议。translation operator可使用多组参数,例如像layer2通讯协议以及layer3的QoS。translation operator能执行逻辑处理,让主机或某些上游的operator不会看到详细的储存I/O作业 。translation operator是位于I/O信道上的储存层级功能,负责处理装置、子系统以及下游虚拟设备的地址。从另一个角度来看,translation operator会将虚拟设备导出至上游要求使用I/O资源的系统。


这种translation operator的建置模式视网络运作的环境而定。


Initiator与target主机总线配接卡

Initiator与Target的主机总线配接卡(HBA)负责接收与处理储存传输数据,之后再让应用存取储存媒体。HBA通常提供各种I/O转译的功能(区块层级的储存数据转译成可路由的SAN通讯协议)以及分担CPU处理负载/提高服务器储存数据使用效率(缓冲储存与处理流入的储存数据,藉此降低主机处理器的中断频率)。传送与接收端的HBA愈来愈常被用来分担CPU的处理负荷,负责处理像是光纤信道、iSCSI以及TCP等网络与储存通讯协议。


在终结这些通讯协议时,HBA会执行一套转译作业,将流入的封包信息转换成每个封包或每个session的处理信息,然后再传送给HBA中的处理引擎。例如在接收到TCP数据流时,会根据TCP来源/目的地的链接埠编号以及IP来源/目的地地址,查询记载TCP传输阶段信息的表格。之后会以传输阶段ID作为为指针,撷取状态信息提供给TCP传输作业参考。


SAN 交换器

现今的多重通讯协议SAN交换器必须因应持续成长的封包处理需求,才能支持各种不同的储存协议。此外,像是分区(zoning)、LUN屏蔽以及VSAN的分割等安全机制,都会对封包处理器形成更沉重的负荷。


多重通讯协议网关/交换器

多重通讯协议交换器须针对流入的封包进行转译作业,从流入端的通讯协议转译成流出端的通讯协议。例如,iFCP 网关的终端FCP(光纤信道通讯协议)讯框透过N Port网络地址对映至TCP的链接。地址转译表能将FC讯框的D ID/S ID对映成TCP的链接设定,并根据iSNS转译出N Port地址。每个Port Login指令都会强迫iFCP网关查询iSNS,并向外部装置查询出适当的N Port网络地址。在流入端方面(将FC讯框对映至TCP链接),这方面的信息储存在Ifcp网关的内部表格中,这组网关负责把在流入端的光纤信道讯框D ID里面找出的别名(alias)对映成N Port网络地址。在流出端方面(将TCP链接对映成光纤信道讯框),iFCP网关会根据TCP链接以及封装后FC讯框内目的地的N Port ID重新产生别名。所产生的S ID别名会用来取代接收到光纤信道讯框的S ID。


LUN 屏蔽/分区/VSAN

就交换器层级而言,分区(Zoning)是一项维持安全以及数据完整性的常见方法。这种模式必须根据链接埠ID(结合交换器的Domain ID以及交换器的埠号)或是链接埠与/或节点的World Wide Number(WWN)编号来分割储存的数据流。传输作业是在流入端的FC讯框上执行,讯框会根据链接埠ID或WWN配合存取规则对映至可用的储存资源。用来建置translation operator的交换器须储存一组数据库。LUN屏蔽能用来定义LUN(逻辑单元编号)以及每部服务器之间的关系。现今的交换器通常提供各种方法,用来建立LUN层级的访问控制机制,让一部或多部主机能存取特定的LUN。藉由在交换器层级提供访问控制机制,让系统能支持不同厂商的储存设备。LUN屏蔽提供的安全控管机制比分区法更加细腻,因为LUN在链接埠层级提供一套分享储存资源的方法。在交换器层级的LUN屏蔽是结合WWN与主机HBA以及LUN标识符(identifier),针对特定的储存资源建置控管机制。转译作业必须针对每个光纤信道讯框执行这项对映程序,才能控管储存资源的存取。


相较于实际分离的SAN,VSAN提供更高的弹性。将某个装置从一个VSAN移至另一个VSAN,仅须针对链接埠进行设定,不须实际搬移相关设备。相较于分区法,VSAN提供一套更完整的流量隔离机制,强迫控制每个步骤中的讯框,而不是仅控制网络的端点。VSAN的建置方法是切换每个FC讯框中的一组特殊12位VSAN ID。VSAN ID是根据主机及目的地的交换器链接埠或WWN来指定。针对VSAN卷标设定(tagging)进行全线速的FC讯框分类,这项程序是由硬件中的translation operator负责执行。此外,VSAN的概念强调多组VSAN能并存于相同实体SAN基础建设的顶层,网络搜索引擎(Networking Search Engines;NSE)的各种功能可支持这方面的机制,让多组数据库能并存于同一部装置,且每套数据库与其它数据库是相互隔离的。


磁盘与RAID 控制器

现今的磁盘与RAID控制器具备相当高的智能功能,能执行各种储存管理作业藉此简化管理程序并提升扩充性与安全性。LUN屏蔽技术可建置在RAID控制器中,创造出储存分割机制以及维护数据的完整性。转译作业的模式必须与交换器中建置LUN屏蔽的作业一致。


在迈向容量更大且速度更快的储存数组之际,像是磁盘镜射与数据分置等RAID功能,都要求控制器提供更多的处理效能。例如,为了有效地管理磁盘的使用,并维持快取与磁盘中数据的一致性,系统必须采用一套快速且可靠的查询机制。


选择网络搜索引擎(NSE)的优点

根据translation operator对I/O信道中所有装置的行为描述,translation operator涉及许多查询处理作业,其中涵盖封包分类、追踪TCP的传输、设定QoS字段等。目前许多负责内存存取的泛用型处理器或甚至ASIC处理器都能执行这方面的程序。这种模式的缺点是内存的存取作业,视实际建置的搜寻算法,必须耗费数个周期才能完成。这种模式对于线路速度较低的应用或许有效,但若应用在10Gbps以太网络以及光纤信道等环境时,则会形成效能瓶颈。在10Gbps或更高速度的环境中,要运用高效能技术分担100K以上的TCP传输处理作业,这些查询程序就必须运用硬件来执行。NSE创造出一套低TCO(总持有成本)的高流量解决方案。其它替代方案所使用的算法不是需要过多的内存,不然就是需要高速接口(读取、以及传输带宽较宽的接口)。ASIC所达到的效能可媲美NSE。


运用像是NSE这类专属的搜寻协同处理器来执行查询作业,能加快转译程序。搜寻作业可透过NSE来执行,而不是搜寻内存表格中的项目,NSE被密集应用在其它网络领域,例如像透过L2-L4交换器与路由器支持类似的应用。


除了translation operator的功能之外,储存通讯协议在封包分类方面还有许多特殊的要求。其中包括:


  • ●解析控制讯框中的SCSI指令


  • ●SCSI数据流的建立与删除


  • ●在相同的flow-flow辨识讯框之间进行状态转译


  • ●数据流辨识,在多组执行引擎之间进行负载平衡


  • ●在完成分类后进行高速的表格处理作业


  • ●在分类后进行讯框处理程序


  • ●采取这类动作衍生出多重分类需求


  • ●Atomic表格查询以及锁定表格,以达到一贯性与连续性


  • ●运用不同链接埠的多组数据流处理全局的表格


  • ●ACL以及区块范围检查


  • ●辨识与分类讯框,提供不同水平的服务质量



为了让封包处理器能以全速执行这些作业,业界须开发出软件型的方案并运用高速的API。其它运用多重CPU核心的硬件型解决方案,可同步处理许多数据讯框,并用来执行这种分类程序。但这种方法的限制就是需要大量的内存,且难以开发出完美的多重线程程序。NSE加上设计完善的小型网络协同处理器,有助于克服这方面的问题。尤其是表格搜寻算法,可利用NSE分担封包处理器在这方面的作业。说明表格搜寻算法的最好例子就是讯框分类以及可用资源列表(free list)的管理。这些都是耗费大量运算与内存资源的作业,而NSE正好能分担封包处理器的处理负荷。NSE让系统能将多重表格事先写入组件中,让系统能以全线速进行搜寻作业。


NSE型表格查询法的其它利益包括:


  • ●针对不同的软件表格进行可用资源列表管理


  • ●高速建置Malloc 与Free算法


  • ●例外状况管理机制,处理已被排除的错误传输



运用NSE转译数据与通讯协议

现今各种L2至L4交换器、存取设备以及安全系统广泛地运用NSE,藉此加快封包处理以及QoS功能的执行速度。在上述所有系统中,NSE能接受数据“密钥”,并能在一个周期的查询作业后就得到结果。若将转译作业视为一对一的数据对映,则二进制的CAM会是理想的方案。例如,L2(MAC)Forwarding通常需要针对流入的封包MAC目的地地址进行绝对匹配的查询,以便将封包对映至特定的输出埠。另一方面,若转译被视为多对一的作业,则应采用Ternary CAMs(TCAMs)技术,因为它能提供一套简易的方法,在结果被查出之前将输入“密钥”中的某些位用屏蔽挡住。产品像运用Longest Prefix Matching(LPM)算法的L3中继传输,会将多组目的地IP地址对映至下一个中继站的地址。TCAM加上针对每个位的屏蔽功能,是这类应用的最佳方案。


(图二)显示NSE在策略解析应用中所发挥的功能,这类应用需要封包平台(ASIC、FPGA或NPU)来分析是否要允许封包通过网络。为分担耗费大量运算周期的处理程序,封包处理器建构出一组五重密钥,并根据传送至NSE的IP封包表头来辨识封包数据流。这个五重密钥包括:


  • ●32 位来源ID


  • ●32 位目的地ID


  • ●16 位来源埠


  • ●16 位的目标埠


  • ●8 位的通讯协议ID



《图二 运用NSE进行策略解析》
《图二 运用NSE进行策略解析》

在上述范例中可归纳出三项值得探讨的结论:


  • (1)虽然图中使用IP封包来解释,NSE亦能支持其它型式的数据输入,它们对数据格式没有任何默认立场。例如像储存处理器 (ASIC、FPGA等)可运用NSE来对映光纤信道或iSCSI数据。


  • (2)NSE的功能可比喻成高速硬件转译器,能在一个周期内将输入数据对映至输出数据。


  • (3)像是576位的大型的搜寻密钥,在表格管理与复杂的密钥搜寻方面提供相当大的弹性。



NSE提供不同的密度(2M、4M、9M以及18M)以及密钥尺寸(36、72、144、288以及576 位),以配合各种储存网络中的不同转译作业。此外,像是NSE这类组件能搭配ASIC、FPGA以及NPU(透过LA-1接口)。


结论

储存设备面临新的需求,必须实现汇整型储存网络的目标,厂商面临一项迫切的挑战,须同时满足这些需求并维护储存的安全性。业者可运用分担处理工作的协同处理器大幅提升处理效能并满足封包处理的需求。NSE结合网络协同处理器提供一套高效率的标准化解决方案,分担封包处理器的搜寻作业。这些方案为储存设备厂商带来及时完成设计、产品迅速问市以及延伸性等方面的优势。(作者任职于Cypress)


  相关新闻
» AI浪潮来袭!伺服器面临高热密度挑战 Vertiv协助矽谷主机代管商在既有机房突破散热瓶颈
» 英业达捐赠台大高效伺服器 引领学术研究高算力大未来
» 数位部办理5G专网国际论坛 机械业看好有助於短链劳动力
» 欧盟规划6G计画主席来台 与经济部签约合作跨国研发
» TrendForce:伺服器供应链重组 云端大厂扩大分散基地避险


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK85A9H6WTCSTACUKB
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw