帳號:
密碼:
最新動態
產業快訊
CTIMES / 文章 /
網路搜尋引擎架構優勢概述
提升通訊協定與資料處理速度

【作者: Cypress】   2004年08月04日 星期三

瀏覽人次:【7222】

根據統計,所有儲存系統的支出當中,有50%的費用是花在NAS與SAN技術,這顯示出業界邁向網路化儲存的趨勢。客戶要求的不再僅是連結可靠度更高的儲存網路。各大廠商正著手開發新型解決方案,這類方案以往都配置在主系統中,其功能結構位於網路層之下。例如像是虛擬化以及安全等方面的技術就是最好的例子。


邁向複雜與智慧型儲存網路的動力

業者在追求降低成本的目標下,紛紛採用規模更大的網路化儲存系統,應用在伺服器與儲存匯整以及災難修復等專案中。這些規模持續擴充的儲存集區對於現有的基礎建設帶來許多壓力,且使用者亦需要不同的服務品質以及安全性。而在現今相互隔離的小型儲存集區中,並沒有發生這類問題。


包括像光纖通道與IP等相互競爭的技術,能解決不同應用所面臨的相同問題,這些技術促使業者運用多重通訊協定的交換器或轉換器,而這類系統則需搭配複雜、相互連結的儲存網路。


現今的災難修復與商務持續運作等專案,需要像是鏈結加密以及「data-at-rest」資料加密等安全機制。這方面的需求讓儲存網路更加複雜。尤其是面臨嚴格法律規範的產業更是如此,像是金融與醫療等產業就面臨Sarbanes-Oxley 沙氏法案以及美國證管會SEC 17a法條的規範。


為提高速度並縮短延遲,協助業者突破技術上的極限,但亦增加網路的複雜度。OEM業者已著手發展10G網路以及支援這類網路的相關技術。


智慧型儲存資料處理

訊框(Frame)檢驗與資料處理以往都是運用軟體或硬體的表頭檢驗技術,但如今已無法滿足這些智慧型網路的需求。許多廠商紛紛開發新技術,因應這些市場趨勢,並簡化這些必要的處理作業。業者必須開發適合的解決方案來解決這些問題,並將解決方案套用在HBA、TCA以及交換器等刀鋒型系統。為達成這個目標,業者將須投入大筆的資金開發客制化的ASIC或昂貴的網路處理器,類似資料網路所使用的系統。現今以網路處理器為基礎所開發的解決方案,都是針對特定的資料網路需求所量身訂製。然而各種儲存網路的需求,例如像SCSI或iSCSI,其本質以及資料流的屬性都有極大的差異。例如:


  • ●控制訊框與資料訊框之間的差異,是影響服務品質的重要因素


  • ●資料訊框的容量通常較大


  • ●儲存資源中資料流的生命週期較短


  • ●訊框有狀態上的差別且需要維持一致性(persistence)



《圖一 網路化儲存環境中的儲存區域網路》
《圖一 網路化儲存環境中的儲存區域網路》

要求與回應的處理資料(payload)在傳送期間會使用多種通訊協定與裝置。在檔案與區塊層級的磁碟存取、IP/乙太網路與光纖通道的發送端或目的地之間存有許多轉譯機制。除此之外,每個轉譯階段以及指令回應程序的每個端點,都必須配置通訊協定的終端機制。由於傳輸網路的底層採用10Gbps以上的速度,因此這些轉譯與終端作業對處理資源形成更多的壓力。儲存設備廠商採用各種策略試圖解決這方面的問題。這些策略可區分成兩大類:運用ASIC型解決方案,以及運用現成的處理器。兩種方法都需要將作業負荷分擔給協同處理器,並讓協同處理器以10Gbps以上的全速模式支援網路儲存作業。


儲存網路中的資料與通訊協定轉譯

如(圖一)所示,在儲存資料流方面,在從來源端傳送至目標期間,需要執行多項轉譯功能。在轉譯或對映功能方面,系統會運用一組translation operator負責將資料流從某項處理器轉譯成另一項通訊協定。translation operator可使用多組參數,例如像layer2通訊協定以及layer3的QoS。translation operator能執行邏輯處理,讓主機或某些上游的operator不會看到詳細的儲存I/O作業 。translation operator是位於I/O通道上的儲存層級功能,負責處理裝置、子系統以及下游虛擬裝置的位址。從另一個角度來看,translation operator會將虛擬裝置匯出至上游要求使用I/O資源的系統。


這種translation operator的建置模式視網路運作的環境而定。


Initiator與target主機匯流排配接卡

Initiator與Target的主機匯流排配接卡(HBA)負責接收與處理儲存傳輸資料,之後再讓應用存取儲存媒體。HBA通常提供各種I/O轉譯的功能(區塊層級的儲存資料轉譯成可路由的SAN通訊協定)以及分擔CPU處理負載/提高伺服器儲存資料使用效率(緩衝儲存與處理流入的儲存資料,藉此降低主機處理器的中斷頻率)。傳送與接收端的HBA愈來愈常被用來分擔CPU的處理負荷,負責處理像是光纖通道、iSCSI以及TCP等網路與儲存通訊協定。


在終結這些通訊協定時,HBA會執行一套轉譯作業,將流入的封包資訊轉換成每個封包或每個session的處理資訊,然後再傳送給HBA中的處理引擎。例如在接收到TCP資料流時,會根據TCP來源/目的地的連結埠編號以及IP來源/目的地位址,查詢記載TCP傳輸階段資訊的表格。之後會以傳輸階段ID作為為指標,擷取狀態資訊提供給TCP傳輸作業參考。


SAN 交換器

現今的多重通訊協定SAN交換器必須因應持續成長的封包處理需求,才能支援各種不同的儲存協定。此外,像是分區(zoning)、LUN遮罩以及VSAN的分割等安全機制,都會對封包處理器形成更沉重的負荷。


多重通訊協定閘道器/交換器

多重通訊協定交換器須針對流入的封包進行轉譯作業,從流入端的通訊協定轉譯成流出端的通訊協定。例如,iFCP 閘道器的終端FCP(光纖通道通訊協定)訊框透過N Port網路位址對映至TCP的連結。位址轉譯表能將FC訊框的D ID/S ID對映成TCP的連結設定,並根據iSNS轉譯出N Port位址。每個Port Login指令都會強迫iFCP閘道器查詢iSNS,並向外部裝置查詢出適當的N Port網路位址。在流入端方面(將FC訊框對映至TCP連結),這方面的資訊儲存在Ifcp閘道器的內部表格中,這組閘道器負責把在流入端的光纖通道訊框D ID裡面找出的別名(alias)對映成N Port網路位址。在流出端方面(將TCP連結對映成光纖通道訊框),iFCP閘道器會根據TCP連結以及封裝後FC訊框內目的地的N Port ID重新產生別名。所產生的S ID別名會用來取代接收到光纖通道訊框的S ID。


LUN 遮罩/分區/VSAN

就交換器層級而言,分區(Zoning)是一項維持安全以及資料完整性的常見方法。這種模式必須根據連結埠ID(結合交換器的Domain ID以及交換器的埠號)或是連結埠與/或節點的World Wide Number(WWN)編號來分割儲存的資料流。傳輸作業是在流入端的FC訊框上執行,訊框會根據連結埠ID或WWN配合存取規則對映至可用的儲存資源。用來建置translation operator的交換器須儲存一組資料庫。LUN遮罩能用來定義LUN(邏輯單元編號)以及每部伺服器之間的關係。現今的交換器通常提供各種方法,用來建立LUN層級的存取控制機制,讓一部或多部主機能存取特定的LUN。藉由在交換器層級提供存取控制機制,讓系統能支援不同廠商的儲存設備。LUN遮罩提供的安全控管機制比分區法更加細膩,因為LUN在連結埠層級提供一套分享儲存資源的方法。在交換器層級的LUN遮罩是結合WWN與主機HBA以及LUN識別碼(identifier),針對特定的儲存資源建置控管機制。轉譯作業必須針對每個光纖通道訊框執行這項對映程序,才能控管儲存資源的存取。


相較於實際分離的SAN,VSAN提供更高的彈性。將某個裝置從一個VSAN移至另一個VSAN,僅須針對連結埠進行設定,不須實際搬移相關設備。相較於分區法,VSAN提供一套更完整的流量隔離機制,強迫控制每個步驟中的訊框,而不是僅控制網路的端點。VSAN的建置方法是切換每個FC訊框中的一組特殊12位元VSAN ID。VSAN ID是根據主機及目的地的交換器連結埠或WWN來指定。針對VSAN標籤設定(tagging)進行全線速的FC訊框分類,這項程序是由硬體中的translation operator負責執行。此外,VSAN的概念強調多組VSAN能並存於相同實體SAN基礎建設的頂層,網路搜尋引擎(Networking Search Engines;NSE)的各種功能可支援這方面的機制,讓多組資料庫能並存於同一部裝置,且每套資料庫與其它資料庫是相互隔離的。


磁碟與RAID 控制器

現今的磁碟與RAID控制器具備相當高的智慧功能,能執行各種儲存管理作業藉此簡化管理程序並提升擴充性與安全性。LUN遮罩技術可建置在RAID控制器中,創造出儲存分割機制以及維護資料的完整性。轉譯作業的模式必須與交換器中建置LUN遮罩的作業一致。


在邁向容量更大且速度更快的儲存陣列之際,像是磁碟鏡射與資料分置等RAID功能,都要求控制器提供更多的處理效能。例如,為了有效地管理磁碟的使用,並維持快取與磁碟中資料的一致性,系統必須採用一套快速且可靠的查詢機制。


選擇網路搜尋引擎(NSE)的優點

根據translation operator對I/O通道中所有裝置的行為描述,translation operator涉及許多查詢處理作業,其中涵蓋封包分類、追蹤TCP的傳輸、設定QoS欄位等。目前許多負責記憶體存取的泛用型處理器或甚至ASIC處理器都能執行這方面的程序。這種模式的缺點是記憶體的存取作業,視實際建置的搜尋演算法,必須耗費數個週期才能完成。這種模式對於線路速度較低的應用或許有效,但若應用在10Gbps乙太網路以及光纖通道等環境時,則會形成效能瓶頸。在10Gbps或更高速度的環境中,要運用高效能技術分擔100K以上的TCP傳輸處理作業,這些查詢程序就必須運用硬體來執行。NSE創造出一套低TCO(總持有成本)的高流量解決方案。其它替代方案所使用的演算法不是需要過多的記憶體,不然就是需要高速介面(讀取、以及傳輸頻寬較寬的介面)。ASIC所達到的效能可媲美NSE。


運用像是NSE這類專屬的搜尋協同處理器來執行查詢作業,能加快轉譯程序。搜尋作業可透過NSE來執行,而不是搜尋記憶體表格中的項目,NSE被密集應用在其它網路領域,例如像透過L2-L4交換器與路由器支援類似的應用。


除了translation operator的功能之外,儲存通訊協定在封包分類方面還有許多特殊的要求。其中包括:


  • ●解析控制訊框中的SCSI指令


  • ●SCSI資料流的建立與刪除


  • ●在相同的flow-flow辨識訊框之間進行狀態轉譯


  • ●資料流辨識,在多組執行引擎之間進行負載平衡


  • ●在完成分類後進行高速的表格處理作業


  • ●在分類後進行訊框處理程序


  • ●採取這類動作衍生出多重分類需求


  • ●Atomic表格查詢以及鎖定表格,以達到一貫性與連續性


  • ●運用不同連結埠的多組資料流處理全域的表格


  • ●ACL以及區塊範圍檢查


  • ●辨識與分類訊框,提供不同水準的服務品質



為了讓封包處理器能以全速執行這些作業,業界須開發出軟體型的方案並運用高速的API。其它運用多重CPU核心的硬體型解決方案,可同步處理許多資料訊框,並用來執行這種分類程序。但這種方法的限制就是需要大量的記憶體,且難以開發出完美的多重執行緒程式。NSE加上設計完善的小型網路協同處理器,有助於克服這方面的問題。尤其是表格搜尋演算法,可利用NSE分擔封包處理器在這方面的作業。說明表格搜尋演算法的最好例子就是訊框分類以及可用資源清單(free list)的管理。這些都是耗費大量運算與記憶體資源的作業,而NSE正好能分擔封包處理器的處理負荷。NSE讓系統能將多重表格事先寫入元件中,讓系統能以全線速進行搜尋作業。


NSE型表格查詢法的其它利益包括:


  • ●針對不同的軟體表格進行可用資源清單管理


  • ●高速建置Malloc 與Free演算法


  • ●例外狀況管理機制,處理已被排除的錯誤傳輸



運用NSE轉譯資料與通訊協定

現今各種L2至L4交換器、存取設備以及安全系統廣泛地運用NSE,藉此加快封包處理以及QoS功能的執行速度。在上述所有系統中,NSE能接受資料“密鑰”,並能在一個週期的查詢作業後就得到結果。若將轉譯作業視為一對一的資料對映,則二進位的CAM會是理想的方案。例如,L2(MAC)Forwarding通常需要針對流入的封包MAC目的地位址進行絕對匹配的查詢,以便將封包對映至特定的輸出埠。另一方面,若轉譯被視為多對一的作業,則應採用Ternary CAMs(TCAMs)技術,因為它能提供一套簡易的方法,在結果被查出之前將輸入“密鑰”中的某些位元用遮罩擋住。產品像運用Longest Prefix Matching(LPM)演算法的L3中繼傳輸,會將多組目的地IP位址對映至下一個中繼站的位址。TCAM加上針對每個位元的遮罩功能,是這類應用的最佳方案。


(圖二)顯示NSE在策略解析應用中所發揮的功能,這類應用需要封包平台(ASIC、FPGA或NPU)來研判是否要允許封包通過網路。為分擔耗費大量運算週期的處理程序,封包處理器建構出一組五重密鑰,並根據傳送至NSE的IP封包表頭來辨識封包資料流。這個五重密鑰包括:


  • ●32 位元來源ID


  • ●32 位元目的地ID


  • ●16 位元來源埠


  • ●16 位元的目標埠


  • ●8 位元的通訊協定ID



《圖二 運用NSE進行策略解析》
《圖二 運用NSE進行策略解析》

在上述範例中可歸納出三項值得探討的結論:


  • (1)雖然圖中使用IP封包來解釋,NSE亦能支援其它型式的資料輸入,它們對資料格式沒有任何預設立場。例如像儲存處理器 (ASIC、FPGA等)可運用NSE來對映光纖通道或iSCSI資料。


  • (2)NSE的功能可比喻成高速硬體轉譯器,能在一個週期內將輸入資料對映至輸出資料。


  • (3)像是576位元的大型的搜尋密鑰,在表格管理與複雜的密鑰搜尋方面提供相當大的彈性。



NSE提供不同的密度(2M、4M、9M以及18M)以及密鑰尺寸(36、72、144、288以及576 位元),以配合各種儲存網路中的不同轉譯作業。此外,像是NSE這類元件能搭配ASIC、FPGA以及NPU(透過LA-1介面)。


結論

儲存設備面臨新的需求,必須實現匯整型儲存網路的目標,廠商面臨一項迫切的挑戰,須同時滿足這些需求並維護儲存的安全性。業者可運用分擔處理工作的協同處理器大幅提升處理效能並滿足封包處理的需求。NSE結合網路協同處理器提供一套高效率的標準化解決方案,分擔封包處理器的搜尋作業。這些方案為儲存設備廠商帶來及時完成設計、產品迅速問市以及延伸性等方面的優勢。(作者任職於Cypress)


  相關新聞
» 工研院通訊大賽獲獎名單出爐 AI創新應用助2025年通訊業產值破兆
» AI浪潮來襲!伺服器面臨高熱密度挑戰 Vertiv協助矽谷主機代管商在既有機房突破散熱瓶頸
» 英業達捐贈台大高效伺服器 引領學術研究高算力大未來
» 數位部辦理5G專網國際論壇 機械業看好提升短鏈勞動力
» 歐盟6G計畫主席來台 與經濟部簽約合作跨國研發


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.3.145.8.139
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: webmaster@ctimes.com.tw