账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
磁区管理与高效能线上资料存取
 

【作者: VERITAS】2001年02月01日 星期四

浏览人次:【9671】

前言

面对电子商务对于全天24小时永不停止的运转需求,储存管理产品最大的贡献之一就是将磁区管理与档案管理技术整合,成为具备高可用性、高效能、高延展性的电子商务资料储存基础。若要充分体会全面资料储存管理对于电子商务资料库的重要性,最好先了解电子商务资料库传输(I/O)的本质。


电子商务资料库传输(I/O)的本质

由于电子商务环境每秒产生之资料传输要求(I/O request)次数非常频繁,而每次传输要求之资料传输量(Transfer rate)都只有数千位元而已,故电子商务应用软体对每秒可处理多少资料传输的要求较为重视。应用软体需求资料之顺序是无法预测的,所以电子商务资料管理系统的储存装置必须具备随机存取功能。正由于对随机存取与小规模资料库传输的绝对需求,使得存取(accessing)资料方式(使磁碟机读写头到达正确的磁碟位置)远比传输(Transferring)资料重要,将大大的影响并决定电子商务资料库传输的效能(I/O performance)。因为资料存取牵涉较多的机械动作,更突显了磁碟机械的效能对应用软体效能的重要。


若要改善对于I/O要求极高的应用软体效能,有两种方法:


将资料储存于稳定的记忆体中。


加装更多磁碟以平衡资料库传输(I/O)负载。


快取记忆体与资料库管理系统

快取记忆体非常适合用于读取资料。资料可以先读取入快取记忆体中,然后再慢慢传送给应用软体。所以,资料库管理系统都广泛运用主机上之读取快取(read cache)记忆体。而目前大部分主机可安装使用之快取记忆体容量皆远超过资料库管理系统可直接使用的容量。写入快取就不一样了。运用暂时写入(write-through)快取,就可以在写入作业结束讯号发出前,将资料写入磁碟。运用回写(write-back)快取,则会先发出结束讯号,而资料实际写入磁碟的动作却会被延后到稍后执行。虽然运用暂时写入快取的写入效能大约等于完全不使用快取的写入作业效能,但是好处在于,当应用软体再度读取最近写入的资料时,将会直接从快取记忆体中读取,使速度加快许多。


另一方面,回写快取则可以大幅改善应用软体的效能,因为应用软体无需等候磁碟将资料完全写入即可处理下一笔资料库传输要求。然而,应用软体所写入的资料还是有可能因为停电或其他系统故障,导致快取记忆体内容毁损,而使内含资料消失无踪。


良好的资料管理系统必须提供充分确实的安全防护,保障使用者的资料完整性。尤其,资料管理系统会要求在磁碟资料确实更新后,才通知应用软体。理由非常简单,倘若资料更新仅及于暂时性的快取记忆体时,万一供电失常或其他系统故障都可能将所有资料清除一干二净,而导致资料记录不一致。


资料库供应商通常不鼓励采用回写快取,而大多建议关闭RAID子系统与磁碟回写快取。他们认为若使用回写快取,则资料管理系统将无法精确地得知资料是否安然地储存在磁碟里,因而无法保证资料的完整性。因此,大多的资料管理系统通常无法利用能够增强资料库传输(I/O)效能的回写记忆体。


I/O负载平衡

由于磁碟机的机械效能是对于应用软体存取速度具有极其关键之影响力,因此可透过加装更多磁碟(更多容量以供存取个别资料),并将资料散布期间来改善效能。然而,事情并非如此单纯。大部份的应用软体难免都会有资料存取的「尖峰期」“hot spots",有某些资料表或索引会经常被存取(例如索引树状结构的根目录等),或者在某些特定时段被大量存取。例如,每天一早,客户资料库存取的尖峰期可能是包含美国东岸客户记录的资料表。而到了中午,资料库存取的尖峰期则变成包含美国西岸客户记录的资料表了。


倘若每个索引(Index)或资料库表格(Table)分别储存在不同的磁碟,则该磁碟的效能就会限制索引或资料库表格的存取效率,不但使得大部分的磁碟闲置,造成资源极度浪费,更令少数包含大型资料库的磁碟因为资料库传输(I/O)要求过高而达到饱和状态。


重新配置索引与资料库表格,使经常被存取的资料分散至各磁碟,是改善应用软体效能的方法之一。基本上,上述方法会有成效,但还是会因为下列3个原因而效果不彰:


1. 耗费时间与资源:

若要运用这个技术改善效能,则资料库管理者必须耗费时间监控资料库的存取状况,加以分析,然后依据存取率移动资料物件。然而,大部份资料管理者最不应该从事的就是这种重复性的工作,就如同大部分资料上线时最不应该浪费时间处理非必要(non-productive)I/O。


2. 无法保证准确:

企图利用过去的资料库存取活动分析而重新配置资料,就好比预测未来一般不切实际。倘若资料库的某部分在星期二比星期三忙碌,而使得管理者必须重新分析并加以调整资料位置,未免太过不切实际。


3. 几乎无法实现:

资料库表格通常由索引分类(例如,以客户名称栏,或由邮递区号栏分类),而这些分类储存在不同的磁碟。若资料存取与这种分类方式相关时(譬如当储存的批次更新适用于该资料库时),仍会造成另一个尖峰期。例如,已经储存的批次交易更新以"B"字母开头的客户名称时,将导致包含该资料表的磁碟被频繁存取,而其他磁碟则闲置。


磁区管理软体(Volume Manager)可透过跨磁碟平均分配资料区块,而平衡I/O负载。资料平均分配功能可以将单一资料库表格平均分配散布至多重磁碟,由于资料平均分配,就不必在意某资料表「过热」,因为每个资料表都分配给数个磁碟,可以平均存取所有硬体资源。


磁区(Volumes):资料完整性与I/O效能

对于成功的电子商务而言,资讯必需可供永不停顿的存取,但磁碟、I/O汇流排,甚至电脑都可能故障。因此,电子商务全天24小时不停运转的先决条件就是储存装置必需随时可用。磁区管理软体将实体磁碟整合成虚拟磁区,可容忍磁碟与I/O汇流排故障。对于资料管理系统与其他应用软体而言,磁区在功能上比实体磁碟更为理想,因为透过主机架构(Host-based)的RAID技术,磁区可以容忍磁碟故障,约略等同于磁碟阵列(RAID Subsystem),请见(图一)。


《图一 不同类型RAID扇区的容错》
《图一 不同类型RAID扇区的容错》

主机架构的RAID磁区具备两个主要优势:


1.初期与后续的硬体投资明显较低:

当电子商务开始营运时,通常不会有太多的线上资讯。因此,主机架构的RAID可搭配价格便宜的商用磁碟,及便宜的商用主机汇流排连接器(adapter),即可保护少量的资料,无需大笔金额投资储存硬体。而当电子商务逐渐成长而拥有较多线上资料时,主机架构的RAID还可以逐次加装单一磁碟而扩充延展,但是硬体RAID子系统的延展通常就要更大金额的投资。


2.主机架构的磁区可补充RAID磁碟子系统:

随着电子商务成长而运用更多应用软体存取线上资料时,通常就需要RAID子系统。而主机架构的磁区可将硬体RAID子系统加以整合,以增加容量或加强可用性。


资料平均分配以平衡I/O负载

磁区管理软体也支援跨磁碟的资料平均分配功能,可平衡负载并使效能最佳化。跨磁碟平均分配资料的方式有三种:


1.无故障防护:

这种架构有时也称为RAID 0,可夸现有磁碟资源,平衡I/O负载。但由于不提供磁碟故障防护,故千万不可以用于重要的电子商务资料(图二)。


《图二 热重配置使二次故障的机会降至最低》
《图二 热重配置使二次故障的机会降至最低》

2.提供同位元检查防护:

这种结构通常称为RAID 5,提供比镜射更低成本的故障防护功能,利用「同位元检查资料」磁碟(parity disk),保护其他存放使用者资料的磁碟,以免其中某个磁碟故障造成资料遗失。然而RAID 5写入效能较差,故不适合于经常更新的资料库表格。在电子商务应用中,RAID 5适合资料极少更新的状况,例如:网页或资料仓储。


3.提供镜射功能:

这种结构有时候称为RAID 0+1,在平均分配功能所提供的负载平衡之外,还附加了镜射容错,属于关键业务线上资料的容错,是效能与实用的理想组合。平均分配加上镜射功能可用来防护所有的关键性电子商务资料,例如销售与财务记录,以及经常存取的资料,例如库存、制造或交货记录。


使RAID保护的资料随时可用

全天24小时不停运作的电子商务所需之特定格式的RAID的适用性,取决于故障发生时资料的遭遇。有两种故障对主机架构之RAID磁区的资料可用性影响很大:


  • 1.RAID磁区中的某磁碟故障


  • 2.RAID磁区管理软体所在的系统发生毁损



RAID和磁碟故障

当镜射磁碟故障时,磁区管理软体会存取磁区的剩余磁碟。在同位元检查RAID磁区中发生磁碟故障时,磁区管理软体必须依据应用软体的要求使资料再生。如此,镜射和RAID磁区可以容忍单一磁碟故障。为预防磁他磁碟故障导致资料遗失,因此当单一磁碟故障发生后尽速进行磁碟复原是极为重要的课题。磁碟复原的程序有二:


  • 1.以其他磁碟取代故障磁碟


  • 2.在替代磁碟上重建故障磁碟的内容


  • 磁区管理软体具备"线上重新配置"(hot relocation)功能,可供储存装置管理者预先指定一个以上的备用磁碟,以供发生磁碟故障时自动用于磁碟复原。若有备用磁碟,磁区管理软体就会立即在该备用磁碟上开始重建故障磁碟内容,可无需人工介入恢复流程,使资料恢复的时间缩至最短。


  • 磁区管理软体会完整地重建故障磁碟内容,而应用软体仍可正常使用受影响的磁区。重建作业必须仰赖资料传输(I/O),并对应用软体的执行有很大影响。而磁区管理软体容许系统管理者调整用于重建作业之资料传输(I/O)量,使对应用软体的冲击减至最小。



RAID和系统损毁

即使I/O与多重磁碟相关,写入RAID磁区的作业仍需自动化;也就是说,每次写入都必须针对全体磁区。例如,若应用软体写入资料至镜射磁区,该资料必需写入至磁区中所有的磁碟。同样地,应用软体每次写入资料到RAID 5磁区,则同位元检查和使用者资料都必需更新。


保证自动更新是RAID技术的一大难题,因为每当RAID某部分完成更新程序时,就是发生系统故障的大好机会。若发生故障时,可能要很久一段时间之后才会发现资料已经毁损了。


若毁损发生在写入镜射磁区的所有磁碟,那么随后由不同的磁碟执行读取可能会产生不同的结果。若毁损发生在RAID 5磁区的使用者资料更新之后,而在同位元检查更新之前,则可能要等数星期或数月之久,直到其他磁碟故障而使用过时的同位元检查再生资料时,才会被发现。


若要保证RAID磁区自动更新,需要:


1.检测系统损毁遗留不一致的磁区


2.在故障恢复后尽快恢复内部磁区的一致性(例如,使镜射磁区的所有磁碟内容相同,或同位元检查比较RAID 5磁区的所有区块)


另一方面,由于磁区管理软体会假设系统故障后所有磁区是不一致的,而将所有资料都加以复制或重建,导致较长的恢复时间。比较有效率的策略是保存资料更新磁区的记录。当系统重新启动时,就会读取该记录,而只有相对应的资料区域会被重建。


与资料库恢复机制整合

资料库管理系统会运用自己的记录与恢复机制,在系统故障后恢复资料库完整性。即使资料库的储存磁区在系统毁损后仍原封不动,仍不保证资料库的传输完整性,例如只有传输完成后才会反应在资料库中。举例来说,Oracle就是在系统故障后执行redo log,来修复任何可能的损失,保证资料库的一致性。由于资料库管理系统非常了解资料损失的风险,您可以放心地将故障恢复的工作交付资料库系统(图三)。


《图三 系统故障后的数据库恢复》
《图三 系统故障后的数据库恢复》

磁区管理软体并不使用自己的更动区域记录来恢复包括资料库资料的磁区。这种整合式的恢复技术有两个优点:


  • 1.快速重新启动:由于磁区管理软体无需恢复资料库表格,资料表包含大部份资料库的清单,资料库管理系统(以及应用软体)可以更快开始重新启动的流程。


  • 2.精密的恢复:由于资料库管理系统可以针对需要恢复的资料进行恢复作业,以避免不必要的时间浪费。



运用磁区技术来满足电子商务的效能需求除了为线上资料提供高可用性储存装置之外,一般而言磁区管理功能会使原始磁碟表现更为优秀。各种类型的RAID磁区对资料传输(I/O)效能的影响都有些微不同。设计电子商务资料库时,如果能对RAID磁区的特性有所了解,将对适当放置资料有所助益。

镜射磁区通常在读取时会使单一磁碟表现更优秀,因为磁区管理软体会透过选择最不忙碌的镜射磁区的磁碟,来满足各读取要求,而使I/O延迟降至最低。


两个镜射磁区的预期效能会比单一磁碟稍低。因为磁区管理软体必须镜射每个应用软体写入要求至磁区的每一磁碟,这些写入是彼此独立的(与RAID 5写入不同),而且可以同步执行。此外,更动区域登录需要耗费一些时间,让应用软体改写新的区域。


RAID 5与单一磁碟相比,写入效能较差,因为每个应用软体的写入都会要求磁区管理软体执行一系列读取与写入至RAID磁区的磁碟。因此,经常更新电子商务资料库表格时,不建议使用RAID 5磁区。


结论

资料库管理系统的基本观念就是将资料与应用软体分开,资料库提供安全性、完整性、交易规范与恢复能力,在资讯技术成长、变更与更换的同时,使资料与应用软体合而为一。而储存装置品质越高,则资料库愈发挥功效。


本文介绍的磁区管理技术,正是一个高效能、有弹性、可延展的电子商务资料库基础之一,具备初期与后续硬体投资成本较低及主机架构的磁区可补充RAID磁碟子系统等优点。


除了磁区管理技术外,另一个储存管理的重要技术则为档案系统,它可强化资料库表格与索引的效能、弹性与管理,本系列下期将为各位详细介绍,敬请期待。


相关文章
影响力持续扩增 电子商务颠覆零售战略
甲骨文预测:2020-2025年十大云端趋势
「零」钱包革命 颠覆金融圈
开创储存和网路晶片系统设计新局
完善、整合-从手机功能的变化发展看资料库效能的扩展
comments powered by Disqus
相关讨论
  相关新闻
» AI浪潮来袭!伺服器面临高热密度挑战 Vertiv协助矽谷主机代管商在既有机房突破散热瓶颈
» 英业达捐赠台大高效伺服器 引领学术研究高算力大未来
» 资通电脑为暄达医学导入Oracle EBS优化作业流程
» 数位部办理5G专网国际论坛 机械业看好有助於短链劳动力
» 欧盟规划6G计画主席来台 与经济部签约合作跨国研发


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK84SD86PH6STACUK9
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw