购买

¥30.0

加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 IT行业存储基础知识培训

IT行业存储基础知识培训.ppt

IT行业存储基础知识培训

烟雨梦兮
2018-10-14 0人阅读 举报 0 0 0 暂无简介

简介:本文档为《IT行业存储基础知识培训ppt》,可适用于IT/计算机领域

IT行业存储基础知识培训*RAID技术*RAID基本概念定义RAID(RedundantArrayofIndependentDisks)即独立磁盘冗余阵列RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘从而达到提升存储容量、读写性能和数据安全性的目的。根据不同的组合方式可以分为不同的RAID级别RAID数据条带化无校验RAID数据镜像无校验RAID海明码错误校验及校正(不常用)RAID数据条带化读写校验信息存放于专用盘(不常用)RAID单次写数据采用单个硬盘专用盘存放校验数据(不常用)RAID数据条带化校验信息分布式存放RAID数据条带化分布式校验并提供两级冗余*可靠性未使用RAID一旦硬盘损坏资料将丢失!作业将停顿!资料仍然存在!使用RAIDRAID出现原因一提高容量未使用RAID使用RAID硬盘容量单块硬盘容量硬盘容量=单块硬盘容量xNRAID出现原因二一旦硬盘损坏资料将丢失!作业将停顿!提升速度速度Nx单块硬盘的速度TotalrequestexecutiontimeSoftwaresetupAccessTimeDataTransferSoftwareCompletionRAID出现原因三CPU运算速度飞速提高数据读写速度不应该成为计算机系统处理的瓶颈RAID基本概念条带分条条带硬盘硬盘硬盘硬盘大数据块写入RAID时会被分成多个数据块并行写入多块硬盘这些大小一致的数据块就称为条带。同时数据读取时会并行从多块硬盘读取条带数据最后完整输出。条带无疑会大幅度提升整体读写效率。*RAID基本概念重建(Rebuild)数据盘APAAPXOR故障数据盘校验盘AAXOR数据盘更换某块硬盘出现故障后一旦将其更换为正常硬盘RAID便会通过其他硬盘数据计算出坏盘上原有的数据再将数据重建回新添硬盘上。*RAID热备盘HotSpare热备份是在建立RAID磁盘阵列系统的时候将其中一磁盘指定为热备磁盘此热备磁盘在平常并不操作当阵列中某一磁盘发生故障时热备磁盘便取代故障磁盘并自动将故障磁盘的数据重构在热备磁盘上。热备盘分为:全局热备盘和局部热备盘全局热备盘:针对整个磁盘阵列对阵列中所有RAID组起作用。局部热备盘:只针对某一RAID组起作用。因为反应快速加上快取内存减少了磁盘的存取所以数据重构很快即可完成对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言热种技术。很明显这两种技术针对不同的需求。翻下页SAN是应用服务器共享的高性能存储而NAS是用户共享的文件存储。但是公司往往同时需要它们他们有应用服务器也有用户。幸运的是戴尔和EMC进行了合作把这些技术融合在一起解决了这个问题是业界的福音。IPSAN与FCSAN比较IPSAN适用环境:异地间的数据交换及容灾备份非关键应用的集中存储。FCSAN适用环境:关键应用的集中存储、备份及容灾。优点缺点IPSAN部署成本低共享网络(IP网络复用提高网络利用率)维护简便适合远距离传输传输效率低(正常IP网络利用率不足)传输安全性低传输延时无保障一般占用大量主机资源FCSAN传输效率高传输安全性高传输延时极小占用主机资源少技术成熟应用范围最广的专业存储架构部署成本较高需要专属网络**DAS优点:成本低对于小型用户来说易于维护缺点:性能不高系统停机多资源无法共享多系统环境下的管理成本增加NAS优点:方便文件级的数据共享集中化管理缺点:需要贡献文件系统安全性无法保障性能一般磁盘级数据无法共享/集中复杂系统的成本大维护难扩容受限SAN优点:集中化的管理高性能减少停机时间安全保障高缺点:成本昂贵、系统复杂。磁盘阵列的兼容性限制了设备选择空间及资源共享。DAS、NAS、SAN与ISCSI性能比较数据备份手段一硬件级备份硬件级的备份是指用冗余的硬件来保证系统的连续运行。比如磁盘镜像双机容错等方式。如果主硬件损坏后备硬件马上能够接替其工作这种方式可以有效地防止硬件故障但无法防止数据的逻辑损坏当逻辑损坏发生时硬件备份只会将错误复制一遍无法真正保护数据。硬件备份的作用实际上是保证系统在出现故障时能够连续运行更应称为硬件容错**数据备份手段二软件级备份软件级的备份是指通过备份软件将数据保存到其他介质上当出现错误时可以将系统恢复到备份时的状态。由于这种备份是由软件来完成的所以称为软件备份。用这种方法备份和恢复都要花费一定时间。但这种方法可以完全防止逻辑损坏因为备份介质和计算机系统是分开的错误不会复写到介质上。这就意味着只要保存足够长时间的历史数据就能够恢复正确的数据。**数据备份手段三人工手动备份人工级的备份最为原始也最简单的备份。但如果要用手工方式从头恢复所有数据耗费的时间恐怕会令人难以忍受。**数据备份目的:重新利用备份工作的核心是恢复恢复(Recovery)重新创建整个应用或计算环境过去的操作状态在应用或计算环境被破坏或其他原因导致的不能使用后需要进行恢复恢复模式:完全恢复小颗粒恢复数据恢复?FileServerDatabaseServerBackupServersTapeLibraryTapes**数据快照技术**快照(Snapshot)为指定的数据集创建一个完全可用的数据副本它包含了副本在创建时刻(时间点)的数据映像快照实现方法:存储嵌入式快照:快照软件运行在网上的存储设备中基于主机的快照:快照软件运行在服务器中通常驻留在操作系统级别的逻辑卷中什么是快照?FileServerDatabaseServerBackupServersTapeLibraryTapes**常见快照技术分类全拷贝快照分离镜像(Splittingamirror)差分快照写即拷贝(CoW:CopyOnWrite)写即重定向(RoW:RedirectOnWrite)随机写(WA:WriteAnywhere)快照的工作原理快照功能的实现原理都可以归入两个大类之一:全复制或差分复制。全复制快照复制整个数据集。全复制快照通常通过“分离镜像”的流程来实现TB数据的全复制快照占用额外的TB磁盘空间。差别复制快照仅处理上次快照之后出现的改变量。这类快照占用较少的磁盘空间需要更多的系统处理开销。差分快照技术有几种实现方式:CopyOnWrite(CoW)RedirectOnWrite(RoW)WriteAnywhere(WA)分离镜像的生命周期写操作源镜像镜像卷源镜像原始数据写操作分离镜像读和备份记录写操作分离镜像写操作分离镜像从分离镜像备份再同步镜像再同步源镜像分离镜像(Splittingamirror)全拷贝快照的特点空间占用:每一次全拷贝快照需要与源盘相同大小的数据空间创建过程:每一次全拷贝快照都需要完全数据同步读写操作影响源卷的读操作不受影响源卷的写操作受数据同步的影响创建完成后快照(卷)的读写操作保持最优写即拷贝COW的实现p源盘快照前写块SAN访问阵列源卷写操作(‘p’写入块)CoW的实现p源盘快照前写块SAN访问阵列源卷写操作(‘p’写入块)产生快照快照后写入‘z’到块:不一次性写入先将块内容移入日志‘z’写入源卷CoW的实现pz源盘快照快照前写块快照后写块gp读块读块gSAN访问阵列快照索引和日志源卷地址数据写操作(‘p’写入块)产生快照快照后写入‘z’到块:不一次性写入先将块内容移入日志‘z’写入源卷从快照读时组合索引日志和源卷如果快照是可读写快照盘上的写操作直接更新索引和日志CoW的特点源卷状态:源卷保持最新状态写操作步骤:当一个新的写操作执行时:首先读出写操作将要覆盖地址的当前数据将读出数据保存至专用空间并建立索引新的写操作执行(写入目标地址)读写路径影响源卷的读路径基本无影响源卷的写操作受拷贝影响对快照(卷)的读写路径都有影响跟踪源数据的“改变量”通过“改变量”和源盘保存和呈现快照不同的实现:CopyOnWrite(CoW)RedirectOnWrite(RoW)WriteAnywhere(WA)重复数据技术技术**产品背景:存储介质售价一直都在不停下降却远远赶不上数据保存和备份的数据量的攀升速度在这种环境下重复删除技术应运而生。重复数据删除是一种数据缩减技术通常用在基于磁盘的备份系统目的是为了减少存储系统中使用的存储容量。采用“重复删除”技术可以将存储的数据缩减为原来的从而让出更多的备份空间不仅可以使磁盘上的备份数据保存更长的时间而且还可以节约离线存储时所需的大量的带宽。用更少的空间存更多的数据。重复数据删除依据数据处理方式的不同分为以下两种:其一是在线处理(Inline)DataDomain就是这一技术的代表厂商这一方式中数据在读进来之后在存到磁盘之前就已经进行了重复数据删除其二是以昆腾作为代表的后处理(Postprocessing)采用这一方式的话数据在存到磁盘上后才会进行重复数据删除在存到磁盘前数据没有减少。重复数据删除的处理方式机械硬盘*磁头靠近主轴接触的表面即线速度最小的地方是一个特殊的区域它不存放任何数据称为启停区或着陆区(LandingZone)。硬盘没有工作时磁头停留在启停区。当硬盘读写数据时磁盘开始旋转当旋转速度达到额定的速率时磁头就会因盘片旋转产生的气流抬起这时磁头才向盘片存放数据的区域移动。读写完毕盘片停止旋转磁头又回到启停区。启停区外就是数据区。在最外圈离主轴最远的地方是“”磁道硬盘数据的存放就是从最外圈开始的。那么磁头是如何找到“”磁道的位置的呢?在硬盘中还有一个叫“”磁道检测器的构件它是用来完成硬盘的初始定位。“”磁道是如此的重要以致很多硬盘仅仅因为“”磁道损坏就报废这是非常可惜的。以上为很多书籍对启停区的论述应该说大部分硬盘是这样的但是也有例外。比如IBM就不一样。当硬盘停止工作时它的磁头不是停在碟片上的所谓‘启停区’内而是停在碟片外一个保护架内的。这样就避免了由于频繁使用而使碟片出现不可意料的问题IBM在盘体设计和材料的使用上是非常出色的*机械式硬盘结构主轴马达(SpindleMotor)磁头基座(BasePlate)磁头停放区(ParkingZone)盘片(Media)传动部件接口*容量:指硬盘能存储的数据量大小以字节为基本单位单碟容量:硬盘都是由一个或几个盘片组成的单碟容量就是指包括正反两面在内的单个盘片的总容量转速:即主轴马达转动速度单位为RPM(RoundPerMinute)即每分钟盘片转动圈数缓存:是硬盘控制器上的一块内存芯片具有极快的存取速度它是硬盘内部盘片和外部接口之间的缓冲器机械式硬盘主要指标(一)*平均访问时间:硬盘磁头找到目标数据所需的平均时间平均寻道时间:磁头寻找目标数据所在磁道所需的平均时间平均潜伏时间:当磁头移动到数据所在的磁道后等待指定的数据扇区转动到磁头下方的时间数据传输率:内部数据传输率:数据从盘片表面传输到硬盘的缓存的速率外部数据传输率:数据从硬盘的缓存读出到外部总线的速率机械式硬盘主要指标(二)*SMART:SelfMonitoring,AnalysisandReportingTechnology自监测、分析及报告技术监测硬件各部件然后根据得到的关于各部件运行情况与历史记录的数据进行分析、比较根据需要会自动向用户发出警告NCQ:NativeCommandQueuing本机命令队列是SATAⅡ规范支持的一种新的功能支持NCQ的硬盘可以对指令进行排队(多达条指令)重新编排指令执行次序也可以立即执行指令可提高硬盘的性能减少CPU占用率DutyCycle:指硬盘的工作负荷定义为特定时间段内硬盘工作时间占总时间的百分比。即表示硬盘每天小时不停在进行读写操作机械式硬盘主要技术一*机械式硬盘主要技术二在存储系统中硬盘的耗电量占整个系统用电量的%。SpinDown技术就是通过降低硬盘的转速甚至是让硬盘停转达到降低硬盘能耗目的的。SpinDown技术是硬盘本身已经具有的功能并不是新技术。人们经常用到的笔记本电脑中的硬盘就具有SpinDown功能。”KeeWingWong表示“SpinDown是硬盘厂商提供的一种技术通过HardDiskCommand使硬盘的转速变慢。*硬盘的读写速度同硬盘的转速成正比更高的转速可缩短硬盘的实际读写时间硬盘缓存的大小直接影响硬盘的整体性能转速和缓存对硬盘性能的影响*硬盘接口类型*硬盘容量发展*硬盘对比FC磁盘、SAS磁盘、企业级SATA磁盘的性能对比硬盘类型转速MTBF平均寻道时间持续读写速率应用特点企业级SATA磁盘RPM万小时ms~MB秒大容量、小吞吐量高性价比SAS磁盘RPM万小时ms~MB秒大容量、高可靠FC磁盘RPM万小时ms~MB秒高可靠、负荷能力高、企业级应用**ATAIDE接口硬盘简介ATA(AdvancedTechnologyAttachment)硬盘是传统的桌面级硬盘主要应用于个人PC机也经常称为IDE硬盘ATA接口为并行ATA技术下一代的产品是串行ATA(SATA)最高速度MS已达性能极性。*SATA接口硬盘介绍SATA:串行ATA(SerialAdvanced Technology Attachment)SATA硬盘采用点对点连接方式支持热插拔即插即用SATA采用串行方式进行数据传输第二代(SATAⅡ)MBs接口硬盘目前仍是主流SATADⅢ目前已经商用速率为MBs*SCSI接口硬盘介绍SCSI(SmallComputerSystemInterface)小型计算机系统接口SCSI硬盘并发处理性能优异常应用于企业级存储领域SCSI硬盘采用并行接口接口速率目前发展到MBs基本已经达到极限很快会被其串行版本SAS硬盘完全替代*SAS接口硬盘介绍SAS(SerialAttachedSCSI)串行SCSI接口SAS是一种点对点、全双工、双端口的接口SAS专为满足高性能企业需求而设计并且兼容SATA硬盘为企业用户带来前所未有的灵活性接口速率为MBSMBS(SASⅡ)已经商用*FC接口硬盘介绍FCAL(fibrechannelarbitratedloop)是一种双端口的串行存储接口FCAL利用类似SATASAS所用的芯连接提供一种单环拓扑结构一个控制器能访问个硬盘GbS的硬盘接口速率GbS光纤主机接口速率接口已经商用*Services固态硬盘SolidStateDisk*磁头靠近主轴接触的表面即线速度最小的地方是一个特殊的区域它不存放任何数据称为启停区或着陆区(LandingZone)。硬盘没有工作时磁头停留在启停区。当硬盘读写数据时磁盘开始旋转当旋转速度达到额定的速率时磁头就会因盘片旋转产生的气流抬起这时磁头才向盘片存放数据的区域移动。读写完毕盘片停止旋转磁头又回到启停区。启停区外就是数据区。在最外圈离主轴最远的地方是“”磁道硬盘数据的存放就是从最外圈开始的。那么磁头是如何找到“”磁道的位置的呢?在硬盘中还有一个叫“”磁道检测器的构件它是用来完成硬盘的初始定位。“”磁道是如此的重要以致很多硬盘仅仅因为“”磁道损坏就报废这是非常可惜的。以上为很多书籍对启停区的论述应该说大部分硬盘是这样的但是也有例外。比如IBM就不一样。当硬盘停止工作时它的磁头不是停在碟片上的所谓‘启停区’内而是停在碟片外一个保护架内的。这样就避免了由于频繁使用而使碟片出现不可意料的问题IBM在盘体设计和材料的使用上是非常出色的*固态硬盘的定义固态硬盘是由控制单元和固态存储单元(DRAM或FLASH芯片)组成的硬盘,简单的说就是用固态电子存储芯片通过阵列的形式而够成的硬盘。其内部存储单元利用固态电子存储芯片阵列取代了传统HDD硬盘的磁碟组。固态硬盘的接口规范定义、功能及使用方法均与普通硬盘完全相同,在产品外形和尺寸上也完全与普通硬盘一致,包括英寸、英寸、英寸多种类型。固态硬盘的存储介质分为两种:采用闪存(FLASH芯片)作为存储介质采用DRAM作为存储介质固态硬盘的类型LC容量更高而且更容易出错速度慢SLC更昂贵但也更可靠速度快且写次数更高(只是容量小)。SLC和MLCSLC和MLC两者的差异在于每单元存储的数据量(密度)MLC的存储容量比SLC大但是SLC更简单可靠SLC读取和写入的速度都比MLC更快而且SLC比MLC更耐用MLC每单元可擦除万次至万次而SLC可擦除w次以上所以企业级的闪存产品一般都选用SLC这也是为什么企业级产品比家用产品贵很多的原因。SSD单层单元与多层单元数据存取速度快。固态硬盘没有传统硬盘复杂的机械结构既没有磁碟也不存在磁头它无需花费较长的时间寻道读取速度更不会受到转速的限制。防震抗摔。SSD固态硬盘内部不存在任何机械部件这样即使在高速移动甚至伴随翻转倾斜的情况下也不会影响到正常使用。没有噪音发热低。由于与传统硬盘物理结构不同SSD固态硬盘不存在磁头臂寻道的声音和盘片高速旋转的噪音也没有机械马达和风扇工作噪音值为分贝。固态硬盘优点四.工作温度范围大。机械硬盘只能在~摄氏度范围内工作固态硬盘的温度范围可达~摄氏度一些工业级固态硬盘的工作温度范围设置达到了~摄氏度(军用)。五SSD固态硬盘比常规英寸硬盘重量轻到克。可千万别小看这些重量在笔记本电脑、卫星定位仪等随身移动产品上更小的重最有利于便携。此外重量的减轻也使得笔记本搭载多块SSD固态硬盘成为可能。成本高。每单位容量价格是传统硬盘的~倍(基于闪存)甚至~倍(基于DRAM)。容量低。目前固态硬盘最大容量远低于传统硬盘。一般固态硬盘的容量是、、GGB在目前的主流固态硬盘中处于高端。写入寿命有限(基于闪存)。SSD的寿命主要是闪存写入次数的限制。一般闪存写入寿命为万到万次特制的可达万到万次固态硬盘缺点WearLeveling因为SSD存在“写磨损”的问题当某个单元长时间被反复擦写时不仅会造成写入的性能问题而且会大大缩短SSD的使用寿命所以必须设计一个均衡负载的算法来保证SSD的每个单元能够被均衡的使用这就是wearleveling称为损耗均衡算法。固态硬盘与传统硬盘优劣势对比固态盘的基本构成与原理ControllerLogicNonVolatileSLCNANDFlashDualPortedFCInterfaceEndtoEndMultibitErrorCorrectionDDRSDRAMwSPSMultipleParallelIOChannels固态盘的技术优势低延时Krpmdrives(drives)EnterpriseFlashDrives(drives)SATAdrives(drives)CDP技术ContinuousDataProtection持续数据保护是一套方法CDP可以捕获或跟踪数据的变化并将其独立存放在生产数据之外以确保数据可以恢复到过去的任意时间点。持续数据保护系统可以基于块、文件或应用实现可以为恢复对象提供足够细的恢复粒度实现几乎无限多的恢复时间点。”从数据保护时间上分为:CDP技术分为真CDP(TrueCDP)和准CDP(NearCDP)两类CDP技术简述备份、快照、复制、CDPArchive(归档)将相对不重要的数据转移到速度较慢并且价格便宜的存储介质上是一种最原始却最为有效的节约成本的方式。数据归档集成了数据迁移、管理、收集、保存以及介质管理等功能主要用于长久保存数据和文件以备日后查询取用。**归档于备份最大的区别在于归档可以自动对源文件进行删除RTO(恢复时间目标)在业务中断后的某一个时间点业务的进程或应用服务必须恢复确保业务正常进行(你能接受多长的宕机时间)RPO(恢复点目标)在已确定的RTO内应用数据或文件系统信息必须恢复到某一个时间顺序点(你能接受丢失多少数据)什么是RTORPO?数据保护时间轴Failure出错时刻hrshrshrshrshrshrs**什么是复制?复制(Replication)通过网络(LANWAN)把数据从一个地方传输到另一个地方复制的种类:数据块级别复制:文件级别复制:字节级别复制:复制模式:同步复制:要求每一个写入操作在执行下一个操作处理之前在这两个地点都能完成。处理过程明显变慢这种复制不切实际的会影响生产系统性能除非第二个系统物理上离主系统比较近。异步复制:在处理下一个操作前不等待数据在复制目标系统中被记录。这种复制性能更好、更快。复制实现方法:存储嵌入式复制:复制软件运行在网上的存储设备中基于主机的复制:复制软件运行在服务器中通常驻留在文件系统或在操作系统级别的逻辑卷中*在线、近线、离线在线存储是指存储设备和所存储的数据时刻保持“在线”状态可供用户随意读取满足计算平台对数据访问的速度要求。在线存储设备一般为磁盘和磁盘阵列等存储设备价格相对昂贵但性能较好。  离线存储是对在线存储数据的备份以防范可能发生的数据灾难。离线存储的数据不常被调用一般也远离系统应用所以人们用“离线”来生动地描述这种存储方式。  近线存储(NearStore)主要定位于客户在线存储和离线存储之间的应用。就是指将那些并不是经常用到或者说数据的访问量并不大的数据存放在性能较低的存储设备上。但同时对这些的设备要求是寻址迅速、传输率高。*集群技术zhaozhidong(zzd)*集群基础知识什么是集群技术?所谓集群就是为客户机提供资源的一组计算机系统常见集群技术一般包括三类:高可用集群(以减少服务器中断时间为目的的集群技术)高性能计算集群(以提高科学计算能力为目的的计算机集群技术)高扩展集群(带负载均衡策略的服务器群集)*为什么要用集群哪些用户要用集群*集群技术:至少将两个系统连接到一起使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器。例如一个有两台服务器生成的WEB服务器集群系统它对每个终端用户是透明的而且完全就像一台服务器在工作。集群概述*更换图标服务器A服务器B镜像盘心跳线公用网络、在服务器之间通过网络方式镜像数据不需要采购磁盘阵列节约成本、大数据量读写时两台服务器会出现数据不同步、镜像数据占用大量服务器资源降低系统性能无磁盘阵列有磁盘阵列、双机集群的主流配置方式、采用了共享存储消除数据不同步的现象系统性能不会降低、多服务器集群常采用NAS模式实现存储共享集群的存储系统*镜像服务器双机   集群中镜像服务器双机系统是硬件配置最简单和价格最低廉的解决方案通常镜像服务的硬件配置需要两台服务器在每台服务器有独立操作系统硬盘和数据存贮硬盘每台服务器有与客户端相连的网卡另有一对镜像卡或完成镜像功能的网卡。   镜像服务器具有配置简单使用方便价格低廉诸多优点但由于镜像服务器需要采用网络方式镜像数据通过镜像软件实现数据的同步因此需要占用网络服务器的CPU及内存资源镜像服务器的性能比单一服务器的性能要低一些。   有一些镜像服务器集群系统采用内存镜像的技术这个技术的优点是所有的应用程序和网络操作系统在两台服务器上镜像同步当主机出现故障时备份机可以在几乎没有感觉的情况下接管所有应用程序。因为两个服务器的内存完全一致但当系统应用程序带有缺陷从而导致系统宕机时两台服务器会同步宕机。这也是内存镜像卡或网卡实现数据同步在大数据量读写过程中两台服务器在某些状态下会产生数据不同步因此镜像服务器适合那些预算较少、对集群系统要求不高的用户。三、双机与磁盘阵列柜   与镜像服务器双机系统相比双机与磁盘阵列柜互联结构多出了第三方生产的磁盘阵列柜目前豪威公司、精业公司等许多公司都生产有磁盘阵列柜在磁盘阵列柜中安装有磁盘阵列控制卡阵列柜可以直接将柜中的硬盘配置成为逻辑盘阵。磁盘阵列柜通过SCSI电缆与服务器上普通SCSI卡相连系统管理员需直接在磁盘柜上配置磁盘阵列。   双机与磁盘阵列柜互联结构不采用内存镜像技术因此需要有一定的切换时间(通常为DD秒)它可以有郊的避免由于应用程序自身的缺陷导致系统全部宕机同时由于所有的数据全部存贮在中置的磁盘阵列柜中当工作机出现故障时备份机接替工作机从磁盘阵列中读取数据所以不会产生数据不同步的问题由于这种方案不需要网络镜像同步因此这种集群方案服务器的性能要比镜像服务器结构高出很多。   双机与磁盘阵列柜互联结构的缺点是在系统当中存在单点错的缺陷所谓单点错是指当系统中某个部件或某个应用程序出现故障时导致所有系统全部宕机。在这个系统中磁盘阵列柜是会导致单点错当磁盘阵列柜出现逻辑或物理故障时所有存贮的数据会全部丢失因此在选配这种方案时需要选用一个品质与售后服务较好的产品。双机热备磁盘阵列心跳连接公用网络客户端ActiveStandby服务器A服务器B应用双机热备是指两台计算机为某一目的组合在一起的技术两台计算机构成系统的两个节点当其中一个节点不可用或者不能处理用户请求的时候系统自动将该节点资源转移到另一个节点处理。*双机互备磁盘阵列心跳连接公用网络客户端ActiveActive服务器A服务器B应用A应用B*多路径基础知识冗余路径管理软件能够解决哪些问题?避免存储链路单点故障保证在磁盘阵列控制器切换时数据访问的不间断多链路负载均衡提升存储系统访问性能**VTL什么是虚拟磁带库VTL虚拟磁带库是通过存储虚拟化技术将现有的磁盘存储系统虚拟成传统的磁带库系统(包括磁带库机械臂、磁带驱动器、插槽)为数据备份系统提供高可靠、高性价比的解决方案。通过固化了专门软件的控制器使磁盘(阵列)对主机或应用软件体现为常规物理磁带库也称作虚拟磁带库。标准的SCSI、FC或iSCSI主机接口采用易用的管理软件配置、管理虚拟磁带库设备。备份归档存储方式划分存储方式不同备份周期性备份、循环使用备份介质归档离线长久保存设备介质选择不同备份磁带、磁盘。廉价的磁盘正在取代磁带成为主流备份介质快速可靠的备份恢复能力归档磁带、CAS设备大容量、廉价、易用、易保存不易更改在线存储离线备份离线存档磁带库应用减少磁盘阵列增多增加备份性能提高设备可用性近线备份传统磁带:长期保存备查异地容灾高性能的磁盘阵列高性能高可用性VTL应用市场���VTL的三种类型磁盘阵列型(DiskArrayBased)应用服务器型(VTLAppliance)备份软件型(BackupSoftware)磁盘阵列型顾名思义它是以磁盘阵列为基础发展的虚拟磁带柜透过内建于磁盘阵列控制器(RAIDController)内的虚拟软件将储存空间仿真成磁带柜具备的所有特征。这类型的虚拟磁带柜用户以大型企业为主采用光纤信道主机接口支持FCSAN储域网络环境储存容量通常在数十TB以上有的甚至可达上百TB磁盘阵列型应用服务器型透过安装在PC服务器上的虚拟磁带软件将服务器内的硬盘或是可被服务器控制的外接磁盘阵列做为存放备份数据的虚拟磁带空间。由于软件架构在标准的x平台和Linux操作系统上成本相对较便宜而且储存装置的限制较低只要服务器支持可以采用任何SCSI或光纤信道接口的磁盘阵列与备份服务器端可以藉由SCSI、iSCSI或光纤信道等传输接口相连部署应用上较有弹性。这类型产品相当多国外有MaxxanSVT、DiligentVTFOpen国内也有精业、耐特普罗等系统整合厂商推出软硬件合一的虚拟磁带柜。应用服务器型备份软件型直接将虚拟磁带功能整合至备份软件内目前仅有BakboneNetVault支持这项功能。由于纯粹是依靠软件来达成仿真磁带的目的运用上相当具有弹性不但没有最大容量限制可仿真的磁带柜数量、磁带数量与每卷磁带容量也都是无限的只要储存空间足够亦不限定需采用何种厂牌的储存系统不过这类方案的限制是无法和其它厂牌备份软件搭配使用。备份软件型备份软件型磁盘库使用方式网络数据备份应用应用服务器备份服务器磁盘库归档设备应用服务器备份服务器磁盘库归档设备SAN磁盘阵列应用服务器备份服务器磁盘库磁盘库使用方式LANFree数据备份应用容灾基础知识什么是灾难及容灾?灾难:是指已经发生并导致系统中止运行、业务中断给企业和客户造成重大影响的事件或事故。容灾:为了应对灾难对信息系统的破坏所采取的一系列措施。(比如在生产系统相隔较远的异地建立一套或多套功能相同的IT系统互相之间可以进行健康状态监视和功能切换当一处系统因意外(如火灾、地震等)停止工作时整个应用系统可以切换到另一处使得该系统功能可以继续正常工作。*用户对容灾的需求会更加强烈*业务连续性的重要性Chart不同行业每小时停机损失:单位万美元不同行业每小时停机损失单位:万美元容灾备份现状用户名称备份介质备份周期备份距离备份工具数据丢失风险数据丢失经历容灾备份规划数据恢复手段江苏省公安厅磁带、磁盘阵列每天备份本地备份软件、编写脚本数小时无异地备份本次无统计江苏省工商行政管理局磁盘阵列每天备份本地编写脚本天无实时备份江苏省地税局磁带每天备份本地备份软件天无异地备份江苏省劳动和社会保障厅磁带每天备份本地备份软件天无异地备份江苏省高级人民法院磁带、光盘每天备份本地备份软件天有应用系统备份、异地备份江苏省检察院磁带每天备份本地备份软件天有本地集中备份江苏省民政厅无无无全部有本地集中备份江苏省气象局无无无全部有本地集中备份、异地备份江苏省国土资源厅硬盘、光盘不定期异地拷贝数天无本地集中备份江苏省信息中心硬盘、磁带每天备份本地编写脚本、备份软件天无本地集中备份、异地备份江苏省质量技术监督局硬盘、光盘每月备份本地拷贝月有本地集中备份磁带本地备份软件磁盘阵列异地编写脚本光盘无备份拷贝硬盘无手段每天备份数小时有每月备份天无不定期数天无备份个月全部备份介质磁带磁盘阵列光盘硬盘无备份备份介质备份周期每天备份每月备份不定期无备份备份周期备份周期统计备份距离本地异地无备份备份距离备份距离统计数据潜在损失数小时天数天个月全部数据潜在损失数据丢失风险数据潜在损失备份工具备份软件编写脚本拷贝备份工具备份工具统计数据丢失经历有无数据丢失经历数据丢失经历容灾备份规划异地备份委办局本地备份系统总体投资委办局集中地市数据备份设备总投资灾备网电子政务内网部分网络设备总体投资委办局与省容灾中心专线带宽改造总投资本地集中备份灾备网新建专网部分网络设备总体投资省容灾中心备份系统总投资实时备份专线费用总体投资应用系统备份省容灾中心数据备份设备总体投资委办局本地备份系统总体投资灾备网网络设备总体投资省容灾中心总体投资二期已建容灾中心新增投资三期建设容灾中心A备份系统总体投资三期建设容灾中心A专线成本总体投资三期建设容灾中心B备份系统总体投资三期建设容灾中心B专线成本总体投资委办局单独建设总体投资省统一建设总体投资证券业信用卡业点播业电子购物业航空订票业包裹运输业容灾备份规划容灾备份规划统计省容灾备份中心总体投资万,万,万,第一阶段总体投资万,万,万,万,万,第二阶段总体投资亿,亿,亿,投资对比第三阶段总体投资(单位:亿元)不同行业每小时停机损失:单位万美元不同行业每小时停机损失单位:万美元*备份和容灾都是保护数据但是容灾还必须考虑用户业务的连续性。灾难来自何方计算机病毒场地灾害人为错误操作失误或恶意破坏应用软件故障系统软硬件故障病毒*应用软件故障要做升级和上新的系统可能会有破坏需把数据备份传统的备份方式时间是很久的如果说用快照可以很快的完成这是其应用场景之一。另外用于人为的误操作。容灾备份建设的标准国际标准SHARE M国家标准《信息系统灾难恢复规范》GBT(原国信办《重要信息系统灾难恢复指南》年)*国内很多设计时参照国标灾备系统建设的国际标准根据SHARE国际组织提出的标准可以将系统容灾的级别划分为如下级。*PTAM(PickupTruckAccessMethod)卡车运送访问方式。一级二级采用这种方式。层:有数据备份无备用系统(DataBackupwithNoHotSite)层:有数据备份有备用系统(DataBackupwithHotSite)层:电子链接(ElectronicVaulting)使用层容灾解决方案的业务是在层解决方案的基础上又使用了对关键数据的电子链接技术。)应用程序层:应用程序开发时考虑到数据的复制。RTO小时级快照等在层方案中开始使用基于磁盘的解决方案。此时仍然会出现几个小时的数据丢失但同基于磁带的解决方案相比通过加快备份频率使用最近时间点的快照拷贝恢复数据会更快。系统可在一天内恢复。)层:交易的完整性(TransactionIntegrity)层除了使用层的技术外还要维护数据的状态要保证在本地和远端数据库中都要更新数据。只有当两地的数据都更新完成后才认为此次交易成功。生产中心和备用中心是由高速的宽带连接的关键数据和应用同时运行在两个地点。)层:少量或无数据丢失(Zeroorlittledataloss)层灾难恢复方案可以保证最高一级数据的实时性。适用于那些几乎不允许数据丢失并要求能快速将数据恢复到应用中的业务。此种解决方案提供数据的一致性不依赖于应用而是靠大量的硬件技术和操作系统软件来实现的。)层:解决方案与具体业务相结合实现自主管理(HighlyAutomated,BusinessIntegratedSolution)无需人工介入的自动站点故障切换功能层灾难恢复方案在第层的基础上集成了自主管理的功能。在保证数据一致性的同时又增加了应用的自动恢复能力使得系统和应用恢复的速度更快、更可靠(按照灾难恢复流程手工操作也可实现整个恢复过程)。灾备系统建设的国内标准实现远程数据实时备份实现零丢失应用软件可以实现实时无缝切换远程集群系统的实时监控和自动切换能力实现远程数据复制技术备用网络也具备自动或集中切换能力数据零丢失和远程集群支持级级实时数据传输及完整设备支持电子传输及完整设备支持配置所需要的全部数据和通讯线路及网络设备并处于就绪状态*运行更高的技术支持和运维管理级电子传输和部分设备支持配置部分数据,通信线路和网络设备每天实现多次的数据电子传输备用场地配置专职的运行管理人员级备用场地支持预定时间调配数据,通信线路和网络设备备用场地管理制度设备及网络紧急供货协议级基本支持每周至少做一次完全数据备份制定介质存取、验证和转储的管理制度完整测试和演练的灾难恢复计划级*一级到六级都必须掌握。备份级(磁带)级数据级(复制镜像等)级应用级容灾和备份的区别及作用容灾指的是利用镜像或复制等技术来实现数据的同步其同步前后数据格式一致,容灾数据可以直接不通过恢复进行使用而备份采用的是备份软件技术来实现数据的备份备份前后数据格式不一致数据经过压缩和格式转换备份数据必须恢复后才可使用。容灾的数据与生产数据实时或相差一定时间保持一致即基本上容灾中心的数据同生产数据基本上是一样而备份是按照设定的策略定时定期对数据进行备份保存的是历史生产数据。容灾是为防止生产数据丢失或数据中心遭受毁灭性灾难恢复速度快数据基本上就是发生事故那会的版本备份一般是为了防止认为误操作或系统问题保存的是历史数据恢复相对长。容灾层次容灾存储系统一般分为哪个层次根据业务恢复时间的长短将容灾划分为三个容灾层次:数据级、应用级和业务级。数据级容灾:是仅将生产中心的数据完整地复制到容灾中心的容灾方式(容灾中心往往只需要部署数据存储设备)应用级容灾:是指在数据级容灾的基础上还可以接管生产中心的应用(容灾中心往往还包括服务器、网络等设备)业务级容灾:是指在应用级容灾的基础上还可以接管生产中心的业务(容灾中心往往还包括办公环境、管理制度和人员等其他资源)*********此页标题禁止有多级标题更不要出现所在章节的名称。此页标题要简练能直接表达出本页的内容。内容页可以除标题外的任何版式如图、表等。该页在授课和学习指导书(胶片+注释)中都要使用。*总结:用户对磁盘系统的六大要求:、增加磁盘IO存取速度、数据安全性要求及容错(Faulttolerance)的能力、有效的利用磁盘空间、分担主机CPU的IO事务、降低内存及磁盘的性能差异、提高计算机的整体工作性能思考:市场上应用最广泛的RAID级别是那个?观点:RAID的磁盘数是RAID的倍RAID的磁盘数是RAID的倍****EMCCLARiiONCXUltraScale系列年月*InaDirectAttachedStorage(DAS)environment,serversconnectdirectlytothediskarraytypicallyviaaSCSIinterfaceThesameconnectivityportontheDiskarraycannotbesharedbetweenmultipleserversClientsconnecttotheServersthroughtheLocalAreaNetworkThedistancebetweentheServerandtheDiskarrayisgovernedbytheSCSIlimitationsWiththeadventofStorageAreaNetworksandFibreChannelinterface,thismethodofDiskarrayaccessisbecominglessprevalent*EMCCLARiiONCXUltraScale系列年月*InaStorageAreaNetwork(SAN)environment,serversaccessthediskarraythroughadedicatednetworkdesignatedasSANintheslideSANconsistsofFibreChannelswitchesthatprovideconnectivitybetweentheserversandthediskarrayInthismodel,multipleserverscanaccessthesameFibreChannelportonthediskarrayThedistancebetweentheserverandthediskarraycanalsobegreaterthanthatpermittedinadirectattachedSCSIenvironmentClientscommunicatewiththeserversovertheLocalAreaNetwork(LAN)*EMCCLARiiONCXUltraScale系列年月*InaNetworkAttachedStorage(NAS)environment,NASDevicesaccessthedisksinanarrayviadirectconnectionorthroughexternalconnectivityTheNASheadsareoptimizedforfileservingTheyaresetuptoexportsharefilesystemsServerscalledNASclientsaccessthesefilesystemsovertheLocalAreaNetwork(LAN)torunapplicationsTheclientsconnecttotheseserversalsoovertheLAN*【解说词】最早的存储架构是DAS也就是直连存储由于DAS的种种局限性随后产生了NAS(网络连接存储)、FCSAN(采用光纤结构的存储区域网)一、最早的存储是DAS结构的就是每台主机有一块内置磁盘由于出现了三种问题导致了RAID冗余磁盘阵列的出现:()磁盘的处理速度跟不上CPU的增长速度()磁盘的容量增长缓慢跟不上存储的需求()随着硬盘数量增加单块硬盘发生故障的可能性增加【单击】RAID的出现解决了这些问题:第一、提高磁盘IO性能第二、RAID组可以提供超过单块磁盘空间的存储需求、解决了同时坏块或两块盘的硬盘故障问题)【单击】随着双机应用的发展需要有共同的存储设备例如双机中的锁盘那么外置的磁盘阵列就出现了在容量和性能上比内置的磁盘组有了更大的提升。【单击】二、由于DAS不能很好的满足网络中文件共享的需求就出现了专门的网络文件服务器在网络中的主机都使用同一种操作系统的前提下网络文件服务器可以满足文件共享的需要。但是网络中的主机很可能分属不同的操作系统,要共享彼此的文件系统时需要进行复杂的设置,即使这样有些系统之间仍然无法实现文件共享。【单击】为了解决跨平台数据共享的问题就出现了专用的NAS设备:NAS与操作系统无关可用于UnixLinuxWindows的异构局域网环境中我们把最初的直接连接在百兆以太网内的NAS称为专用NAS【单击】而把连接在专用存储区域网(一般是千兆以太网以上)中的NAS称为企业级NAS。【单击】三、FCSAN的出现主要是为了网络中的应用服务器提供了一个性能稳定的数据高速存取平台也为了解决DAS架构中的()存储空间无法共享FCSAN架构可以共享存储空间()连接距离限制很短的连接线FCSAN采用单模光纤可以达到公里的长度。()管理不便:存储设备分散管理比较麻烦FCSAN为集中存储设备。目前主流的FCSAN速率为Gb和Gb由于光纤传输不受电磁干扰没有损耗能很好的满足大数据量和频繁数据存取的需求。【单击】*在过去的几年中业界里存在的主要问题之一是公司面临的一个难题:“我应该用SAN还是NAS”。这是一个很微妙的问题因为一些供应商总是推荐自己拥有的那一种技术。很明显这两种技术针对不同的需求。翻下页SAN是应用服务器共享的高性能存储而NAS是用户共享的文件存储。但是公司往往同时需要它们他们有应用服务器也有用户。幸运的是戴尔和EMC进行了合作把这些技术融合在一起解决了这个问题是业界的福音。**************快照的工作原理快照功能的实现原理都可以归入两个大类之一:全复制或差分复制。全复制快照复制整个数据集。全复制快照通常通过“分离镜像”的流程来实现TB数据的全复制快照占用额外的TB磁盘空间。差别复制快照仅处理上次快照之后出现的改变量。这类快照占用较少的磁盘空间需要更多的系统处理开销。差分快照技术有几种实现方式:CopyOnWrite(CoW)RedirectOnWrite(RoW)WriteAnywhere(WA)跟踪源数据的“改变量”通过“改变量”和源盘保存和呈现快照不同的实现:CopyOnWrite(CoW)RedirectOnWrite(RoW)WriteAnywhere(WA)***磁头靠近主轴接触的表面即线速度最小的地方是一个特殊的区域它不存放任何数据称为启停区或着陆区(LandingZone)。硬盘没有工作时磁头停留在启停区。当硬盘读写数据时磁盘开始旋转当旋转速度达到额定的速率时磁头就会因盘片旋转产生的气流抬起这时磁头才向盘片存放数据的区域移动。读写完毕盘片停止旋转磁头又回到启停区。启停区外就是数据区。在最外圈离主轴最远的地方是“”磁道硬盘数据的存放就是从最外圈开始的。那么磁头是如何找到“”磁道的位置的呢?在硬盘中还有一个叫“”磁道检测器的构件它是用来完成硬盘的初始定位。“”磁道是如此的重要以致很多硬盘仅仅因为“”磁道损坏就报废这是非常可惜的。以上为很多书籍对启停区的论述应该说大部分硬盘是这样的但是也有例外。比如IBM就不一样。当硬盘停止工作时它的磁头不是停在碟片上的所谓‘启停区’内而是停在碟片外一个保护架内的。这样就避免了由于频繁使用而使碟片出现不可意料的问题IBM在盘体设计和材料的使用上是非常出色的*****************磁头靠近主轴接触的表面即线速度最小的地方是一个特殊的区域它不存放任何数据称为启停区或着陆区(LandingZone)。硬盘没有工作时磁头停留在启停区。当硬盘读写数据时磁盘开始旋转当旋转速度达到额定的速率时磁头就会因盘片旋转产生的气流抬起这时磁头才向盘片存放数据的区域移动。读写完毕盘片停止旋转磁头又回到启停区。启停区外就是数据区。在最外圈离主轴最远的地方是“”磁道硬盘数据的存放就是从最外圈开始的。那么磁头是如何找到“”磁道的位置的呢?在硬盘中还有一个叫“”磁道检测器的构件它是用来完成硬盘的初始定位。“”磁道是如此的重要以致很多硬盘仅仅因为“”磁道损坏就报废这是非常可惜的。以上为很多书籍对启停区的论述应该说大部分硬盘是这样的但是也有例外。比如IBM就不一样。当硬盘停止工作时它的磁头不是停在碟片上的所谓‘启停区’内而是停在碟片外一个保护架内的。这样就避免了由于频繁使用而使碟片出现不可意料的问题IBM在盘体设计和材料的使用上是非常出色的***归档于备份最大的区别在于归档可以自动对源文件进行删除******为什么要用集群哪些用户要用集群**更换图标*镜像服务器双机   集群中镜像服务器双机系统是硬件配置最简单和价格最低廉的解决方案通常镜像服务的硬件配置需要两台服务器在每台服务器有独立操作系统硬盘和数据存贮硬盘每台服务器有与客户端相连的网卡另有一对镜像卡或完成镜像功能的网卡。   镜像服务器具有配置简单使用方便价格低廉诸多优点但由于镜像服务器需要采用网络方式镜像数据通过镜像软件实现数据的同步因此需要占用网络服务器的CPU及内存资源镜像服务器的性能比单一服务器的性能要低一些。   有一些镜像服务器集群系统采用内存镜像的技术这个技术的优点是所有的应用程序和网络操作系统在两台服务器上镜像同步当主机出现故障时备份机可以在几乎没有感觉的情况下接管所有应用程序。因为两个服务器的内存完全一致但当系统应用程序带有缺陷从而导致系统宕机时两台服务器会同步宕机。这也是内存镜像卡或网卡实现数据同步在大数据量读写过程中两台服务器在某些状态下会产生数据不同步因此镜像服务器适合那些预算较少、对集群系统要求不高的用户。三、双机与磁盘阵列柜   与镜像服务器双机系统相比双机与磁盘阵列柜互联结构多出了第三方生产的磁盘阵列柜目前豪威公司、精业公司等许多公司都生产有磁盘阵列柜在磁盘阵列柜中安装有磁盘阵列控制卡阵列柜可以直接将柜中的硬盘配置成为逻辑盘阵。磁盘阵列柜通过SCSI电缆与服务器上普通SCSI卡相连系统管理员需直接在磁盘柜上配置磁盘阵列。   双机与磁盘阵列柜互联结构不采用内存镜像技术因此需要有一定的切换时间(通常为DD秒)它可以有郊的避免由于应用程序自身的缺陷导致系统全部宕机同时由于所有的数据全部存贮在中置的磁盘阵列柜中当工作机出现故障时备份机接替工作机从磁盘阵列中读取数据所以不会产生数据不同步的问题由于这种方案不需要网络镜像同步因此这种集群方案服务器的性能要比镜像服务器结构高出很多。   双机与磁盘阵列柜互联结构的缺点是在系统当中存在单点错的缺陷所谓单点错是指当系统中某个部件或某个应用程序出现故障时导致所有系统全部宕机。在这个系统中磁盘阵列柜是会导致单点错当磁盘阵列柜出现逻辑或物理故障时所有存贮的数据会全部丢失因此在选配这种方案时需要选用一个品质与售后服务较好的产品。*****用户对容灾的需求会更加强烈**备份和容灾都是保护数据但是容灾还必须考虑用户业务的连续性。*应用软件故障要做升级和上新的系统可能会有破坏需把数据备份传统的备份方式时间是很久的如果说用快照可以很快的完成这是其应用场景之一。另外用于人为的误操作。*国内很多设计时参照国标*PTAM(PickupTruckAccessMethod)卡车运送访问方式。一级二级采用这种方式。层:有数据备份无备用系统(DataBackupwithNoHotSite)层:有数据备份有备用系统(DataBackupwithHotSite)层:电子链接(ElectronicVaulting)使用层容灾解决方案的业务是在层解决方案的基础上又使用了对关键数据的电子链接技术。)应用程序层:应用程序开发时考虑到数据的复制。RTO小时级快照等在层方案中开始使用基于磁盘的解决方案。此时仍然会出现几个小时的数据丢失但同基于磁带的解决方案相比通过加快备份频率使用最近时间点的快照拷贝恢复数据会更快。系统可在一天内恢复。)层:交易的完整性(TransactionIntegrity)层除了使用层的技术外还要维护数据的状态要保证在本地和远端数据库中都要更新数据。只有当两地的数据都更新完成后才认为此次交易成功。生产中心和备用中心是由高速的宽带连接的关键数据和应用同时运行在两个地点。)层:少量或无数据丢失(Zeroorlittledataloss)层灾难恢复方案可以保证最高一级数据的实时性。适用于那些几乎不允许数据丢失并要求能快速将数据恢复到应用中的业务。此种解决方案提供数据的一致性不依赖于应用而是靠大量的硬件技术和操作系统软件来实现的。)层:解决方案与具体业务相结合实现自主管理(HighlyAutomated,BusinessIntegratedSolution)无需人工介入的自动站点故障切换功能层灾难恢复方案在第层的基础上集成了自主管理的功能。在保证数据一致性的同时又增加了应用的自动恢复能力使得系统和应用恢复的速度更快、更可靠(按照灾难恢复流程手工操作也可实现整个恢复过程)。*一级到六级都必须掌握。备份级(磁带)级数据级(复制镜像等)级应用级*

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

评分:

/109

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利