磁盘阵列方案

磁盘阵列 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 磁盘阵列方案介绍 公司 磁盘阵列建设方案简述 （初稿） 美承集团 上海美承电子商务有限公司 技术部 版本1.0 2009 一3 一2 版权声明：未经作者许可，任何人不得复制或仿造本文档内容 第1页 共26页 磁盘阵列方案介绍 文档控制 建设方案 版本信息： 提交方 上海美承电子商务有限公司 提交日期 2009 一3 一2 日期 版本 撰写者 审核者 描述 杨小红 2009 一3 一2 1 . 0 吴兵 初稿 肖柏章 所有权声明 文档里的资料版权归上海美承电子商务有限公司（技术部）所有。未经上海美承 电子商务有限公司事先书面允许，不得复制或散发任何部分的内容。任何团体或个人 未经批准，擅自观看建议书将被认为获取了上海美承电子商务公司的私有信息而遭受 法律的制裁。 第2页 共26页 磁盘阵列方案介绍 前 言 ....................................................................................................................................................... 4 第一章 磁盘阵列简介...................................................................................................................... 5 1.1 、磁盘阵列原理 ................................................................................................................ 5 1.2 、RAID的对比： ............................................................................................................. 11 1.3 、RAID的概述： ............................................................................................................. 12 1.4 、磁盘阵列优势： .......................................................................................................... 13 第二章 磁盘阵列的选型 ........................................................................................................................ 14 2.1 、硬件磁盘阵列还是软件磁盘阵列 .............................................................................. 14 2.2 、IDE、SCSI、FC磁盘阵列 ........................................................................................... 15 2.3 、磁盘阵列卡还是磁盘阵列控制器 .............................................................................. 16 第三章 磁盘阵列配置安装 .................................................................................................................... 17 3.1 、典型用户网络结构： .................................................................................................. 18 3.2 、 双机热备方案： ........................................................................................................ 19 3.3 、集群存储服务方案： .................................................................................................. 22 第四章 附件配置.................................................................................................................................... 24 4.1 机房建设 .......................................................................................................................... 24 4.2 机架配置 .......................................................................................................................... 26 4.3 后备电源 .......................................................................................................................... 26 第3页 共26页 磁盘阵列方案介绍 如何增加磁盘的存取(access)速度,如何防止数据因磁盘的故障而 失落及如何有效的利用磁盘空间,一直是电脑专业人员和用户的困扰;而大容量磁盘的价格非常昂贵,对用户形成很大的负担。磁盘阵列技术的产 生一举解决了这些问题。 过去十几年来,CPU的处理速度增加了五十倍有多,内存(memory)的存取速度亦大幅增加,而数据储存装置--主要是磁盘(hard disk)--的存取速度只增加了三、四倍,形成电脑系统的瓶颈,拉低了电脑系统的整体 性能(through put),若不能有效的提升磁盘的存取速度,CPU、内存及磁盘间的不平衡将使CPU及内存的改进形成浪费。 目前改进磁盘存取速度的的方式主要有两种。 一是磁盘快取控制(disk cache controller),它将从磁盘读取的数 据存在快取内存(cache memory)中以减少磁盘存取的次数,数据的读写都在快取内存中进行,大幅增加存取的速度,如要读取的数据不在快取内存 中,或要写数据到磁盘时,才做磁盘的存取动作。这种方式在单工环境 (single- tasking envioronment)如DOS之下,对大量数据的存取有很好 的性能(量小且频繁的存取则不然),但在多工(multi-tasking)环境之下(因为要不停的作数据交换(swapping) 的动作)或数据库(database)的存取(因为每一记录都很小)就不能显示其性能。这种方式没有任何安全 保障。 其二是使用磁盘阵列的技术。磁盘阵列是把多个磁盘组成一个阵列,当作单一磁盘使用,它将数据以分段(striping)的方式储存在不同的磁 盘中,存取数据时,阵列中的相关磁盘一起动作,大幅减低数据的存取时 间,同时有更佳的空间利用率。磁盘阵列所利用的不同的技术,称为RAID level,不同的level针对不同的系统及应用,以解决数据安全的问题。 一般高性能的磁盘阵列都是以硬件的形式来达成,进一步的把磁盘快取控制及磁盘阵列结合在一个控制器(RAID controler或控制卡上,针对不同的用户解决人们对磁盘输出入系统的四大要求: (1)增加存取速度, (2)容错(fault tolerance),即安全性 (3)有效的利用磁盘空间; 第4页 共26页 磁盘阵列方案介绍 (4)尽量的平衡CPU,内存及磁盘的性能差异,提高电脑的整体工作性能。 1.1 、磁盘阵列原理 磁盘阵列中针对不同的应用使用的不同技术,称为RAID level, RAID是Redundant Array of Inexpensive Disks的缩写,而每一level代 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 一种技术,目前业界公认的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 是RAID 0~RAID 5。这个level并不代表技术的高低,level 5并不高于level 3,level 1也不低过level 4,至于要选择那一种RAID level的产品,纯视用户的操作环境(operating environment) 及应用(application)而定,与level的高低没有必然的关系。 RAID 0及RAID 1适用于PC及PC相关的系统如小型的网络服务器 (network server)及需要高磁盘容量与快速磁盘存取的工作站等,因为比较便宜,但因一般人对磁盘阵列不了解,没有看到磁盘阵列对他们价值,市场尚未开; RAID 2及RAID 3适用于大型电脑及影像、CAD/CAM等处理; RAID 5多用于OLTP,因有金融机构及大型数据处理中心的迫切需要,故使用较多而较有名气,但也因此形成很多人对磁盘阵列的误解,以为磁盘阵列非要RAID 5不可; RAID 4较少使用,因为两者有其共同之处,而RAID 4有其先天的限制。其他如RAID 6,RAID 7,乃至RAID 10等,都是厂商各做各的,并无一致的标准,在此不作说明。 介绍各个RAID level之前,先看看形成磁盘阵列的两个基本技术: 译为磁盘延伸,能确切的表示disk spanning这种技术的含义。如下 图所示,DFTraid 磁盘阵列控制器,联接了四个磁盘: 这四个磁盘形成一个阵列(array),而磁盘阵列的控制器(RAID controller)是将此四个磁盘视为单一的磁盘,如DOS环境下的C:盘。这是disk spanning的意义,因为把小容量的磁盘延伸为大容量的单一磁盘,用户不必规划数据在各磁盘的分布,而且提高了磁盘空间的使用率。 DFTraid的SCSI磁盘阵列更可连接几十个磁盘，形成数十GB到数百GB的阵 第5页 共26页 磁盘阵列方案介绍 列,使磁盘容量几乎可作无限的延伸;而各个磁盘一起作取存的动作,比单一磁盘更为快捷。很明显的,有此阵列的形成而产生RAID的各种技术。我们也可从上图看出inexpensive(便宜)的意义,因为四个250MBbytes的磁盘比一个1GBytes的磁盘要便宜,尤其以前大磁盘的价格非常昂贵,但在磁盘越来越便宜的今天,inexpensive已非磁盘阵列的重点,虽然对于需要大磁盘容量的系统,仍是考虑的要点。 磁盘 因为磁盘阵列是将同一阵列的多个磁盘视为单一的虚拟磁盘 (virtual disk),所以其数据是以分段(block or segment)的方式顺序存放在磁盘阵列中,如下图1.1: 磁盘0 磁盘1 磁盘2 磁盘3 A0-A1 A2-A3 A4-A5 A6-A7 B0-B1 B2-B3 B4-B5 B6-B7 C0-C1 C2-C3 C4-C5 C6-C7 D0-D1 D2-D3 D4-C5 D6-D7 图1.1 数据按需要分段,从第一个磁盘开始放,放到最后一个磁盘再回到第 一个磁盘放起,直到数据分布完毕。至于分段的大小视系统而定,有的系统或以1KB最有效率,或以4KB,或以6KB,甚至是4MB或8MB的,但除非数据小于一个扇区(sector,即521bytes),否则其分段应是512byte的倍数。因为磁盘的读写是以一个扇区为单位,若数据小于512bytes,系统读取该扇区后,还要做组合或分组(视读或写而定)的动作,浪费时间。从上图我们 可以看出,数据以分段于在不同的磁盘,整个阵列的各个磁盘可同时作读 写,故数据分段使数据的存取有最好的效率,理论上本来读一个包含四个 分段的数据所需要的时间约=(磁盘的access time +数据的transfer time)X4次,现在只要一次就可以完成。 若以N表示磁盘的数目,R表示读取,W表示写入,S表示可使用空间,则数据分段的性能为: R:N(可同时读取所有磁盘) W:N(可同时写入所有磁盘) S:N(可利用所有的磁盘,并有最佳的使用率) Disk striping也称为RAID 0,很多人以为RAID 0没有甚么,其实这是非常错误的观念,因为RAID 0使磁盘的输出入有最高的效率。而磁盘阵列 有更好效率的原因除数据分段外,它可以同时执行多个输出入的要求,因 第6页 共26页 磁盘阵列方案介绍 为阵列中的每一个磁盘都能独立动作,分段放在不同的磁盘,不同的磁盘可同时作读写,而且能在快取内存及磁盘作并行存取(parallel access)的动作,但只有硬件的磁盘阵列才有此性能表现。 从上面两点我们可以看出,disk spanning定义了RAID的基本形式,提供了一个便宜、灵活、高性能的系统结构,而disk striping解决了数据的存取效率和磁盘的利用率问题,RAID 1至RAID 5是在此基础上提供磁盘 安全的方案。 RAID 1是使用磁盘镜像(disk mirroring)的技术。磁盘镜像应用在 RAID 1之前就在很多系统中使用,它的方式是在工作磁盘(working disk)之外再加一额外的备份磁盘(backup disk),两个磁盘所储存的数据完全 一样,数据写入工作磁盘的同时亦写入备份磁盘。磁盘镜像不见得就是 RAID 1,如Novell NetWare亦有提供磁盘镜像的功能,但并不表示NetWare有了RAID 1的功能。一般磁盘镜像和RAID 1有二点最大的不同: RAID 1无工作磁盘和备份磁盘之分,多个磁盘可同时动作而有重叠 (overlapping)读取的功能,甚至不同的镜像磁盘可同时作写入的动作,这是一种最佳化的方式,称为负载平衡(load-balance)。例如有多个用户在同一时间要读取数据,系统能同时驱动互相镜像的磁盘,同时读取数据,以减轻系统的负载,增加I/O的性能。 RAID 1的磁盘是以磁盘延伸的方式形成阵列,而数据是以数据分段的 方式作储存,因而在读取时,它几乎和RAID 0有同样的性能。从RAID的结构就可以很清楚的看出RAID 1和一般磁盘镜像的不同。 下图为RAID 1,每一笔数据都储存两份 磁盘0 磁盘1 磁盘0 磁盘1 A0 A1 A0 A1 A2 A3 A2 A3 A4 B0 A4 B0 B1 B2 B1 B2 图1.2 从上图1.2可以看出: R:N(可同时读取所有磁盘) W:N/2(同时写入磁盘数) S:N/2(利用率) 第7页 共26页 磁盘阵列方案介绍 读取数据时可用到所有的磁盘,充分发挥数据分段的优点;写入数据时,因为有备份,所以要写入两个磁盘,其效率是N/2,磁盘空间的使用率 也只有全部磁盘的一半。 很多人以为RAID 1要加一个额外的磁盘,形成浪费而不看好RAID 1,事实上磁盘越来越便宜,并不见得造成负担,况且RAID 1有最好的容错(fault tolerance)能力,其效率也是除RAID 0之外最好的。我们可视应 用的不同,在同一磁盘阵列中使用不同的RAID level,如华艺科技公司的DFTraid系列都可同一磁盘阵列中定义八个逻辑磁盘(logic disk),分别使用不同的RAID level,分为C:,D:及E:三个逻辑磁盘(或LUN0,LUN1,LUN2). RAID 1完全做到了容错包括不停机(non-stop),当某一磁盘发生故障,可将此磁盘拆下来而不影向其他磁盘的操作;待新的磁盘换上去之后,系统即时做镜像,将数据重新复上去,RAID 1在容错及存取的性能上是所有 RAID level之冠。 在磁盘阵列的技术上,从RAID 1到RAID 5,不停机的意思表示在工作 时如发生磁盘故障,系统能持续工作而不停顿,仍然可作磁盘的存取,正常的读写数据;而容错则表示即使磁盘故障,数据仍能保持完整,可让系统存取到正确的数据,而SCSI的磁盘阵列更可在工作中抽换磁盘,并可自动重建故障磁盘的数据。磁盘阵列之所以能做到容错及不停机,是因为它有冗余的磁盘空间可资利用,这也就是Redundant的意义。 RAID 2是把数据分散为位元(bit)或块(block),加入海明码Hamming Code,在磁盘阵列中作间隔写入(interleaving)到每个磁盘中,而且地址(address)都一样,也就是在各个磁盘中,其数据都在相同的磁道 (cylinder or track)及扇区中。RAID 2的设计是使用共轴同步(spindle synchronize)的技术,存取数据时,整个磁盘阵列一起动作,在各作磁盘的相同位置作平行存取,所以有最好的存取时间(access time),其总线(bus)是特别的设计,以大带宽(band wide)并行传输所存取的数据,所以有最好的传输时间(transfer time)。在大型档案的存取应用,RAID 2有最好的性能,但如果档案太小,会将其性能拉下来,因为磁盘的存取是以 扇区为单位,而RAID 2的存取是所有磁盘平行动作,而且是作单位元的存 取,故小于一个扇区的数据量会使其性能大打折扣。RAID 2是设计给需要连续且大量数据的电脑使用的,如大型电脑(mainframe to 第8页 共26页 磁盘阵列方案介绍 supercomputer)、作影像处理或CAD/CAM的工作站(workstation)等,并不适用于一般的多用户环境、网络服务器(network server),小型机或PC。 RAID 2的安全采用内存阵列(memory array)的技术,使用多个额外的磁盘作单位错误校正(single-bit correction)及双位错误检测 (double-bit detection);至于需要多少个额外的磁盘,则视其所采用的方法及结构而定,例如八个数据磁盘的阵列可能需要三个额外的磁盘,有三十二个数据磁盘的高档阵列可能需要七个额外的磁盘。 RAID 3的数据储存及存取方式都和RAID 2一样,但在安全方面以奇偶 校验(parity check)取代海明码做错误校正及检测,所以只需要一个额外 的校检磁盘(parity disk)。奇偶校验值的计算是以各个磁盘的相对应位 作XOR的逻辑运算,然后将结果写入奇偶校验磁盘,任何数据的修改都要 做奇偶校验计算,如下图: 磁盘0 磁盘1 磁盘2 磁盘3 磁盘4 A0 A1 A2 A3 P A4 B0 A1 A2 P B3 B4 C0 C1 P C2 C3 C4 D0 P 图1.3 如某一磁盘故障,换上新的磁盘后,整个磁盘阵列(包括奇偶校验磁盘)需重新计算一次,将故障磁盘的数据恢复并写入新磁盘中;如奇偶校验磁盘故障,则重新计算奇偶校验值,以达容错的要求. 较之RAID 1及RAID 2,RAID 3有85%的磁盘空间利用率,其性能比RAID 2稍差,因为要做奇偶校验计算;共轴同步的平行存取在读档案时有很好 的性能,但在写入时较慢,需要重新计算及修改奇偶校验磁盘的内容。 RAID 3和RAID 2有同样的应用方式,适用大档案及大量数据输出入的应用,并不适用于PC及网络服务器。 RAID 4也使用一个校验磁盘,但和RAID 3不一样,如下图: 第9页 共26页 磁盘阵列方案介绍 磁盘0 磁盘1 磁盘2 磁盘3 磁盘4 A0-A1 A2-A3 A4-B0 B1-B2 P B3-B4 C0-C1 C2-C3 C4-D0 P D1-D2 D3-D4 B0-B1 B2-B3 P E4-F0 F1-F2 F3-F4 G0-G1 P 图1.4 RAID 4是以扇区作数据分段,各磁盘相同位置的分段形成一个校验磁 盘分段(parity block),放在校验磁盘。这种方式可在不同的磁盘平行执 行不同的读取命今,大幅提高磁盘阵列的读取性能;但写入数据时,因受限于校验磁盘,同一时间只能作一次,启动所有磁盘读取数据形成同一校 验分段的所有数据分段,与要写入的数据做好校验计算再写入。即使如此,小型档案的写入仍然比RAID 3要快,因其校验计算较简单而非作位(bit level)的计算;但校验磁盘形成RAID 4的瓶颈,降低了性能,因有RAID 5而使得RAID 4较少使用。 RAID5避免了RAID 4的瓶颈,方法是不用校验磁盘而将校验数据以循 环的方式放在每一个磁盘中,如下图: 磁盘0 磁盘1 磁盘2 磁盘3 磁盘4 P A0-A1 A2-B3 A4-B0 B2-B2 B3-B4 P C0-C1 C2-C3 C4-D0 D1-D2 D3-D4 P B0-B1 B2-B3 E4-F0 F1-F2 F3-F4 P G0-G1 磁盘阵列的第一个磁盘分段是校验值,第二个磁盘至后一个磁盘再 折回第一个磁盘的分段是数据,然后第二个磁盘的分段是校验值,从第三个磁盘再折回第二个磁盘的分段是数据,以此类推,直到放完为止。图中 的第一个parity block是由A0,A1...,B1,B2计算出来,第二个parity block是由B3,B4,...,C4,D0计算出来,也就是校验值是由各磁盘同一位 置的分段的数据所计算出来。这种方式能大幅增加小档案的存取性能,不但可同时读取,甚至有可能同时执行多个写入的动作,如可写入数据到磁 盘1而其parity block在磁盘2,同时写入数据到磁盘4而其parity block在磁盘1,这对联机交易处理(OLTP, on-line Transaction Processing) 如银行系统、金融、股市等或大型数据库的处理提供了最佳的解决方案 (solution),因为这些应用的每一笔数据量小,磁盘输出入频繁而且必须 第10页 共26页 磁盘阵列方案介绍 容错。 事实上RAID 5的性能并无如此理想,因为任何数据的修改,都要把同一parity block的所有数据读出来修改后,做完校验计算再写回去,也就是RMW cycle(Read-Modify-Write cycle,这个cycle没有包括校验计算);正因为牵一而动全身,所以: R:N(可同时读取所有磁盘) W:1(可同时写入磁盘数) S:N-1(利用率) RAID 5的控制比较复杂,尤其是利用硬件对磁盘阵列的控制,因为这种方式的应用比其他的RAID level要掌握更多的事情,有更多的输出入需求,既要速度快,又要处理数据,计算校验值,做错误校正等,所以价格较高;其应用最好是OLTP,至于用于PC等,不见得有最佳的性能。 1.2 、RAID的对比： 下面几个表列是RAID的一些性质: 操作 工作模式 最少硬盘需求量 可用容量 RAID 0 磁盘延伸和数据分布 2 T RAID 1 数据分布和镜像 2 T/2 共轴同步,并行传RAID 2 3 T*(n-1)/n 输,ECC 共轴同步,并行传RAID 3 3 T*(n-1)/n 输,Parity RAID 4 数据分布，固定Parity 3 T*(n-1)/n RAID 5 数据分布，分布Parity 3 T*(n-1)/n RAID的性能与可用性： 第11页 共26页 磁盘阵列方案介绍 TransacRAID 用户数据利Bandwidth 数据可tion Level 用率 Performance 用性 Performance RAID 1 0.25 1 0.0005 0 RAID 0.5 0.25 0.85 1 1 RAID 0.67 1 0.25 0.9999 2 RAID 0.75 1 0.25 0.9999 3 RAID 0.75 0.25 0.61 0.9999 4 RAID 0.75 0.25 0.61 0.9999 5 以上数据基于4个磁盘，传输块大小1K，75%的读概率，数据可用性 的计算基于同样的损坏概率 1.3 、RAID的概述： RAID 0 没有任何额外的磁盘或空间作安全准备,所以一般人不重视它,这是误解,其实它有最好的效率及空间利用率,对于追求效率的应用,非常理想,可同时用其他的RAID level或其他的备份方式以补其不足,保护重要的数据。 RAID 1 有最佳的安全性,100%不停机,即使有一个磁盘损坏也能照常作业而 不影向其效能(对能并行存取的系统稍有影响),因为数据是作重复储存。 RAID1的并行读取几乎有RAID 0的性能,因为可同时读取相互镜像的磁盘;写入也只比RAID 0略逊,因为同时写入两个磁盘并没有增加多少工作。虽 然RAID 1要增加一倍的磁盘做镜像,但作为采用磁盘阵列的进入点,它是最便宜的一个方案,是新设磁盘阵列的用户之最佳选择。 RAID 5 在不停机及容错的表现都很好,但如有磁盘故障,对性能的影响较大, 第12页 共26页 磁盘阵列方案介绍 大容量的快取内存有助于维持性能,但在OLTP的应用上,因为每一笔数据或记录(record)都很小,对磁盘的存取频繁,故有一定程度的影响。某一 磁盘故障时,读取该磁盘的数据需把共用同一parity block的所有数据及校验值读出来,再把故障磁盘的数据计算出来;写入时,除了要重覆读取的程序外,还要再做校验值的计算,然后再写入更新的数据及校验值;等换上新的磁盘,系统要计算整个磁盘阵列的数据以回复故障磁盘的数据,时间要很长,如系统的工作负载很重的话,有很多输出入的需求在排队等 候时,会把系统的性能拉下来。但如使用硬件磁盘阵列的话,其性能就可以得到大幅度的改进,因为硬件磁盘阵列如DFTraid系列本身有内置的CPU与主机系统并行运作,所有存取磁盘的输出入工作都在磁盘阵列本身 完成,不花费主机的时间,配合磁盘阵列的快取内存的使用,可以提高系统的整体性能,而优越的总线控制更能增加数据的传输速率,即使在磁盘故障的情况下,主机系统的性能也不会有明显的降低。RAID 5要做的事情太多,所以价格较贵,不适于小系统,但如果是大系统使用大的磁盘阵列 的话,RAID 5却是最便宜的方案。 总而言之,RAID 0及RAID 1最适合PC及图形工作站的用户,提供最佳的性能及最便宜的价格,所以RAID 0及RAID 1多是使用IDE界面,以低成本符合PC市埸的需求。RAID 2及RAID 3适用于大档案且输入输出需求不频 繁的应用如影像处理及CAD/CAM等;而RAID 5则适用于银行、金融、股市、 数据库等大型数据处理中心的OLTP应用;RAID 4与RAID 5有相同的特性及应用方式,但有其先天的限制,所以并不受推荐。 1.4 、磁盘阵列优势： 磁盘阵列的额外容错功能：Spare or Standby driver 事实上容错功能已成为磁盘阵列最受青睐的特性,为了加强容错的功能以及使系统在磁盘故障的情况下能迅速的重建数据,以维持系统的性能,一般的磁盘阵列系统都可使用热备份(hot spare or hot standby driver)的功能,所谓热备份是在建立(configure) 磁盘阵列系统的时候,将其中一磁盘指定为后备磁盘,此一磁盘在平常并不操作,但若阵列中某一磁盘发生故障时,磁盘阵列即以后备磁盘取代故障磁盘,并自动将故障磁盘的数据重建(rebuild)在后备磁盘之上,因为反应快速,加上快取内 第13页 共26页 磁盘阵列方案介绍 存减少了磁盘的存取, 所以数据重建很快即可完成,对系统的性能影响 很小。对于要求不停机的大型数据处理中心或控制中心而言,热备份更是一项重要的功能,因为可避免晚间或无人值守时发生磁盘故障所引起的 种种不便。 另一个额外的容错功能是坏扇区转移(bad sector reassignment)。坏扇区是磁盘故障的主要原因,通常磁盘在读写时发生坏扇区的情况即 表示此磁盘故障,不能再作读写,甚至有很多系统会因为不能完成读写的 动作而死机,但若因为某一扇区的损坏而使工作不能完成或要更换磁盘,则使得系统性能大打折扣,而系统的维护成本也未免太高了。坏扇区转移 是当磁盘阵列系统发现磁盘有坏扇区时,以另一空白且无故障的扇区取 代该扇区, 以延长磁盘的使用寿命,减少坏磁盘的发生率以及系统的维 护成本。所以坏扇区转移功能使磁盘阵列具有更好的容错性,同时使整个系统有最好的成本效益比。其他如可外接电池备援磁盘阵列的快取内存,以避免突然断电时数据尚未写回磁盘而损失;或在RAID 1时作写入一致性的检查等,虽是小技术,但亦不可忽视。 2.1 、硬件磁盘阵列还是软件磁盘阵列 市面上有所谓硬件磁盘阵列与软件磁盘阵列之分,因为软件磁盘阵列是使用一块SCSI卡与磁盘连接,一般用户误以为是硬件磁盘阵列。以 上所述主要是针对硬件磁盘阵列,其与软件磁盘阵列有几个最大的区别: ?一个完整的磁盘阵列硬件与系统相接。 ?内置CPU,与主机并行运作,所有的I/O都在磁盘阵列中完成,减轻主机的工作负载,增加系统整体性能。 第14页 共26页 磁盘阵列方案介绍 ?有卓越的总线主控(bus mastering)及DMA(Direct Memory Access) 能力,加速数据的存取及传输性能。 ?与快取内存结合在一起,不但增加数据的存取及传输性能,更因减少对磁盘的存取而增加磁盘的寿命。 ?能充份利用硬件的特性,反应快速。 软件磁盘阵列是一个程序,在主机执行,透过一块SCSI卡与磁盘相接形成阵列,它最大的优点是便宜,因为没有硬件成本(包括研发、生产、维护等),而SCSI卡很便宜(亦有的软件磁盘阵列使用指定的很贵的SCSI卡);它最大的缺点是使主机多了很多进程(process),增加了主机的负担,尤其是输出入需求量大的系统。目前市面上的磁盘阵列系统大部份是硬 件磁盘阵列,软件磁盘阵列较少。 2.2 、IDE、SCSI、FC磁盘阵列 目前使用在磁盘输出入的界面主要有两种: 1. IDE (Integrated Drive Electronics) 是广泛使用在PC上的磁盘驱动器界面,一般而言,其传输速度从磁盘到磁 盘缓冲器(medium to drive buffer)是1.5-2.5MB/Sec,从缓冲器到界面(drive buffer to drive interface)约4.0-6.0MB/Sec,而且新的设计其速率有大幅的改进,如增强型IDE界面(mode 4)在PCI(Peripheral Component Interconnect)总线上的传输速率可达33MB/Sec。 2. SCSI (Small Computer Standard Interface) SCSI是较高级(high level)的界面,可用于主机,磁盘,磁带,打印机等,因为是高阶的界面,规格较为复杂,一般自带控制器,也较为复杂,这就是SCSI磁盘为什么比IDE磁盘费的原因。但SCSI界面能较有效的利用硬件特性而提高其速度。其控制器还能对主机发给SCSI磁盘的命令进行缓冲、排队,并进行优化处理(命令队列)。现在较流行的是标准SCSI-2和SCSI-3。有两种规格,FAST SCSI(SCSI-2)的同步传输速率为10MB/Sec, 第15页 共26页 磁盘阵列方案介绍 数据传输宽度为8 bit, WIDE SCSI的数据传输宽度可达16-bit。Ultra SCSI(SCSI-3)的同步传输速率为20MB/Sec,Ultra Wide SCSI的同步传输速率为40MB/Sec,数据传输宽度可达32-bit。SCSI磁盘有虽有较高的传输速度,但受限于磁盘的存取速度及磁盘至SCSI界面的传输速度而不能 充分发挥其性能(因为磁盘的机械动作难于有大幅度的改进);其命令分析程序(command phase)也较复杂。对单机来言，磁盘数量越多,主机找到特定的数据的时间越长,但对磁盘阵列来言,由于是多个磁盘一起并行 处理,则表现为磁盘数量越多,速度越快。 以上界面的直接反应是单任务时IDE比SCSI快,多任务时SCSI较快,这可从用IDE盘和SCSI盘做多用户、多任务的操作系统(如UNIX、Windows/NT等)的系统盘时的启动时间的差别中明显看出。在单机时则不 一定。我们看一个界面是否较快,不应只看其传崐输速度的高低而应就整 个输入/输出的流程看,因为磁盘存取的机械动作比不上电脑的传输速 率。IDE界面简单,反应快速,用于PC单机的小型的磁盘阵列其效果可能 比SCSI为佳;但较大型的磁盘阵列就非SCSI界面莫属,因为阵列中的各个磁盘一起作存取的动作,能充分发挥SCSI的传输速率快及多工的特点。 此外IDE因为其配线规格的关系,不能作热插拔(hot swap),也就是不能在工作中带电插拔磁盘,而其线缆即使是增强型IDE也只有18寸,不能接在机箱之外,难于形成大的阵列,也就是只适用于PC低层次的用户。SCSI缆线在差分传输模式(differential transmission mode)下最大长度为25米,单端传输模式•(single-ended transmission mode)时最大长度为6米,而一条SCSI总线可连接8台系统或各种不同的装置,扩充性很强,可形成很大的磁盘阵列空间;SCSI规格完备,容错能力很好,可带电插拔磁盘,是外接式装置无可取代的界面。 2.3 、磁盘阵列卡还是磁盘阵列控制器 磁盘阵列控制卡一般用于小系统，供单机使用。与主机共用电源， 在关闭主机电源时存在丢失Cache中的数据的的危险。磁盘阵列控制卡 只有常用总线方式的接口，其驱动程序与主机、主机所用的操作系统都 有关系，有软、硬件兼容性问题并潜在地增加了系统的不安定因素。在 更换磁盘阵列卡时要冒磁盘损坏，资料失落，随时停机的风险。 第16页 共26页 磁盘阵列方案介绍 独立式磁盘阵列控制一般用于较大型系统,可分为两种： 单通道磁盘阵列和多通道式磁盘阵列，单通道磁盘阵列只能接一台 主机，有很大的扩充限制。多通道磁盘阵列可接多个系统同时使用,以群集(cluster)的方式共用磁盘阵列,这使内接式阵列控制及单接式磁盘阵 列无用武之地。DFT数据容错公司的DFTraid Rack Mount和DFTraid Tower等系统,都是独立形式的磁盘阵列子系统，其本身与主机系统的硬件及操 作环境无关，只通过SCSI线缆与主机相接，主机把它当作一般的磁盘， 所有的输出入动作都在磁盘阵列上完成，与主机的操作无关，所以可接 任何可使用SCSI界面的主机。DFTraid Rack Mount和DFTraid Tower两系统最多可有六个SCSI通道，可同时连接5台主机;而DFTraid 5000系列则有9个通道,可同时连接多达8台主机，使之一起共用磁盘阵列子系 统。这种方式的磁盘阵列既可给单机使用，又可给群集多机使用，对用 户对增加阵列中的磁盘数量限制较小，并可用于备援及并行的容错电脑 系统，特别适合较大的系统用户，使这些用户可从封闭的环境中解放出 来。 据统计60%的企业关键数据都存储在企业内部员工的PC机和笔记本电脑上。对这部分的数据的存储管理及备份管理本应是一个重要问题， 但因为用户过于分散及管理工作过于琐碎等原因，反而疏忽了对这些机 器上的数据的管理，由于各种原因造成数据丢失。 磁盘阵列的使用方式根据具体需求的不同，连接和配置的方式可谓 是多种多样，都具有各自的特点和功能。 本方案将采用IBM DS4200磁盘阵列柜为模型，列举目前最具代表性 的配置安装方式供客户参考。 第17页 共26页 磁盘阵列方案介绍 3.1 、典型用户网络结构： 连接示意图如下： PC客户机 存储服务器及以太网交换机 磁盘阵列 应用服务器 图 3.1 如图所示，公司内网有文件服务器１台、WEB服务器１台、OA服务器一台、MIS服务器１台、SQL数据库服务器１台、共有办公电脑X台左右 客户需求 ： 1.公司需对企业局域网内的PC及工作站终端重要数据备份至服务器 2.将服务器上的数据备份到磁盘阵列 3.服务器系统备份、重要PC系统备份 4.保证公司文件资料的安全性 第18页 共26页 磁盘阵列方案介绍 硬件需求： 1. 服务器一台 2. 磁盘阵列柜一台 综合分析： 此方案硬件连接方便，只需增加存储设备，和一台服务器就能建立 硬件平台，成本小且组建迅速。 典型用户网络结构是目前大多数企业公司现行的网络结构，增加此 方案中磁盘阵列容易实现，能满足客户的多重基本需求，有立竿见影的 作用且使用效率高，硬件方面设备维护简单，数据集中管理，唯独各种 数据（邮件，myserver等）的备份都需要手动操作。但可以使用恰当的 软件弥补该缺点，智能自动备份各种数据。 3.2 、 双机热备方案： 根据ds4300磁盘阵列具有双控制卡的特定本节采用全冗余建议方案 采用 2 台 IBM p5 520 服务器运行应用，分别运行 HACMP 软件，保证系统的高可靠性。 采用 2 台 2005 － H08 光纤交换机建立存储局域网环境，分别连 接两台 p5 520 服务器和磁盘阵列。 2 台光纤交换机可以避免单点故障。 采用 IBM DS4300 保证数据存储的可靠性和读取效率。 2 台 p5 520 分别通过 2 根光纤连接到 2 台存储光纤交换机， DS4300 通过 4 根光纤连接到 2 台存储光纤交换机，如此连接即保证了 可靠性，又提高了数据访问的效率。 连接示意图如下： 第19页 共26页 磁盘阵列方案介绍 图 3.2 硬件需求：（所有配置只提供参考，具体根据需求提供详细配置） 服务器： IBM p5 520 2 台；2 颗 1.5GHz/1.65GHz 的 power5 处理器， 4GB 内存。 2 块 73GB 内置硬盘 : 用于安装操作系统 2 块以太网卡；典型的，一个服务器应至少提供两块网卡 ( 一个服务网卡和一个备份网卡 ) 。服务网卡是服务器和网络之间的主连接。备 份网卡用于备份服务网卡，当本地的服务网卡失效时， HACMP 软件将就备份用网络地址和服务用网络地址进行交换。如果另一个服务器失效时， 备份用网卡将恢复失效节点的服务网络适配器的 IP 地址。 2 块光纤卡；分别与两台光纤交换机相连，提高可靠性，避免单点 故障。 第20页 共26页 磁盘阵列方案介绍 1 块 2 口异步卡；提供串口，连接心跳线。提供在两个节点间的点 到点的连接，用于在 TCP/IP 子网失效事件发生时控制信息和心跳信息 的传递。 HACMP 软件 AIX 操作系统 光纤交换机 IBM Total Storage SAN Switch 2005-H08 2 台 8 口光纤交换机，用于连接服务器和磁盘阵列。 2 台光纤交 换机提高整个系统的可靠性，避免单点故障。 磁盘阵列 IBM Total Storage DS4300 用于存储用户数据。磁盘阵列分别与两台光纤交换机相连，提高可 靠性和访问效率 从上一种配置方案可见 利用磁盘阵列组建全冗余建议方案为应用数据提供一个安全严密的 运行环境（因无单点故障点），同时也可以看到所需大量的软件和硬件 支持连接复杂，维护繁琐。 根据ds4300磁盘阵列的硬件配置，我们还可以使用如下廉价的连接 方式： 需要磁盘阵列具备双控制卡就能实现如下的连接方式 第21页 共26页 磁盘阵列方案介绍 图3.2 此方式的连接，如同上文中，典型网络的连接的升级版，上文中的 网络连接，只能提供一台服务器的硬盘服务，此方式却能最多为四台服 务器提供硬盘支持。充分利用了磁盘阵列的多重连接功能。 3.3 、集群存储服务方案： 磁盘阵列可以组建磁盘阵列柜为集群服务器提供储存备份解决方案 （FC-SAN连接方式）： 连接示意图如下： 第22页 共26页 磁盘阵列方案介绍 图3.4 图中的连接方式根据光纤交换机的特性可以连接16台服务器，并提供相应磁盘存储服务。 在FC-SAN 中存在着其灵活的连接方式， 通过链路层交换提供及时、多路的点对点的连接。通过专用、高性能的光纤通道交换机进行连接， 同时可进行多对设备之间点对点的通信，从而使整个系统的总带宽随设 备的增多而相应增大，在增多的同时丝毫不影响这个系统的性能。 在链路中使用光纤介质，不仅完全可以避免因传输过程中各种电磁 干扰，而且可以有效达到远距离的I/O通道连接 在FC-SAN 中所使用的核心交换设备-光纤交换机均带具有高可靠性及高性能的ASIC芯片设计，使整个处理过程完全基于硬件级别的高效处 理。 同样在连接至主机的HBA设计中，绝大多数操作独立处理，完全不 耗费主机处理资源。 IP-SAN：使用通用的IP网络及设备 在传输介质中使用铜缆、双绞线、光纤等介质进行信号的传输，但在普 通的廉价介质存在信号衰减严重等缺点，而使用光纤也同样需要特有的 光电转换设备等。在IP网络中，可借助IP路由器进行传输,但根据其距离远近，会产生相应的传输延迟。 核心使用各种性能的网络交换机，受传输 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 本身的限制，其实际 第23页 共26页 磁盘阵列方案介绍 处理效率不高。 在主机端通常使用廉价的各种速率的网卡，大量耗费主机的应用处 理资源。 可得出如下光纤通道（FC）与网络（IP）的对比表，该对比表可清 晰表明使用光纤通道进行大数据量的信息存储传输与处理中在其性能有 着网络在现阶段无法比拟的优势。 表3.1 RAID 光纤通道（FC） 连接业务 物理电路 可靠的硬件传输 高速 低延迟 较短距离 基于硬件 更远的距网络（IP） 无连接 逻辑电路 不可靠的传输 高连接 更高的延迟 基于硬件 离 4.1 机房建设 机房环境、电源及防雷接地应满足《建筑与建筑群综合布线系统工程 设计规范》（CECS 72:97）的要求。计算机机房的设计应符合下列规定： ?设备间内所有设备应有足够的安装空间，其中包括计算机主机，网络 连接设备等。 ?设备间的地面面层 材料 关于××同志的政审材料调查表环保先进个人材料国家普通话测试材料农民专业合作社注销四查四问剖析材料 应能防静电。 ?设备间至少提供离地板255CM高度的空间，门的高度应大于210CM，门宽应大干90CM，地板的平均荷载应大于5kN／m2。凡是安装综合布线硬 件的地方，墙壁和天棚应涂阻燃漆。 ?设备间应采用全封闭房间，防止有害气体（如SO2、H2S、NH3、NO2等）侵入，并应有良好的防尘措施。 ?设备间室温应保持在10?至25?之间，相对温度应保持60％至80%。 第24页 共26页 磁盘阵列方案介绍 ?设备间应安装符合法规要求的消防系统，应使用防火防盗门，至少能 耐火1小时的防火墙。 ?机房内的尘埃要求低于0.5um；对于开机时机房内的噪音，在中央控制 台处测量时应小于70dB。 ?机房内无线电干扰场强，在频率范围为0.15—1000MHz时不大于120dB。机房内磁场干扰场不大于800A/m。 ?计算机房内的照明要求在离地面0.8m处，照度不应低于200lx，其它房间的照明不应低于5lx,主要通道及有关房间可根据需要设置，但其照 度要求是在离地面0.8m处不低于1lx。 ?设备间应采用UPS不间断电源，防止停电造成网络通讯中断。UPS电源应提供不低于2小时后备供电能力。UPS功率大小应根据网络设备功率进 行计算，并具有20-30%的余量。设备间电源设备应具有过压过流保护功 能，已防止对设备的不良影响和冲击。 ?防雷接地可单独接地或同大楼共用接地体。接地要求每个配线柜都应 单独引线至接地体，保护地线的接地电阻值，单独设置接地体时，不应 大于2欧姆；采用同大楼共用接地体时，不应大于1欧姆。 机房建设所涉及系统： ?机房装修系统 ?机房布线系统(网络布线、电话布线、DDN、卫星线路等布线) ?机房屏蔽、防静电系统(屏蔽网、防静电地板等) ?机房防雷接地系统 ?机房保安系统(防盗报警、监控、门禁) ?机房环境监控系统 ?机房专业空调通风系统 ?机房网络设备放置色设备(机柜、机架等) ?机房照明及应急照明系统 ?机房UPS配电系统 第25页 共26页 磁盘阵列方案介绍 4.2 机架配置 散热系统： 一般机柜设计，在机柜顶部或侧面加装小风扇，整个大风扇，用边 吸边吹的方式散热，不但散热效果不好，而且是产生磁盘驱动器故障的 潜在因素:它带来的危害有以下这些: 产生大量气流将粉尘吹入系统，污染磁盘驱动器及风扇本身造成故 障。 采用一般PC用小风扇，且数量多〈转动机械零件越多，故障机率越 高〉，系统可靠度因而巨幅降低。 一旦有一个小风扇故障，相关磁盘驱动器便无法获得足够散热而故 障。 一个优质之冷却系机架设计，必须完全符合热力学理论之全方位冷 却:热传导、热对流及热辐射之三相散热方式，才能更有效率、可靠度更 高。 防震机械结构： 由于磁盘阵列的特性，当存取阵列中的数据时，阵列中所有的磁盘 驱动器的磁头，都几乎在同时，往同一个方向SEEK，又几乎同时在相同的位置煞车，其惯性动量非常之大。因此造成很大的震动问题。如果磁 盘阵列柜的机械结构不能克服这些震动问题，轻则造成Re-Seek，严重的 话，会导致碟面受损，数据遗失。 4.3 后备电源 后备电源的使用，可以大大提高数据的保障力度，在突然断电或意 外宕机的情况之下，后备电源可以保障磁盘阵列将I/O中的数据进行储 存，并能延长磁盘的使用寿命。 第26页 共26页