计算机集群技术探析

     计算机集群技术探析                  【摘要】集群系统成为构建高性能计算系统的主流方式，由于具有低成本、高性能和良好的可扩展性，集群系统已经日益成为构建高性能计算系统的主要方式，计算机集群技术进行了探讨分析。【关键词】计算机；集群；集群技术计算机软硬件及算法的改进及提高，对高性能计算技术提出了更高的要求。集群技术是处理器技术和网络技术不断提高的产物，是一组独立的计算机的集合体，使节点间通过高性能的互连网络连接。　　一、集群定义　　随着计算机技术的发展和越来越广泛的应用，越来越多的依赖于计算机技术的应用系统走进了我们的工作和生活。在给我们带来方便和效率的同时，也使得各行各业对于计算机技术的依赖程度越来越高。尽管随着计算机技术以日新月异的速度发展，单台服务器的性能和可靠性越来越好，但还是有许多现实的要求是单台服务器难以达到的。往往需要将多台服务器组织起来进行协同工作来模拟一台功能更强大的系统，这种技术称为集群技术。所谓集群，就是共同为客户机提供网络资源的一组服务器系统，其中的每一台提供服务的计算机，称之为节点。当一个节点不可用或者不能处理客户的请求时，该请求将会转到另外的可用节点来处理，这些对于客户端来说，它根本不必关心这此要使用的资源的具体位置，集群系统会自动完成。　　集群中节点可以以不同的方式来运行，这要看它们是如何设置。在一个理想的两个节点的集群中，两个服务器都同时处于活动状态，也就是在两个节点上同时运行应用程序，当一个节点出现故障时，运行在出故障的节点上的应用程序就会转移到另外的没有出现故障的服务器上，这样一来，由于两个节点的工作现在由一个服务器来承担，自然会影响服务器的性能。针对这种情况的解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 是，在正常操作时，另一个节点处于备用状态，只有当活动的节点出现故障时该备用节点才会接管工作，这并不是一个很经济的方案，你不得不买两个服务器来做一个服务器的工作。虽然当出现故障时不会对性能产生任何影响，但是在正常运行时的性能价格比并不太好。　　二、集群网络服务器发展现状　　由同构或异构的计算机连接起来协同完成特定的任务，应用程序或用户可以透明访问的、均衡负载的双机或多机系统就是集群系统。集群系统在可靠性、高性能、可扩展性、负载均衡及性价比方面具有独特的优势，因而是目前构建高性能网络服务器的主要发展方向。我们称集群网络服务器系统中实际进行任务处理的机器为执行服务器。用集群系统来提供高性能网络信息服务的难点主要在于：透明性，性能，高可用性，可管理性。围绕这些问题，主要从如下几个方面展开了研究：（1）体系结构。如以IBM的TCPRouter⑶，LVS（LinuxVirtualServer）⑷的IPVS为代 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 的单负载均衡部件的体系结构；以Boston大学的DPR（DistributedPacketRewriting）⑸为代表的多负载均衡部件的体系结构及其扩展；以VAnessa（VANetworkEnhancedScalableServerArchitecture）⑹为代表的全球地理分布的体系结构。（2）调度机制。这是影响到集群服务器系统关键性能的重要技术，也是目前研究工作的重点。现有的调度机制都以负载均衡为基础，按照控制粒度由粗到细的顺序有如下几种：基于RR-DNS的调度，如NCSAgroup和DECWRLgroup采用过的解决方案，这是客户机一级的粗粒度调度方案。其好处是实现简单，主要问题是负载容易倾斜，服务器非完全透明，可用性与可维护性差；基于负载均衡器的调度，通过专门的负载均衡器将用户请求分派给执行服务器。根据控制粒度又可分为：基于第四层负载平衡的解决方法，如Cisco的LocalDirectorBerkeleyNOWproject的MagicRouter，IBM的TCPRouter和InteractiveNetworkDispatcher，LVS的IPVS，这是单次连接一级的中粒度调度方案；基于内容的负载平衡解决方法（又称为第七层调度或基于应用层的调度），调度考虑服务器的负载，还考虑服务的内容，如Zeus负载调度器、pWeb，Reverse-Proxy和SWEB以及Resonate、Alteon等提供的第四层交换产品，这是单次请求一级的细粒度调度方案。以上各种调度机制实现了不同粒度的负载平衡，并结合使用了不同的报文分发技术，各有特点，适合不同的应用场合。基于RR-DNS的调度由于其实施的简单性和经济性，在目前的因特网站点中使用较多。基于负载均衡器的产品性能较高，如基于第四层负载平衡调度的LVS（软件）前端节点可达到每秒15万个报文的处理速率，吞吐率约为每秒2万5千个连接.NortelNetworks的Alteon180系列的Web交换机（基于TCP层及应用层信息进行负载平衡）可达到每秒33万6千个连接的吞吐率，但这类系统多为昂贵的商业产品。（3）动态重构、故障定位及恢复。目前集群系统普遍采用的是心跳检测机制，通过不断探测目标系统的健康情况，对故障节点实施屏蔽、替换，并且在故障系统恢复后自动将其加入集群系统，整个切入切出过程的时间在秒的量级，从而实现了集群的动态维护。（4）通讯机制。一种典型方案以当前可普遍获取的快速以太网网卡和集线器/交换机及运行其上的TCP/IP协议作为集群节点的互联机构；另一种典型方案使用专为集群 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 的互联硬件，如Myricom的Myrinet，Giganet的cLAN、IEEE1596标准可伸缩一致接口（SCI）及VMIC的（MCCMemoryChannel），通过专门的硬件及通讯协议获得很高的性能。目前集群的高速通讯设施在软硬件方面正趋向于标准化，如由Compaq，Intel，Microsoft发起的VIA（VirtualInterfaceVIArchitecture）。（5）I/O机制。除了各个节点拥有各自独立的I/O资源外，一种常见的方案是集群各个节点共享外部存储设备，如RAID，支持多个节点的同时访问，增大了带宽，提高了集群系统的可用性及可扩展性。目前，由Compaq，Dell，HP，IBM，Intel，Microsoft及Sun等大公司针对集群系统在可靠性、可用性、可扩展性、高性能方面对I/O系统提出的要求提出了InfiniBandTMArchitecture这种基于通道和交换网络的新一代I/O技术。目前在研究使用通用工作站、微机等一般设备构建高性价比集群网络服务器时，考虑较多的是前三个方面，特别是围绕调度机制的研究提高集群负载调度器的吞吐率，对如何从集群的整体考虑，维持整个系统的高吞吐率，如何为上层应用提供Qos控制这种非常有价值的高级特性支持研究较少。总的来看，集群是构建高性能网络服务器的趋势，今后的集群系统，将继续向着高可用，可扩展，高性能的方向发展，一个重要方向是集群中的各个节点共享内存、硬盘、CPU和I/O等重要的子系统，从而形成单一系统映像（SSI），也将更加注意上层应用对QoS控制等高级应用特性的具体需求。目前因特网上的许多著名站点都不同程度地采用了集群技术。国外IBM，Cisco，Compaq，Berkeley等公司和大学在集群服务器方面做了大量研究工作，并已形成产品；国内中科院、清华大学、网络集群有限公司、浪潮公司等单位在集群服务器领域也正进行着相关的研究和产品化的工作。　　目前市场上绝大部分性能较高的集群产品都是外国产品，价格非常昂贵，如IBM的NetDispatche：依赖于其SP/2服务器系统，两者的捆绑销售价达上百万美元。现有多数研究普遍强调系统的高可伸缩性、高可用性等基本性能特性，对QoS控制等高级功能特性的研究还有许多工作要做。研制自主知识产权，具有一定通用性，满足高吞吐率、高可伸缩性、高可用性等基本性能需求，并提供QoS控制等高级功能支持的集群产品，符合网络信息服务的发展趋势，具有重大的意义。　　三、实现技术　　1．高可用性集群技术。高可用性集群，英文原文为HighAvailabillityCluster⑻简称HACluster是指以减少服务中断（宕机）时间为目的的服务器集群技术。随着全球经济的增长，世界各地各种各样的组织对IT系统的依赖都在不断增加，电子贸易使得商务一周七天24小时不间断的进行成为了可能。新的强大的应用程序使得商业和社会机构对日常操作的计算机化要求达到了空前的程度，趋势非常明显，我们无时无刻不依赖于稳定的计算机系统。这种需求极速的增加，使得对系统可用性的要求变得非常重要，许多公司和组织的业务在很大程度上都依赖于计算机系统，任何的宕机都会造成严重的损失。　　2．高性能计算集群技术。高性能计算集群，关文原文为HighPerformanceComputingCluster⑼简称HPCCluster是指以提高科学计算能力为目的计算机集群技术。HPCCluster提一种并行计算（ParallelProcessing）集群的实现方法。并行计算是指将一个应用程序分剂成多块可以并行执行的部分并指定到多个处理器上执行的方法。目前的很多计算机系统可以支持SMP（对称多处理器）架构并通过进程调度机制进行并行处理，但是SMP技术的可扩展性是十分有限的，比如在目前的Intel架构上最多只可以扩展到8颗CPU。为了满足那“计算能力饥渴”的科学计算任务，并行计算集群的方法被引入到计算机界。　　3．高可扩展性集群技术。高可扩展性集群技术就是带均衡策略（算法）的服务器群集。负载均衡群集在多节点之间按照一定的策略（算法)分发网络或计算处理负载，负载均衡建立在现有网络结构之上，它提供了一种廉价有效的方法来扩展服务器带宽，增加吞吐量，提高数据处理能力，又可以避免单点故障。在提高信息系统可靠性方面，目前常见的方式是采用双机冗余结构。但与多机冗余结构相比，因其冗余节点数少于后者而使其可靠性和系统重构能力明显不如后者，并且双机系统结构的特点在计算资源方面制约着大规模数据处理，或者在容错方面不能实现全节点间的对等冗余。具有高性能计算、高可用性、高可扩展性优势的集群服务器系统，可满足医院信息网络系统的信息处理需求，现已逐步在系统信息处理中得到应用。参考文献[1]郑纬民．集群系统的现状与挑战[J]计算机教育．2004（6）[2]胡章平．集群系统与分布式计算[J]．电脑知识与技术．2006（5）[3]李艳华．集群计算机技术应用[J]湖北财经高等专科学校学报．2007（2）[4]贺喜玲．动态自适应集群系统[J]．现代企业教育．2008（22）[5]李敏，张宜生，李德群．用于并行计算的PC集群系统构建[J]．计算机应用研究．2009（3）[6]安立奎，钱伟懿，韩丽艳．集群系统中基于MPI的关联规则快速挖掘算法[J]．三峡大学学报（自然科学版）．2010（1） -全文完-