一种基于Hadoop的云运维监控模型设计与实现（可编辑）

一种基于Hadoop的云运维监控模型设计与实现（可编辑） 一种基于Hadoop的云运维监控模型设计与实现 计 算 机 与 现 代 化 2012 6 JISUANJIY U XIANDAIHUA 202 年第 期 总第 期 文章编号 1006-2475 2012 06-0191-04 Hado o p 一种基于 的云运维监控模型设计与实现 1, 2 1 1, 2 , , 张 建 耿焕同 路有兵 1. , 210044 2. , 210044 南京信息工程大学江苏省网络监控中心 江苏南京 南京信息工程大学计算 机与软件学院 江苏南京 摘要随着企业信息化在生产实时监测、海量存储和科学 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 决策等方面的需 求不断提升,运维监控系统已逐渐成为主 。 , 、 、 、 要的管理手段 采用最新的云计算技术 设计及搭建一个数据规模易扩展 处 理速度快 安全性高 成本低的云运维监控 , Hado o p 系统 针对运维控制系统中海量监控历史数据实时提取响应速度慢的缺点 设计并实现一种基于 的分布式海量 数据处理模型。 仿真实验证明,Hado o p在对云监控系统中的海量数据提 取效率优于传统方法,随着数据量的快速增长, 优势越明显。Hado o p 关键词 云计算 分布式计算 运维监控 TP311 A d o i 10. 3969/j. issn. 1006-2475. 2012. 06. 051 中图分类号 文献标识码 De s ig n an d Im p le m e n t at io n o f Clo u d O p e r at io n an d M ain t e n an c e M o n it o r in g M o d e l Bas e d o n Had o o p 1, 2 1 1, 2 Z HANG Jian ,GENG Huan-to ng,LU Y o u-bing 1. JiangsuEngineering Center o fNetw o rk M o nito ring,Nanjing University o fInfo rmatio n Science& Techno lo gy,Nanjing210044,China 2. Scho o l o fC o mputer & So ftw are,Nanjing University o fInfo rmatio n Science& Techno lo gy,Nanjing210044,C hina A b s t r ac t W ith therising o fenterprise info rmatizatio n demands in the pro ductio n o freal-time mo nito ring,massive sto rage and scientific analysis anddecisio n,theo peratio n andmaintenancemo nito ring systems have gradually beco me the main management to o ls. By using thelatestclo udco mputing techno lo gy,this paper designs andbuilds aclo udo peratio n andmaintenance mo nito - ring system,w hich is easy toexpandfo r datascale,quick fo r pro cessing speed,high fo r security,andlo w fo r co st. Andin the lighto fthesho rtco mings o fslo w respo nsetothereal-timeextractio n o fmassiveandhisto rical mo nito ringdatain o peratio n andma- intenanceco ntro l system,thepaper designs andimplements adistributedmassivedatapro cessingmo del basedo n Hado o p. Simu- latio n experiments sho w thatthemassivedataextractio n efficiency o ftheclo udmo nito ring system basedo n Hado o p is superio r to traditio nal metho ds,andtheadvantageis mo reo bvio us w ith therapidgro w th o ftheamo unto fdata. Ke y w o r d s clo udco mputing Hado o p distributedco mputing o peratio n andmaintenancemo nito ring 、 、 、 一 需要大量人工干预 实时性差 无灾难恢复策 0 引 言 [1] , 。 略 等缺点 无法很好地满足企业的需求 随着当 , 信息技术的飞速发展和应用深入,使得企业从繁 前云计算技术迅速发展和 逐步应用 如何科学有效地 [2] 、 杂、具体的信息处理工作中解脱出来,把精力放在处 使用云计算 平台构造 企业内部安全 稳定和高效 , , 的云运维监控系统,已成为云计算技术的重要研究热 理核心业务上 极大地提高了生产能力和生活水平 [3] 。 点领域之一 。 获得了更高的生产效益 但随之而来的问题也越来 , 、 、 本文围绕运维监控系统中数据频繁采集性能和 越明显 数据的丢失 业务逻辑服务器的宕机 核心路 海量数据实时检索效率低下,不能及时反映作业系统 由器或交换机的失效等,这些都会给企业带来巨大的 , Apache Hado o p 损失。 这就 要求 对教师党员的评价套管和固井爆破片与爆破装置仓库管理基本要求三甲医院都需要复审吗 企业采取完备有效监控系统来应对 状态的问题 采用开源 的 分布式计算 Linux , 、 突发的灾难性事件。 传统的监控系统存在着架构单 平台和 集群技术 搭建 一个数据规模易扩展 2012-03-16 收稿日期1001030B 基金项目 江苏省博士后基金资助项目 作者简介 张建 1987-,男,江苏南通人,南京信息工程大学计算机与软件学 院硕士研究生,研究方向 云计算 耿焕同 1973-,男,安徽绩溪人,教授,研究方向计算智能与约束多目标优化,气象资 料预处理与资料同化 路有兵 1986-,男,江 苏溧水人,硕士研究生,研究方向 进化计算。192 2012 6 计 算 机 与 现 代 化 年第 期 , 、 处理速度快 安全性高 成本低的分布式海量数据处 。 理的云监控系统模型 1 相关技术 1. 1 云计算 [2] 云计算 是 DistributedC o mputing、 Parallel C o m- puting GridC o mputing 。 和 的综合发展 云计算的基本 原理是通过将计算分布在大量的分布式计算机上,使 , 企业数据中心的运行更加类似于使用互联网 从而使 , 企业能够随时将资源切换到需要的应用上 根据需求 访问计算机和存储系统。 云计算是一种革命性的举 , , 措 它将计算能力作为一种商品进行流通 当然这种 。 商品是通过互联网进行传输的 云计算是一种全新 1 M apReduce 图 详细流程图 的商业模式,其核心部分依然是云后端的数据中心。 1 整体性能较差。 随着网络规模的不断扩大, , 企业和个人用户通过高速互联网得到计算能力 从而 需要管理的任务变得异常繁重和复杂。 系统中需要 。 避免了大量的硬件投资 , 。 管理的数据成倍增加 这样容易使工作站不堪重负 1. 2 Hado o p 2 可扩展能力不足。 诸如企业生产扩大,生产 [4] Apache Hado o p , 是一个开源分布式系统架构 , , 方式的改变等 系统应用也将随时发生变化 如不能 [5] 主要由 HDFS 、 M apReduce、 HBase等组成。 HDFS 动态扩展、快速改变来响应需求变化,会影响企业的 , 是大型分布式文件系统 以其开源的优势已经应用在 。 正常生产活动 各个云计算基础设施中。 从某种程度上可以将 Ha- 3 灵活性不足。 被动地采集和 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 信息,系统 [6] [7] do o p GFS 、 Go o gle M apReduce Big- 理解为 和 , , , 自动化程度低 依赖人工介入 缺乏智能 会降低生产 [8] Table 的开源实现。 Hado o p是一个可以更容易开发 。 能力和导致过高的成本投入 。 和并行处理大规模数据的分布式计算平台 其主要 在企业内部,用各种物理资源 硬件服务器、 软 优点是 大规模、 低成本、 高效、 安全。 、 、 件服务 网络设备 机房监控设备等 组成了庞大的 对于数据平台中海量文件的管理可考虑直接使 生产环境。 监视、 控制和 管理大量的物理资源成为保 Hado o p , Hado o p 。 用 的分布式文件管理系统 这是因为 证企业正常生产的一个重要工作 随 着云计算技术 , 不光提供了基于 Shell命令方式的文件的增加、 删除、 的不断发展 基于 云技术的运维监控系统必将成为一 , 、 , 种新的解决方案 其监控的主要对象就是这些软硬件 拷贝 查看和上传下载等操作 还提供相关的文件系 [10] 。 , , , 设施 当有突发问题时 能及时发现问题 解决问 统访问接口 可以利用程序往指定的位置增加删除文 , 。 题 保证它们正常地运行 而这一切基本不需要人工 件 此外,Hado o p还提供磁盘负载均衡、 压缩和解压、 , 。 干预 自动完成 当然某些极少量关键操作以当前的 。 备份等系统必须的功能 [11] [5] , 。 技术还无法自动化地处理 仍然需要人工来操作 M apReduce是依赖于 HDFS 实现的。 通常 M a- pReduce , 会将被计算的数据分为很多小块 将每个块 , 复制若干份以确保系统的可靠性 同时它按照一定的 规则将数据块放置在集群中的不同机器上,以便 M a- pReduce 。 在数据宿主机器上进行最便捷的计算 图 [9] 1 M apReduce 。 描述了 详细的数据流 2 云运维监控模型 , 传统的网络管理采用集中式的管理方式 即管理 进程/代理 M anager/Agent 方式。 由于集中式网络 2 图 云服务集群 、 , 。 管理简单 容易实现 目前得到了广泛应用 但是传 图2是运用云运维监控模型解决以上复杂管理 统的网络管理方案存在着诸多不足之处 问题的逻辑图。 在企业内部,各种设备通过网络互2012 6 Hado o p 193 年第 期 张建等 一种基于 的云运维监控模型设计与实现 , , 、 , 。 连 将服务器部署成云计算平台 同时在云计算平台 存 流量等 本系统只针对这几个进行分析 , 上运行监控程序 把每个软硬件设施实时运行状况信 在数据采集时已经将采集的实时数据保存在 , HDFS , HDFS 息以格式化的数据存储在云计算平台上 并且将数据 中 至此便可以对保存在 文件系统中的 W eb 。 M apReduce 、 。 HDFS 处理后以 方式呈现给管理员 云计算平台是一 数据使用 进行读取 处理等 因为 “ ” , 个分布式计算平台,可以最大化地发挥每个节点的计 是一个 一次写入多次读取 的文件访问模型 所以 [14] , 。 算能力,适合超大规模的系统平台,并且可扩展性是 当采集并存储数据之后 便只能读取 [12] M apReduce 。 利用 分布式编程模型并行处理数 云计算重要的特点之一 , 5 。 据 结构如图 所示 3 Hado o p 基于 的分布式海量数据处 理模型 3. 1 数据采集及存储 在运维监控系统中,采集数据非常频繁,一般每 隔几秒或十几秒种,就要遍历所有设备进行采集,在 , , 设备较多时 每天产生的数据量非常大 数据通常包 。 括重要的设备运行性能参数数据和日志信息等 随 , 着数据量的快速增长 常规的数据库引擎无法在可接 受的时间从海量数据中提取特定信息,使用高性能服务 5 M apReduce 图 模型 器的成本又非常昂贵,而单机的计算能力和存储能力都 是有限的。 因此非常有必要将整个系统建立在 Hado o p 4 仿真实验与讨论 , 。 之上以低成本的计算机搭建高性能处理平台 4. 1 实验环境及参数配置 Hado o p ,Hado o p 从 框架的分析 非常适合处理数 Apache Hado o p 0. 20. 2 , 本文的实验主要利用 平 据密集型的计算 暂时不适合复杂计算操作密集型处 , 4 PC, 6 台 测试共使用 台普通 网络拓扑结构如图 所 理。 本文设计一个多线程并发处理系统,将采集的数据 , 1 。 NameNo de 示 每个节点配置如 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 所示 客户端和 存储至 Hado o p的 HDFS中。 为便于仿真实验的分析, PC , 3 DataNo de。 DataNo de 在同一台 机上 有 个 设 名 数据的格式采用最简单的文本格式,如图3和图4所示。 DataNo de1、 DataNo de2、 DataNo de3, 称为 这里是对运 时间 操作人 操作类型 操作对象 描述 。 维监控中的海量日志信息检索效率进行的分析对比 3 图 监测操作数据格式 1 表 硬件配置 设备 设备 ID C PU Intel 2. 50GHz × 2 时间 数据对象 数据值 ID 类型 接口 M emo ry 2GB Disk 160GB 4 图 监测属性数据格式 Netw o rk 10M bps , 对于数据文件的导入来说 由于每天的数据量非 OS Ubuntu10. 10 , Hado o p HDFS , 常大 在导入到 时需采用压缩格式 以 。 HDFS Hado o p 减少数据通信量 根据 配置参数文件 块大小,自动将文件分割成大小相等的文件块,平衡 地存储在各个节点中。 不仅如此,块很适合为提供容 错和实用性而做的复制操作,这样可以最大程度地保 。 障数据的安全性 为了应对损坏的块以及磁盘或机 , , 器的故障 每个块都在其他不同的机器上进行备份 [12] 。 备份副本数目根据参数配置 3. 2 数据分析统计 在运维监控中,经常需要对存储的监控数据进行 , 、 统计分析 以便分析各个网络设备 服务器等的性能 , , 和时段负荷等 再根据实际情况做出调整 使整个资 [13] 。 C PU、 6 源配置达到最优 数据最主要的信息有 内 图 实验网络拓扑图194 2012 6 计 算 机 与 现 代 化 年第 期 。 , 高 但并不是块越大越好 这要根据节点数及节点 4. 2 测试用例 C PU 。 8 16M 个数来确定 如图 中块大小分别为 和 HDFS 为讨论数据文件大小和 上的数据文件提 32M , 。 6 的时候 性能相差不大 并行的线程数为 个的 取信息速度间的关系,将数据集分成大小分别为 , , 时候性能发挥到最大 如果一个节点上的块数很多 4M B、 8M B、 12M B、 16M B、 24M B、 32M B、 48M B、 64M B、 反而由于线程的切换浪费一些时间。 96M B等9种不同规格 并将Hado o p上的数据块大小 4M B。 , 配置为 与单机环境中的实验进行比较 目的 Hado o p 是比较在处理相同海量数据集时单机和 集群 [15] 。 方式间的性能 HDFS 测试 数据块大小配置不同的情况下 分别 为4M B、 8M B、 16M B、 32M B、 64M B 数据的处理性能。 测试数据集为4M B、 8M B、 12M B、 16M B、 24M B、 32M B、 48M B、 64M B、 96M B、 128M B、 512M B、 1024M B、 2048M B。 通过此实验比较在相同节点数的情况下, , 。 不同的数据存储方式 对数据处理性能的影响 4. 3 实验数据分析 图8 不同的数据块大小与提取效率间的关系 比较本地数据文件和 HDFS上的数据文件的信 息提取,并设置 Hado o p块大小为4M B。 M ap的数目 5 结束语 一般是文件块的数目,而且 Hado o p的官方文档推荐 本文提出了一种基于 Hado o p的云运维监控模 M ap 1 每一个 的执行时间至少超过 分钟才真正体现 型,并实现了一个简单的云运维监控系统,该系统主 , 出它的性能 所以在设计实验的时候对数据的处理加 Hado o p M apReduce 要是应用 中的分布式文件系统和 。 7, 了一些延迟操作 实验结果如图 可以很明显看出 。 , 编程模型 对于企业而言 在不增加硬件成本的情况 4M B , Hado o p , 在 数据集的时候 在 上只有一块数据 下,利用现有的资源,能够构建出一个稳定高性能的 加上网络传输时间,Hado o p集群的处理能力会低于 企业级系统,有助于企业合理利用资源,防止浪费,提 单机的处理能力。 但随着数据集的增大,数据块数目 高企业效益。 通过仿真实验,验证了 Hado o p在对云 也增加,数据块分布在不同节点上,不同的数据块有 监控系统中的海量数据处理方面比传统的方法有着 M ap , , 不同的 同时在运行 大大提高了并行的能力 如 , 明显的性能优势 尤其是在数据成指数级增长的情况 7 ,Hado o p 图 中可看出随着数据量的增大 的性能优 下,效果越发明显。 。 势越明显 参考文献 [1] 李呈栋,戴跃发,王伟,等. Hado o p框架下的容灾系统研究 [J]. 电脑知识与技术学术交流,2009, 5 28 8053-8055. [2] W ikipedia. C lo udC o mputing[EB/OL]. http //en. w iki- pedia. o rg/w iki/C lo ud_co mputing,2011-12-20. [3] . Hado o p 陈勇 基于 平台的通信数据分布式查询算法的 [D]. ,2009. 设计与实现 北京 北京交通大学 [4] W ikipedia. Apache Hado o p[EB/OL]. http //en. w ikipe- dia. o rg/w iki/Hado o p,2011-12-09. [5] Apache. HDFS[EB/OL]. http //w iki. apache. o rg/hado o p/ Pro jectDescriptio n,2011-07-10. 图7 本地与 Hado o p提取数据的速度比较 [6] Sanjay Ghemaw at,Ho w ardGo bio ff,Shun-Tak Leung. The 8 Hado o p , 图 描述的是当 中的块大小不同时 分 Go o gle file system[C]// Pro ceedings o f the 19th AC M 布式处理的性能比较。 由图中可知,当数据集比较小 Sympo sium o n Operating Systems Principles. 2003 29-43. 的时候,块大小对性能的影响不大,但是当数据集越 [7] Jeffrey Dean,Sanjay Ghemaw at. M apReduce Simplified 来越大时,块越大性能越好,这是因为实验中所用的 datapro cessing o n large clusters[C]// Pro ceedings o fthe 节点是3个,而 M ap的个数等于数据块的个数,C PU 6th Sympo sium o n Operating Systems Design & Implemen- ,M ap , 是双核 越多并行的线程就越多 效率相对会更 tatio n. 2004 137-150. 下转第199页