DartConsole：数据库网格管理平台的设计与实现

DartConsole：数据库网格管理平台的设计与实现 DartConsole:数据库网格管理平台的设计与实现 浙江大学 硕士学位论文 DartConsole:数据库网格管理平台的设计与实现 姓名:裘君 申请学位级别:硕士 专业:计算机应用 指导教师:吴朝晖 20050301?浙江丈学硕士学位做 摘要 摘要 网格是下一代上的计算平台,其核心任务是管理分布在广域环 境中的各种类型的数据与服务资源,并为基于的分布式应用提供一个统一 的、虚拟的共享资源的计算平台。作为网格计算模型的一个重要组成部分, 网格上 的数据库管理问题一直以来是网格研究的一个热点。来自于科学与商业领域 的大量 网格应用迫切需要数据库系统的支持,因此,如何管理数据库网格环境、以及 满足 更广泛的网格应用的数据管理需求,已经成为一项亟待解决的新课题。 本文从动态开放的网格环境下数据的资源共事与协同管理的应用需求背景 出 发,综合了现有的下的数据资源的信息共享与整合管理的解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 , 数据库网格管理模型提出了一套面向数据库资源的管理方案,解决了如 下问题:统一的数据库资源访问、动态数据库网格环境的监控及性能管理、基于 的数据库网格环境的安全管理等。在设计上,平台基于框架的 网格服务体系进行设计,并充分利用的插件机制进行开发,满足了网格管理 软件严格的可靠性、稳定性、 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 性和高性能等方面的各项要求,同时又具有很好 的可重用性和可扩展性,便于根据用户需求进行裁剪和定制。它以采用纂于语义的 资源融合为主线.提出了资源在语义层次上的规则推理,不仅使用户可以高效地为 计算任务寻找合适的资源,更重要的是能够对资源语义信息进行管理,以及更高层 次的语义推理,并为故障监控、自修复等服务提供接口。本文阐述了数据库网格管 理的基本思想,描述了管理服务模型架构的设计及安现。本文还介绍了 在传统中医药研究领域的一个应用测试床。最后,本文进行了总结并提出了进一步 的工作展望。 本文得到以下基金资助:国家计划一“语义网格的基础理 论、模型和方法研究”之子课题“语义网格在中医药知识共享与服务的应用 研究”: 国家计划“支持中医药数据与知识深度共享的中医药应用 网格”。 关键字;数据库网格、数据库网格管理、全局基于语义的资源管理、故障监 控 服务、安全服务、优化与自修复服务??学硕士?文. . , . 。, , . 乱出 , . : ? , , ,., ?, .,. .,,.. . ., .., . ,.; ,.】. ,, : , , , .??学?位敞 第章绪论 第一章绪论 .网格技术 的产生与发展,对人们的思维方式、工作模式以及生活理念都产生了巨 大的影响与冲击。以.为主要应用的第一代把遍布于世界各地的计算 机用/ 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 连接在一起;第二代则通过信息浏览及电子商务应用 等信息服务,实现了全球网页的连通;第三代将“试图实现互联网上所有资 源的全面连通,包括计算资源、数据资源、存储资源、通信资源、软件资源、信息 资源、知识资源等”,这就是网格计算 酽“”巾】。网格计算所解决的 核心问题是:“动态虚拟组织 中的资源协同共享 与问题求解 ”。大规模数据共享也是网格计算所要解决一个 难题之一。 网格是借鉴电力网的概念提出来的,它的最终目的是希望给最终的使用者提供 的是与地理位置无关、与具体的计算设施无关的通用的计算能力。目前,网格计算 不仅在学术界、研究领域进行着深入的研究与实验,同时也得到了来自产业界诸如 、、、、、、和等各大公司的巨资支持与商 业应用开发。 网格的特点是由网格计算的本质决定的,包括分布与共享、动态性和多样性、 自治性与管理多重性。网格的这种特点决定了对于网格提供的计算能力,有四个基 本的要求,即:可靠性、 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 化、易访问性和价格低廉的要求。 网格就是一个集成的计算与资源环境,或者说是一个计算资源池。网格能够充 分吸纳各种计算资源,并将它们转化成一种随处可得的、可靠的、标准的同时还是 经济的计算能力。除了各类型的计算机,这里的计算资源还包括网络通信能力、数 据资料、仪器设备甚至是人等各种相关的资源。 对于网格的体系结构.将它定义为“划分系统基本组件,制订系统组件的 目的与功能,说明组件之间如何相互作用的技术”。目前比较重要的网格体系结构有 两个:一个是等较早时候提出的五层沙漏结构;另~个是在以为代表的 工业界的影响下在考虑到技术的发展与影响后,等结合 提出的开放网格服务结构 班岫,它被称为下 是一种基于 一代的网格体系架构。简单地讲, 的分布式交互和计算体系结构,用来确保异构系统间的互操 网格服务 作性,使不同类型的系统可以进行通信和共享信息。主要有如下鲜明的特点:???靴做 第章绪论 .面向服务的网格资源虚拟化 面向服务的观点有着极大的优点。举个例子,互操作性是网格的内在要求之一。 从面向服务的观点来看,要实现互操作性,可以分为两步来完成,即解决两个子问 题:一,定义该服务的接口;二,确定一种协议来调用该接口。这样的划分结构清 晰,容易实现。同时,以服务为中心还简化了对虚拟化的实现。虚拟化是指对统一 的接口的不同实现的封装。虚拟化使虚拟组织内各种各样的资源映射和管理要求得 以满足。虚拟化还支持简单服务重新组合成复杂的服务。 .具有统一的基础网格服务框架 基于服务的概念提供了一系列基础的网格服务。这些网格服务定义了一 系列最基本的元接口,解决了服务发现、动态服务创建、服务生命周期管理、订阅、 命名、授权、组管理等几大问题。 .网格数据的管理问题 海量数据的产生和分布是互联网发展的必然结果,而大规模数据资源的开放式 共享与协同管理则是网络时代所产生的必然需求。随着信息和知识经济时代的飞速 发展,各科学研究领域都已积累了大量的科学数据,如医药科技基础数据库群、国 家气象基础数据、生物信息学数据库群等。这些仍在呈指数级不断增长的科学数据, 作为不断增值的巨大社会财富,是科技创新、经济发展和国家安全的重要战略资源; 也是政府部门制定政策、进行科学决策的重要依据:其共享与应用对于增强我国科 技创新能力,提高科技整体水平,减少重复建设,节约人力物力资源,以及促进社 会和经济发展都具有十分重要的意义。但是目前这些科学数据都存在如下问题: ?封闭性:大部分科学数据都以封闭的状态存在,不论从管理层面还是技术层 面都缺乏有效的机制支持其对社会提供开放的数据服务; ?数据孤岛:由于大部分科学数据都由不同部门、研究组织或大学独立开发, 完全缺乏统一的整合与集成方式,因而形成一个个彼此分离的“信息孤岛”。 ?缺乏规范和标准:大部分科学数据的建设都没有相应的国际或国家标准做 指 导,从而造成科学数摄的深度异质异构性; ?海量大规模:科学数据不断增长,现有的数据管理平台无法支持大数据量的 有效管理,如多备份、动态镜像、实时控制等。 这些问题严重阻碍了科学数据的有效共享,如何应用现代信息技术,动态整合 与集成跨区域、跨学科的各部门、各单位的科学数据资源,充分利用国际科学数据, 把分散的孤立的封闭的科学数据资源在开放的动态的松耦合的信息共享平台下实现第一章绪沦 ?浙江大学硕士学位做 多层次、全方位、分布式的数据、信息与知识共享是亟待解决的课题。 . 主要研究内容 本文基于以上背景,探索解决在动态、开放、松耦合的环境下,面向大 量分布的、自治的、异质异构的数据库网格管理问题。我们提出的是 一个面向网格的数据库管理平台,旨在为现有的大量位于后台的数据库资 源的共享提供一个网格接入环境,在管理层上为网格应用提供了基础结构级的数据 库资源访问、故障监控与性能管理、安全机制等一系列问题的通用解决方案。归纳 起来,为了实现数据库网格管理的目标,我们必须解决以下几个基本问题: ?容错性控制?广域环境下的数据库访问连接,受到网络,站点局部资源控制, 突发事件等等因索的制约,网格必须负责实时监控资源状态,处理异常情况. 保证数据操作的正确性和效率。 一 资源的优化使用?主要针对负载优化框架和资源优化框架中可能导致的资 源使用冲突,包括:调度,负载一资源映射优化,资源选择等。应用性能的 提高还依赖于网格对于数据库资源的优化调度,实现负载平衡。 ?策略服务?提供一个用于创建、执行和管理系统操作策略和协议的一般框 架。这包括控制安全、资源分配和性能的策略,以及一个用于策略敏感的服 务的基础结构,以便使用策略来控制它们的操作。 一 安全控制一以一种使得不同操作系统能够安全地互操作的方式,支持、集成 和统一流行的安全模型、机制、协议和技术。这些安全服务启用并扩展了核 心服务安全协议和绑定,同时提供面向服务的身份验证、授权、信任 策略强制、证书转换等机制。 ?其他资源的利用?传统的单一数据库体系结构是基于局域环境的,表现为 采 用本地的数据存储,使用本地的计算资源。网格计算平台提供了无限的资源, 作为一种复合型资源,单一数据库访问和管理性能的提高依赖于对这些资源 的使用,比如采用网格下的存储资源进行数据库备份。 基于以上背景和需求,本文提出了数据库网格管理模型与体系结 构,它为数据库网格应用提供了基础结构级的基于语义的数据库资源管理、 故障监 控、基于的安全管理以及优化与自修复等一系列核心服务的解决方案。?浙江大学硕士学位敝 第一章绪呛 .本文组织结构 本文的剩余部分由以下几章构成: ?第二章总体概述:从数据库网格背景出发,介绍了数据库虚拟组 织的基本概念,数据库网格的功能以及数据库网格原型系统的设计框 架,其次介绍了数据库网格管理及基本功能,最后介绍了系统核心 服务以及其技术特色。 ?第三章数据库网格管理模型与体系结构:描述一种全局基于语义 的数据库网格资源的组织方式、描述方式,资源的注册、动态整合等一系列模 式的介绍,并在此基础上提出了数据库网格的服务体系,介绍了各 个管理层次服务,包括故障监控服务,安全服务、优化与自修复服务等。 ?第四章数据库网格管理平台原型系统 的设计与实现:介绍基于 数据库网格平台设计与实现的数据库网格的原型系统,阐述核心模 块和算法的设计与实现。 ?第五章数据库网格管理平台在中医药研究中的应用:介绍数据库 网格管理平台在传统中医药测试床中的应用,阐述了中医药信息网格管理的实 施方案以及系统评价。 ?第六章总结和展望:对整篇论文的主要工作和取得的成果进行了总结并指 出 了一些尚需改进的地方和对未来的研究工作的~些建议和展望。?浙江大学硕十学位馘 第二章总体概述 第二章总体概述 本章对数据库网格管理平台体系结构及其相关技术背景进行概要 性介绍。首先从数据库网格的技术背景出发,介绍了数据库虚拟组织的基本概念, 数据库网格的功能以及数据库网格原型系统的设计框架,接下去进一步介 绍了数据库网格管理的基本功能。在此基础上提出了原型系统,它实现 了包括全局基于语义的数据库资源访问,活动故障监控,数据库网格安全管理以及 自修复等在内的几个核心服务。 .数据库网格概述 在网格环境下,数据库资源将直接暴露给网格应用。与此形成鲜明对比的是, 现有的数据库应用大多基于一个封闭环境,比如一个架构在局域网上企业数 据库服务器,只能为企业内部应用提供数据。在这种应用场景中,数据库管理系统 大多处于处于后台,只提供局域环境内有限的应用程序调用。。因此,在将现有数据 库系统移植到网格时,必须充分考虑网格开放、动态等特征所带来的一系列在传统 数据库应用中未曾遇到的问题。为了更加清楚的理解网格上数据库资源所处的环境, 以便于我们锁定数据库网格管理的目标,本文引用虚拟组织的概念来进行阐述。 数据库网格用虚拟组织【“”的概念描述和定义由若干个数据库资源提供 者和资源使用者,按照一定共享规则,动态整合形成的信息实体集合。虚拟组织是 一种面向广域环境下的资源共享问题的分布式计算模型范式,它具有以下特点: ?多样性:中的成员可以是基本资源,如上的超级计算机、存储 资源、数据库、网络接口、各种科学仪器等等,以及用于资源发现和协同访 问的高层服务单元,如资源目录、资源选择和事务管理服务等等。 ?应用一致性:内部资源的相关性通常表现在服务于同一应用相关或领域 相关目标,通过对这些资源的协同使用,资源使用者可以获得特定领域 的复杂问题的求解能力。 ?动态整合:没有固定的生命周期,可能由于某个应用需求而产生,应用 终止即释放。 ? 开放式结构:没有固定的边界,任何网格上的资源都可能成为某个 中的一个成员,其拓扑结构可动态变化,允许资源动态退出和加入,一 个资源可能同时隶属于不同的。?浙江大学硕士学位论文 第二章总体概述 ?松散耦合:没有集中控制单元,充分保证资源的自治性。允许同一 类型资源对象申明的不同的资源共享规则。网格提供可扩展的资源描述机 制,支持资源的发布和筛选。 的核心问题是建立、管理和使用开放环境下、动态、跨组织的资源共享 规则。对于数据库网格为面向数据库的网格数据管理,它为数据库虚拟组织 的 构建和维护提供了基础结构级的支持,包括三方面的内容: ?统一的数据库资源访问接口。网格上存在着异质异构的数据库资源,数据库 网格为这些数据库资源定义了包括数据库元信息获取在内的统一的资源层 的访问原语。异质类型的数据库系统可以通过~致的服务接口进行封装,抽 象成对等的网格数据库资源。除了为原有的提供网格接口外,数据 库资源层的设计还引入了新的机制,以支持网格动态开放特点的海量数据传 输、数据互联等应用需求。 ?基于语义的数据库资源发布与发现机制。资源发现的本质是将用户需求与 资 源的特征参数行匹配,在多个候选资源中筛选可用对象。对于数据库资源而 吉.数据库资源语义是数据库资源发现过程中的一个重要的资源特征,用户 希望能够根据资源语义信息来鉴别网格上数据库资源是否符合自己的兴趣 要求或者是否达到预定的性能上限。 ?动态数据整合支持。数据库资源的整合是在多个分散独立的数据库模式基 础 上,形成统一的数据视图,支持用户能通过单一的访问入口对分散的数据进 行集中操纵。由于网格动态、开发的特点,参与数据模式与全局模式闻是松 散耦合关系,数据库资源整合是一种临时行为,即所谓的虚拟数据库。创建、 维护和使用虚拟数据库是数据库网格提供的一项基本功能。 由此可见,数据库网格具有以下优势数据库资源的网格化:更多组织共 享使用网格数据库,提高资源的利用率;网格数据库服务化,使用资源更方 便; 通过协同工作,提高数据库的处理能力,完成大规模的数据库处理需求;数 据库的可用性和可靠性同时提高。 基于以上数据库网格所具有豹特性,飞援信息网格?恤通过对中医药 科技数据共享的研究,研制了重点针对科学数据共享的数据库网格平台。 在基础上开发,并遵循/标准。下图是基于网格五层沙漏模型定义 的分层模型。从图中可以看到,该模型可以分为如下几个层次图所 示: .构造层:该层是所要管理和用到的实际资源,这些资源分为 两大类:一类是信息资源,如关系数据库、文件以及其它多媒体资源;?浙江 大学硕士学位论文 第二章。。。。。。。总体概述 另一类是元信息资源,在中,这种元信息资源主要就是指本体沦 资源; .虚拟组织层 :该层定义了所实现和用到的所有 服务资源,这包括: 本体论服务 :在中提供元信息服务: :提供基于关系型的数据服务: 数据库服务 知识库服务 :提供基于描述框架的数据服务;对 于数据库服务和知识库服务,都提供有相对应的资源创建工厂; 语义注册服务 :提供本体论向底层数据的映射功能和 基于本体论的资源分类功能: 查询服务 :接受语义查询请求,并进行分布式查询规划 ‘ 和查询分解与分配。 .资源目录服务 曲:作为系统级的目录服务,保存 有所有资源的物理地址信息以及整个虚拟组织的结构图。 .粱集层:聚集层是底层资源的抽象层,这一层实现了底层资源 对用户的透明性,包括虚拟数据库和虚拟知识库及其相应的创建工,一。和传 统的虚拟数据库概 念有所不同,这里的虚拟数据库专指由任何一个查询请求触发并由创建工厂 创建相应的虚拟数据集。此外从图中可以看出,虚拟知识库位于虚拟数据库 之上,这是因为在中,由虚拟数据库返回的数据集将根据语义查 询中的指定的概念语义重新进行语义包装,经过语义包装后的数据集实际上 就可以看作成一个虚拟的知识库了。 .工具层:这一层给出了所有所实现的用户工具,这包括: 语义浏览工具:提供概念层次和语义层次的信息浏览: 动态查询生成工具:在本体论浏览过程中,可以动态的生成所需要的概 念层次的查询; 虚拟组织管理工具; 语义注册工具。 .应用层:针对具体的应用在平台上可以开发和实施不 同的应用程序,如,临床诊断决策等。?浙江大学硕十学位做 第二章总体概述 图’分屡模型 .数据库网格管理概述 数据库网格管理负责管理动态的数据库网格环境,在所有数据库虚拟组织 之间实现自动的负载均衡以及实现数据存储的自动负载均衡。它是完整地集成集中 式管理控制台和底层框架,该框架使一个网格环境中的跨系统集合的管理任务自动 化,同时通过自动化和基于策略的标准化来帮助降低管理成本。利用网格管理,管 理员能够将多个硬件节点、数据库、应用服务器和其它对象分组为单个逻辑实体。 通过跨一组对象而不是单独在许多系统上溅行作业、实施标准篆略、监控性能和 使许多其它的任务自动化,最终使能够随着不断成长的网格进行扩展。数据库网格 管理的设计原则是基于服务的方式访问已有的数据库、独立于各种数据库、与其他 的服务和网格服务共存、以及与网格认证、授权机制相衔接。 数据库网格计算环境能否高效地运行,“管理”是关键。目标是将数个系统作为 一个系统管理,实现管理的自动化。它可以提供对整个计算环境的全面掌握和策略 实旋,帮助客户控制和管理整个网格架构:从数据库到应用程序直至数据存储,所 有这些都可以用一个单一的控制台进行管理。如图所示,数据库网格计算环境 下资源组织与管理是通过协调管理非集中控制的资源,通过标准的、开放的、通用 的协议和接,提供良好的服务质量保证,以实现动态的、多机构虚拟组织中 的协同资源共享与问题求解。具体研究内容是:分布、异构、大规模、多组织的网 格计算环境下的资源管理与任务调度的模型、机制与策路;网格计算环境的性能保 证与控制的模型、算法:网格计算环境的系统性能评价模型与分析方法。?她大学硕士学位论文 第二章总体概述 图.数据库网格管理生命周期 数据库网格管理主要体现在虚拟组织、资源的异构、分布、动态、演化特性以 及共享模式、协同方式的变化上。为此,需要研究和建立网格计算的信息模型、海 量信息系统模型、分布式计算模型、协议模型、经济模型、时空模型等,对网格信 ‘ 息资源进行有效的建模与表示。 建立一套适应网格管理环境的协同工作的理论,提出适应协同工作的行为主体 的构造方法,构建网格计算的协同工作模型,包括资源共享的协同性模型、问题解 决的协同性模型,以及网格计算环境下的工作流模型等,并提出行为主体通信语言 和协议,实现跨平台资源的透明互操作,通过互连、组合和协作,解决用户需要解 决的科学问题。 数据库网格管理环境下的可信自治域计算模型与群组安全主要研究在网络计算 环境下各自治域系统的可信接入、可信传输、可信管理等计算模型,提供对网络计 算系统中各种计算资源、数据资源、服务资源的整合与共享,对终端设备的安全可 信接入、网络设备的安全可信管理、数据信息的安全可信传输等环节进行组 织与管 理,以数据和信息的机密性、完整性、身份认证和行为的不可抵赖为目的,为各类 科学活动提供可信的互联、互通和互操作手段,以及群组安全的保证机制。 数据库网格管理资源的动态管理与任务调度机制解决在动态的网络计算环境 下,针对资源的分布性、存取的普适性,研究跨多个管理域的资源管理体制,资源 的定位、查询、更新方法,研究为完成一个任务动态地组合资源集合的方法、广域 环境下多个资源的联合分配和预约技术,依据网络上资源的动态情况,最终实现任 务的动态分配与调度。 数据库网格管理资源的监控与控制提供对网格计算系统进行监控和控制的方第二章总体概述 ?浙江大学硕一敞 法,获取资源网格计算结点和网格】的使用、应用程序的运行等情况,提供对资源 和应用进行监控管理的统一协议和接口标准,及时发现系统运行的异常以及影响系 统功能和性能的瓶颈,并将获取得到的信息作为反馈,在一个统一监控调度框架下 调整系统的行为。从而使整个系统的资源利用比较均衡,提高系统的整体效率。 总之,数据库网格管理研究方向为研究网格计算环境的体系结构,面向应用的 资源管理、任务调度和负载平衡,异构环境下的网格资源、任务的监控机制,海量 数据的存储和管理,网格环境下的安全策略和安全体系,面向科学问题求解环境的 自适应可视化算法等。 . 概述 ..系统核心服务 作为在数据库网格的基础上搭建的面向数据库网格的管理平台, 它提供了一个数据库网格环境下的数据资源的开放式协同共享管理方案,支持数据 库资源和知识库资源的开放式的动态集成和跨地域的透明管理平台。它在基于 分层网格服务框架的基础上构建了自身的核心服务体系。具体包括, ...数据库服务 资源的服务框架有两种服务构成:数据库服务。和数据库服务工厂服务。 一个数据库服务实例代表用户到某个数据库资源的一次会话,用户通过数据库服务 提供的各种接口,操纵数据库资源。数据库服务是一种临时性服务,需要由一个持 久的数据库服务工厂服务创建。数据库服务工厂充当数据库资源的网关,一个工厂 管辖一个或多个数据库资源节点,负责建立用户与数据库资源的连接。如图?所 示,用户数据库连接请求必须首先通过数据库服务工厂,然后由工厂动态创建~个 数据库服务实例返回给用户。 数据库服务的目标是将各种类型的数据库系统封装成一个用户能够访问的数据 库资源节点,因此在接设计上必须考虑如何屏蔽不同类型数据库系统之间的异构 性。在设计原则上,我们抽取现有数据库系统功能如查询、更新、模式管理的合 集,以及网格服务的特殊功能要求如生命周期管理、服务数据访问共同构成数据 规范,一个服务由若干个服务端口组成, 库服务接口。根据 我们将一类功能归纳成一个端口,共包括、、、?浙江搠懒做 第二章总体撅述 、、、、和 八个端口。其中网格服务端,征订端口,数据操纵端口为所有节点都必须是实现 的指定端口,其他端口可根据各数据库功能特点有选择的实现。 一???一一一 一上??一一?一 ~ 一 一一一~。 匡三习陲三习 ????~???? ?、???一????? 图.数据库服务创建过程 ...全局基于语义的资源访问服务 全局的资源管理【?“忙巾目的是为了数据库网格相关的基本资源、功能服务单元 的分布情况和元信息模型等提供一个全局的聚合服务。全局的资源管理提供了一体 化资源注册接口,并提供了灵活的资源动态整合等功能。同时,在资源的组织结构 上提出了新的思路,而且在资源元信息的描述方式上重新赋予资源语义的特性,能 使用户或虚拟角色有效地获取、发布、共享和管理知识资源,并为用户和其 它服 务提供所需的知识服务,辅助实现知识创新、协同工作、问题解决和决策支持。 触 图基于语义的资源聚合目录?浙江大学硕士学位论文 第二章总体概述 ...故障监控服务 资源故障监控‘“嘲服务在网格中起到重要作用,它不仅是保证 系统健壮性、可用性的手段,而且支持着网格环境下的资源管理,是网格运行不可 缺少的一个组成部分。它既在一定的全局范围内实时监控整个拓扑数据库虚拟组织 的运行情况,又能深入某个局部分析细节状况。为此,在开放框架的基 础上开发底层之监控层,提供对计算构件、网络和海量存贮的性能和状态信息。 有了这些支持,就能协助制定工作负载和数据管理的调度策略,以及调整应用程序 的运行性能。它所具有的功能特点包括: ?支持多组织的数据库网格计算环境下的资源监控的模型、机制与策略; ? 支持在语义层次上资源监控的推理; ?提供对资源和应用进行监控管理的统一协议和接口标准; ? 网格管理环境下,资源监控系统不是侠义的孤立系统,它与其他系统,如资 源系统等有机融合,共同支持网格的运行。在开发过程中,支持插件的开发 机制。 ... 安全服务 安全服务‘’“?“瑚】提出了在数 . 据库网格环境中虚拟分组的基础上进行安全策略的分配,具有灵活的可扩展性、可 表达性。虚拟组织是多个组织中具有某些共同特征的某些实体的集合,他们在共享 和使用各种资源时具有一致的模式。虚拟组织中的成员和资源有他们共同遵守的规 则和羡略。一个组织中的任何一个实体,可以自己决定信任任何一个,而不用 涉及的他所在的整个组织。 在上,我们提供了两个数据库资源访问安全协议:数据库资源授权协议和 数据库资源认证协议。为此,我们不但能够控制用户能不自%访问特定的,即提 供数据库操作权限的网格服务,还能控制用户以什么样的数据库用户身份操作数据 库,达到保护敏感数据,数据操作权限分级的目的。 ...优化与自修复服务 以性能分析结果驱动面向网格服务的自优化模型,以及将协作层的性能评价和 质量控制并入应用级的自修复和优化模型,来提高控制的水平和自动化程度,?浙江大揪学位敞 第二章总体概述 提出了在基于基于语义资源规则判定和保障服务质量的能力,从而从错误中自动恢 复、自动重新运行任务的能力, 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 出错情况的能力。另外,在服务与系统域上的 行为向外部世界定义的策略配置是主要操作的智能基础,并且策略配置为系统管理 和自动化提供了控制机制,对该异常进行修复或优化。 ..技术特色 ...基于的数据库网格服务设计的简称,在 是开放式网格服务体系 的论文 ”啦中正式提出。继承了经典的沙 漏结构对于网格层次的划分,并与 相结合,形成了新一代网格管理平 台的构建模式。对于网格体系结构的定义,基于两个基本假设。首先,网格 中的任何节点都是通过服务的方式对外发布其内部功能,这些节点包括资源层的节 点,比如,存储器,科学仪器,以及协同层的功能单元,比如资源目录,资源 调度器,数据副本管理单元等等。总之,网格上的~切计算单元基本资源、中间件 都可以成为服务。其次,网格服务是层次化的,在基本的服务之上可以建立高层服 务,比如协同层的服务可以调用资源层的基本服务实现更加复杂的功能,这种积木 式的构建机制使得各个节点的所实现功能单一,增强了网格节点之间功能的复用性, 因此整体的体系结构更易于扩展。 是一种真正跨平台的应用逻辑集成方式。伴随着其标准的建立,它 正越来越受到业界的广泛认同,同时也为网格技术的发展的发展注入了新的活力。 建立在 标准之上的网格计算平台,容易得到推广。然而,曲 仅仅为不同站点之间的应用定义了一种跨组织的集成方式,并没有对交互语义进行 更具体的规定,~些 调用过程中通用的机制无法得以表述。这种公共 机制的缺乏导致了许多类似功能代码的重复开发,并且相互之间无法兼容。为此, 分析了分布式应用中经常出现的几种的模式,将它们定义为服务接口,在 的基础上提出了 的概念。 是对 的一种扩展,一个 实例除了实现用户 定义的接口外,还可能实现若干个定义的接口。这些接口赋予了该服务各种 摹本功能,其中包括: 必须实现的基本接口.管理服务的生命周期 ?接口:所有 和服务元信息发布。鹪二章总体概述 ?浙江椭士四文 ? 接口:接口,接口: 共同定义了异步消息传输机制,一个典型的应用范例是客户通过某个企业的销 售服务下了一个订单,当订单被处理后,用户收到一个返回通知。 ,用户创建临 ?接:实现该接口的服务为持久性服务 时服务实例。 ?接口:用户服务注册,实现该接的服务通常履行注艇表的功能, 用于注册服务实例和发现服务实例。 这些接口抽取了不同网格节点之间交互过程中表现出的共同特征,规范了网格 节点之间的交互方式,同时简化了服务的开发过程。在构建数据库网格管理系统方 面,第一步的工作即是将管理平台的各个模块封装成为网格服务,以便网格应用存 取网格数据库。 ...基于插件开发 】是一个很让人着迷的开发环境,它提供的核心框架和可扩展的插 件机制给广大的程序员提供了无限的想象和创造空间。的架构中除了一个非 常小的运行内核,其他所有的工具都以一个插件或者一系列的插件构成。目 前流传 相当丰富且全面的开发工具方面的插件,但是已经超越了开发环境的概念, 可以想象将成为未来的集成的桌面环境。目前的本身就具备资源管 理和外部程序的功能,加上无所不能的插件,将构成一个丰富多彩的工作环 境而不 仅仅是一个。图.显示为体系结构图。 图 体系结构 的核心功能都是基于插件开发,并由运行平台来加载和运行,而第二章总体 概述 ?浙江大学硕学位论文 则是开发插件的开发环境,则使得开发插件时代码的开发环境可以无限扩 展,确保有统一的外观,操作和系统资源管理,这也正是采用 .来进行开发的潜力所在。?浙江大学硕士学位论文 第三章。砒。。。。,。数据库网格管理模型与体系结构 第三章数据库网格管理模型与体系结构 本章首先介绍全局基于语义的资源模型,它采用基于语义的资源融合 为主线,提出了资源在语义层次上的规则推理,不仅使用户可以高效地为计算任务 寻找台适的资源,更重要的是能够对资源语义信息进行管理,为更高层次的语义推 理提供依据,同时在此基础上提出了数据库网格管理平台服务体系, 将从故障监控服务、安全服务、优化与自修复服务等几个方面具体来详细地 一一介绍。 .全局基于语义的资源模型 ..网格资源模型分析 当前网格计算环境中所使用的资源模型主要有两种。第种是简单资源池模型, 另一种是以为代表的全局.本地两层资源模型。 资源池是一种简单资源模型,具有代表性使用资源池的有劬”, 竹,。“‘啪.”?剐。在这种模型中,一台中 一务器上记录计算环境中所有资源的信息,对这些信息进行集中式的管理。在为 计算问题分配资源时,简单地从服务器地资源列表资源池中选择空闲资源来进 行计算。 资源池中对资源的描述是无序的,并没有对资源进行有效的结构化组织,更没 有提出在资源语义的层次上进行将来时的推理,因而在为计算问题分配计算 资源时 会比较盲目。在,等环境只支持工作级调度,不支持任务级并行, 也不支持任务之间的通信。提供一种全局共享存储的方式来实现计算任务 之间的通信,但所有的通信请求都在中心服务器上进行,由于广域网带宽限制,中 心服务器会成为性能瓶颈。 的资源模型。”。主要由部分组成:资源代理、并发分配器、资源 信息服务组件以及资源分配管理器简称。另外,还提供了一种资源 描述语言,用来在以上各个组件之间传递资源请求。 所面向的资源主要是超级计算机、工作站集群,也可以与相结合, 将所管理的广域网资源池作为一个资源整体来使用。所有这些资源上所使用浙江大学硕士学位沧文 第三章数据库网格管理模型与体系结构 的本地资源管理工具各不相同。目前常用的本地资源管理工具有,, ,,,,。各个本地资源管理工具的管理机制及 对外提供的接口都不相同。为了让每个计算任务能够同时在整个网格环境中分布式 地运行,为每种本地资源管理工具,都需要提供一种“””“】实现。 现在已经提供了与,,,,,资源管 理工具地接口。为每一种本地资源管理工具提供一种实现限制了 资源模型的可扩展性,这将导致使用其他本地资源管理工具的计算资源无法 作为网格环境的一部分为计算任务提供服务。 .. 网格资源模型 针对上述两种资源模型的不足,本文采用了一种基于全局语义的网格资源管理 。 模型 不但通过提取资源参数的方法实现了各种异构资源的统一表示,依据资源之间的网 络通信性能来将资源组织层次化的结构,使得资源的组织方式能够反映实际的网络 拓扑,为计算任务在资源上的合理分配提供了依据,避免了资源选择的盲目性,扩 大了网格环境中可同时利用的资源范围,同时,支持资源的动态自动加入, 提高了网格环境的可扩展性;更重要的是它赋予了网格资源语义的特性,。资源的语 义互联是解决如何使网格资源的语义能被机器理解,通过基于语义的网格资源管理 是~种对资源收集、表示、共享和管理的方法、平台和工具,其目标是提供比现有 数据网格信息服务更好的、智能的、高性能的协同问题解决支持平台。 对于数据库网格环境来说,资源可分为:数据库系统计算机、存储系统、数据 库管理软件计算资源,存储资源,软件资源,网格资源,目录资源,工具包等,通 过新的组织方式这些资源集成起来,以统一的方式向用户提供服务。在本节中主要 是不仅在资源的组织结构上提出了新的思路,而且在资源元信息的描述方式上重新 赋予资源语义的特性。在组织结构上,引入逻辑资源树的概念,通过抽象资源参数, 提出了一种全局基于语义的网格资源模型,支持资源的动态加入与删除。与资源池 及全局.本地两层资源模型相比,提出的资源模型有效地屏蔽了广域网上资源的异构 性,提高了资源的可扩展性;同时根据网络通信性能对资源进行层次化组织,避免 了盲目的资源选择。该模型进行资源查找的时间复杂度为川州,有较高的查找效 率。在描述方法上,各种资源在语义级得到统一,相互提供服务,或者根据资源的 内容和相关配置为其它虚拟角色提供服务。/蕊 《秽浙江大学硕士学位论文 第三章叭。。。。。数据库网格管理模型与体系结构 ...资源的组织方式一资源树 一般来讲,计算机的组织方式分为集中式与分布式两种,由于本系统是面向广 域网的分布式系统,所以很自然地采用分布式的组织方式。我们将以混杂式层次树 的模型来组织资源。确定了资源树的模型后,关键问题就转移到了如何确定两个结 点之间的关系上,从另一个角度来表述就是,一个新的结点加入系统时,系统根据 什么样的算法来决定该结点的位置,对树的组织方式来讲,还有一个更准确直接的 表达方式:系统选择哪个已有结点作为新加入的结点的父结点。 资源模型决定了网格计算系统如何描述与管理资源,包括资源的描述和资源描 述数据的存储。在我们研究的系统语义中,资源模型有两个层次的含义: 物理层。指一切资源在实际物理连接关系上形成的关系,对系统中的机器来说, 按照实际网络拓扑与特性进行树的构建。 逻辑层。指从所有计算资源的物理现状映射得到的系统程序的数据结构。系统 中的机器将以混杂式层次树的结构组织起来。某局域网若按细胞的结构组织,即内 部结构不为外部所见,则不再有下层予树,成为与某台单机相同的叶子结点。按此 方式组织的结构,保证了整个资源树的结构与资源分布都比较平衡。 在实现上,我们提出了逻辑资源树的概念。依据实际资源的连接方式,建立一 个物理资源树,并依此物理树构造一个逻辑资源树,下面给出了一种物理资源树到 逻辑资源树的转换: 物理树中非叶子中的资源管理线程成为逻辑树中的虚拟结点,取代的 位置,成为所有子结点的父结点,同时也成为的子结点,然后,生成一个 只代表自身的资源管理实体’,成为‖的子结点,自上而下重构整个资源树。在 逻辑资源树中的每一个结点上,都会运行一个资源管理器简称。是 的核心,它的功能包括:维护当前结点及其下层结点的资源信息,接收用户提交的 计算问题,分析计算问题对资源的需求,与其他结点上的传递消息,协同完成 任务的分配、资源变化的发现、资源状态的更新等工作。‖同时也是执行线程。 所代表的称为子树,’所代表的称为结点。这样划分的重要目标是使 资源管理与代码执行相分离。带?号的结点只负责单机资源管理与任务执行,带号 的结点负责一棵至少有两个下级结点的子树,或者说一个目录。图?是一棵物理资 源树与其对应的逻辑资源树。 逻辑资源树中的非叶子结点只负责对以它为根的资源子树进行管理,并为其上 层结点提供该子树的信息,并不参与实际的计算:而叶子结点是实际参与计算的结 点。需要注意的是,在逻辑资源树上,叶子结点与非叶子结点只是逻辑上的区分。?浙江大学硕七学位论文 第三章。。。。数据库网格管理模型与体系结构 在实际中,一个非叶子结点资源也可以贡献出自己的计算能力来参与计算,这时在 逻辑资源树中,将有一个叶子结点作为该结点的儿子,这两个结点存在于同一物理 资源上。 图.一棵物理舞源树对应的物理资源树 ...资源的描述方式一基予语义的资源描述 如何统一、规范、有效地管理各种资源成为数据库网格管理所面临的关键问题。 基于语义的网格的研究目标,是建立基于统一语义的信息、知识和服务资源,进行 有效共享和管理的模型、方法和平台,使得数据库网格是一个智能互联的环境,能 使用户或虚拟角色有效地获取、发布、共享和管理知识资源,并为用户和其它服 务提供所需的知识服务,辅助实现知识创新、协同工作、问题解决和决策支持。 资源的规范组织是解决如何规范地组织资源空间,使用户和服务能够有效、 正 确地根据语义操作各种资源,提高资源的使用效率。资源的规范组织主要通过资源 表示模型实现,资源表示模型是基于统一语义的资源定义、共享和管理各种资 源的模型。资源的语义互联是解决如何使网格资源的语义能被机器理解。 抛弃所有与系统相关的资源特性,只从资源信息中提取那些可以被量 化或可以被简单地统一表示的部分,被提取出的资源信息称为资源参数。每种数据 库计算资源的资源参数包括三部分,第一部分称为静态参数,它包括数据库模式信 息、相关信息、资源的网络地址、地理位置、总的处理器数目、处理器丰频 等等;第二部分为参数阈值,将动态资源的使用限定在特定的取值范围之中,便于 动态监控资源的使用情况;最后一部分会随时间变化而变化,称为动态参数,它包 括数据库访问相关信息、动态性性能参数、资源的当前计算能力、可用处理器数目、 负载大小、可用的内存大小、可用的外存大小、可用服务状态等等。则可抽象地表浙江大学硕士学位论文 第三章数据库网格管理模型与体系结构 示为若干静态参数和参数阈值、 动态参数的集合, 即 圮%,...马圯%? 出厂、巧戳张镌。在中,并不强制指 定静态参数,参数阈值和动态参数所包含的内容,在构造网格环境时,用户可以根 据需要来选择自己所关注的资源信息。在进行资源选择时,不考虑资源的 任何与平台相关的信息,而只以从信息描述中提取相应的资源参数作为参考。考虑 数据库网格中的几大类资源:数据库资源元信息、数据库服务、数据文件、处理器、 存储空间和通信网络,每类资源有着进一步的细分,但共享类同的描述方式。基于 语义的资源管理模式能使用户或虚拟角色有效地获取、发布、共享和管理知识资 源,并为用户和其它服务提供所需的知识服务,辅助实现知识创新、协同工作、问 题解决和决策支持。 资源的语义互联是解决如何使数据库资源的语义能被机器理解。资源的语义互 联主要通过类型化的语义链网络实现。 窿艾毡资潺语义 善 .鄂.主要甬于描述两个资 源间的有穿关系.表达资潺间的语义关系.司以表示为扶一个资源飘弱一个 资源的类銎他的指针,语义链包括五瓣基本类墼:因果关系、蕴含关系、子类垫关 系,相戗关系秘顿亭关系。 窿叉、椭.主要是使甬用语义链的语义互联两模蛩. 其中结点表示资潦.寿向边表示类型他的语义链.结点和边组成一个有囱嗵 络.院 套囱网络表达两格上构资源及英语义关系, 、良艾资源雄理关系?设&为资源关系,鼬 .?: , , .?: ,?, .?. ?了,?曲?力,真庐为类型关赛 ?: 丑, , .: ,寸月,, 对一个结点来说,本机上共享的实际资源数据库资源元信息、数据库服务、 处理器、存储空间等等都由“域资源”来说明。系统提供对以下几类具体资 源的 描述:数据库资料元信息、数据库服务、数据文件、处理器、存储空间、和 通信资浙江太学硕士学位论文 第三章数据库网格管理模型与体系结构 源。另外,所有的安全策略的授权规则也都内嵌到资源描述中去。 其中,数据库资源元信息描述包括’。?了??州 ?数据库模式信息 ? 单元列表 .名称问用’分割 母 最近修改时问 单元描述 单元路径 单元类型 ,, , 单元创建时间 单元最近访问时间 单元字段清单 ,字段闾用’’分割 。 单元创建者 单元蛔属性名称 字段文字描述字段类型 ,,,,, . ?相关信息 名称 。 版本号 数据定义语言 ,数据壹询语言 数据操纵语言 一数据库访问相关信息 数据库服务工厂地址是否支持匿名连接方式支持的数据库访问管理协议当 前用户的级权限 当前用户的权限 ?动态性能参数当前活动连接数 连接数上限 数据库可用空间负载% 数据库服务描述包括?浙江大学硕士学位论文 第三章。。。。数据库网格管理 模型与体系结构 征订服务 异步方式获取数据库资源服务数据。 数据操纵服务 提供基本的数据操作原语,包括查询、更新、插 入、删除数据库记录。 用于分布式的事务处理。 事务服务 提供磊本的毅据定义?谮,包拮建豆和删陈表、 模式管理服务 视图、索引等。 协商服务 为匿名用户实施资源绑定,包括建立合法数据库 的用户身份,分配权限等等。 授权服务 为数据所有者和数据用户之间提供授权操作。 数据传输服务 与专门的数据传输通道 服务器连接. 用于处理查询或插入记录时引发的大数据集的 传输.减少传输延时。 根据数据库本地计费原则,提供用户账单浏览和 计费服务 耗费估价的功能。 系统信息描述包括 系统资源描述 利用率 的当前使用奉 主机负载 用于得到主机当前的处理能力 磁盘/ 当前磁盘存储容量 物理存储器 当前使用的物理存储器容量 虚拟存储器 当前使用的虚拟存储器容量 负载阀值 预设定的负载阀值 磁盘负载阅值 预设定的磁盘阀值 存储器负载阀值 预设定的存储器阀值 通信资源描述 通信延迟 当前羽络通信的延迟对间 数据传输的带宽 当前网络数据传输的带宽 路由情况 当前网络通信的路由情况 延迟阀值 预设定的通信延迟时间 传输带宽阔值 预设定的数据传输带宽 ...全局资源注船 资源注册包含一个类层次结构,以及注册于该类下面的数据服务或知识服务的 注册元素。我们采用建立一颗资源树,就是针对物理资源的连接方式构造物理资源 树,并建立相应的逻辑树,而资源树的维护,就是依据资源的动态加入及离去,动?浙江大学硕士学位论文 第三章。。。。。。数据库网格管理模型与体系结构 态地维护逻辑资源树。资源树中新增的资源,有两种类型,一种是单个计算资源以 叶子结点的身份加入,另一种是已经构造好的资源子树作为一个整体加入。加入的 方式也有两种,一种是由管理员指定,即人为地指定计算资源在资源树中所处的位 置;一种是自动加入,即由网格运行时系统来决定计算资源的位置。 资源树主干的建立是由网格管理员来完成的。管理员在资源树的各个非叶子结 点一均可以进行管理,每一个结点上的管理员可以只管理该结点以下的子树的全部 或部分资源。在较深的层次中,相同单位的计算资源被放在相同的分支下,这与各 计算资源的物理网络连接状况也是一致的。在这样的组织方法中,大型的任务可以 放到层次较高的资源树中运行,以获得更多的计算资源,小型的任务可以放到层次 较深的资源树分支中运行。 资源树主干建立后,可按前面的方法构造相应的逻辑树,并对相应的信息进行 ‘ 存储: 每个结点只有一个条目; 每个结点保存其所有子结点、父结点及祖父结点的信息; 每个结点保存目前该子树相关状态与历史信息; ‘ 每个结点保存自身的安全策略。 可以看到,本资源模型设计的第原则是“系统应该是精简的”,同时满足“系 统应尽可能是分布的”,将资源信息分布地存储在系统各处,每个结点都负责自己 的资源信息,这样尽可能提高了系统在遇到非常情况时的应变能力,并在受到冲击 时具有尽可能强的恢复能力。在每个结点上运行的资源管理器,需要处理资 源信息存储,向调度子系统提供资源处理能力,向监控子系统提供系统数据并接受 监控予系统发出的命令,并处理资源的动态变更。 ...资源动态整合 整合来自不同数据库网格中资源的动态数据,实现跨库方式的协同数据访问是 网格环境下数据库应用的一个普遍需求。虚拟数据库组织可以看作是一种松散 耦合的数据库模型,它所覆盖的数据库资源对用户而言,具有位置和语义上的透明 行,同时它由多个数据库资源临时整合而成,动态性是它的一个重要特点。新的资 源加入、已有资源变更、