下载

1下载券

加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 高性能遥感卫星地面预处理系统中的任务管理与调度技术研究

高性能遥感卫星地面预处理系统中的任务管理与调度技术研究.pdf

高性能遥感卫星地面预处理系统中的任务管理与调度技术研究

小饼的炊饼
2010-09-13 0人阅读 举报 0 0 暂无简介

简介:本文档为《高性能遥感卫星地面预处理系统中的任务管理与调度技术研究pdf》,可适用于生产运营领域

第卷第期年月字航学报JournalofAstronauticsVo.No.July高性能遥感卫星地面预处理系统中的任务管理与调度技术研究向彪李国庆刘定生李景山(.中国科学院中国遥感卫星地面站重点实验室北京.中国科学院研究生院北京)摘要:任务调度和管理是遥感卫星数据地面预处理系统设计中的核心技术。如何对于新型的基于并行机群平台的遥感卫星数据预处理系统进行有效的任务管理和调度将对系统的可用性、可扩展性以及性能等产生很深的影响。文章讨论一种成功应用于通用高性能卫星地面预处理系统(GHIPS)中的、基于机群平台的任务管理与调度技术并用于指导为高性能遥感数据处理平台提供一种通用的任务管理与调度解决方案。关键词:遥感卫星地面预处理任务管理调度高性能机群中图分类号:TP.TP文献标识码:A文章编号:()O引言与调度技术进行深入讨论。随着卫星技术与信息技术的发展卫星遥感数据的数据源多、分辨率高等新特点的出现对卫星数据处理能力提出了更高的要求⋯。传统的单机模式、专用地面预处理系统很难适应新的发展需求。开发一种通用的、高性能地面预处理系统成为一种实际需要。基于机群的高性能并行计算凭借其低价高效、扩展性好、处理能力强等特性成为实现卫星数据高性能地面预处理的一种有效解决方案一。通用高性能卫星地面预处理系统(GHIPS)是中国科学院中国遥感卫星地面站高性能地学计算课题组研制的一款基于Linux机群的支持多卫星、多传感器的高性能卫星地面预处理系统。系统能够根据相关参数选项利用高性能并行处理算法自适应处理不同卫星、不同传感器的卫星数据并生成标准格式产品。系统的第一版本H已经成功地运用于北京一号小卫星地面数据预处理。在遥感卫星地面预处理系统中卫星数据预处理通常包含原始数据分离、云量评估、辐射校正、几何校正等一系列处理流程如何对数据处理流程进行有效的管理调度通常是系统设计中的核心技术之一。本文将在分析典型卫星地面预处理系统任务管理与调度机制的基础上对GHIPS系统的任务管理收稿日期:)修回日期:典型遥感卫星地面预处理系统任务管理与调度在遥感卫星地面预处理系统中任务概念并没有统一的定义。文章中的任务特指从数据输入到生成产品的整个数据预处理流程。流程中用于实现某项特定功能的具体处理算法称为阶段任务或子任务如:原始数据分离、辐射校正、几何校正等。任务管理与调度系统则主要负责对系统中的任务请求进行统一的管理、调度与控制。在卫星地面预处理系统中任务管理与调度通常包含:组织、管理数据处理流程运行、控制任务监控任务处理状态监控系统资源等核心业务功能。虽然不同的预处理系统具有不同的任务管理、调度方案但在任务管理机制与调度策略方面呈现出一些共同的特性。用户的任务请求通常将转换成系统内部特定的数据处理流程任务调度服务将结合用户提交的参数含义按照该流程规定的功能选项及次序对数据进行逐项加工处理同时把处理状态、进度等信息反馈给用户。在支持任务并发性与优先级的调度系统中任务请求通常先放入任务池中系统将根据任务优先级、资源负载、任务状态等综合因素对任务队列进行统一管理、调度。并在任务处理中提供最高的自动化程度减少用户的交互与干预。现有的多数卫星地面预处理系统均是针对具体维普资讯http:wwwcqvipcoml字航学报第卷遥感卫星而设计的专用预处理系统数据处理流程通常固化在系统中。此类任务管理与调度系统的业务逻辑通常会随着数据处理流程与流程本身复杂性的增加而变得更加复杂同时不利于处理流程的修改、扩展以及系统资源复用。由于目前预处理系统主要以小型机或工作站为处理平台其上面的任务调度技术也相对简单。如何为用于满足卫星数据地面预处理中的快速、密集计算对系统计算能力高要求而选用的、基于Linux机群的预处理平台提供一种通用的任务管理与调度策略成为一种迫切需求。以具有高性价比的Linux机群作为计算平台的GHIPS系统其任务管理与调度系统将致力于提供一种基于机群高性能计算平台的、通用的任务管理与调度解决方案。GHIPS系统任务管理与调度.任务管理与调度系统介绍在通用卫星地面预处理系统中需要根据不同的卫星、不同的传感器数据特点而提供不同的数据处理流程。如何将可用的数据处理功能模块有效的组合成符合要求的业务处理流程以及在不需要改动或很少改动原有系统的基础上灵活、方便的添加、修改数据处理流程就变得至关重要。同时在面向多任务的系统调度中如何对多个并发任务进行有效的管理以及在任务问协调系统资源并在可用资源间实现负载均衡等问题都对任务管理与调度系统提出了很高的要求。为实现上述目标GHIPS系统的任务管理与调度系统采用两级任务管理与调度技术第一级为任务处理流程管理与调度、第二级为子任务管理与调度。任务处理流程管理服务将把用户的所有任务请求放入任务请求队列中并调用权限管理服务对任务请求的合法性进行检验通过验证的任务请求将放入任务调度队列中等待调度同时返回给用户唯一的任务编号任务处理流程调度服务将根据系统预定义的调度规则依次把任务调度队列中的任务请求分解成有限个子任务同时结合任务处理流程决定子任务调度顺序并随时监控子任务运行状态等。子任务管理与调度服务将负责从上一级管理与调度服务器接收新的作业并借用任务池将任务缓存然后根据任务优先级、调度策略、系统资源负载等情况来协调系统资源决定任务池中任务运行的顺序、节点等信息并将子任务运行状态反馈给上级任务管理服务器。.任务处理流程管理与调度技术GHIPS系统中任务是由一系列阶段子任务(功能模块)有机组合而成的处理流程。为实现通用卫星地面预处理系统对数据处理流程的灵活性要求系统采用了工作流技术来最大化系统数据处理流程的灵活性与可扩展性。相对其他预处理系统该处理流程不是固化在系统中而是采用xml文件格式进行描述以配置文件形式存放由系统在运行任务时动态加载因此可以在数据处理流程中实现功能组件模块的“热插拔”。系统将利用工作流引擎对描述文件进行解析并按照预定义规则对流程中的各阶段任务进行处理。在数据处理流程中可以根据需要在流程中设立检查点以检测功能函数是否正确执行完成没有通过检测的流程检查点后续的任务功能将不再被执行。同时系统还提供自定义检查点检测内容与失效处理策略等扩展功能。在支持多任务调度的卫星地面预处理系统中对发起的任务进行有效的监督、管理是必不可少的。GHIPs系统在任务处理过程中操作员可以有效地干预(挂起、恢复、取消)流程处理状态从而实现对系统中任务的有效控制、管理。同一数据处理流程可能经过的状态如图所示。任务处理同时系统会完整地记录处理进度、状态等日志信息并提供图形化界面供操作员查看。钎备通过认证授权验证滑任务\』完成\回\图任务状态图Fig.Jobstatusdiagram为更好实现系统可用资源间负载均衡对于由一系列阶段任务组合而成的数据处理流程系统工作流引擎将把每个任务中的全部阶段任务解析为小粒度的独立作业提交至系统子任务管理、调度服务器并获得每个新的作业在调度服务器中对应的作业编号。随后系统将根据此作业编号查询作业调度进展及状态信息同时也可根据调度指令利用此作业编号挂起、恢复、取消、重做该作业。下面给出一段用于描述数据处理流程脚本主要维普资讯http:wwwcqvipcom第期向彪等:高性能遥感卫星地面预处理系统中的任务管理与调度技术研究规则的示例。流程中定义了两个阶段任务:原始数据处理(Getrawdata)、去条带处理(Destripe)并通过“parallelType”属性表明数据处理并行策略代表任务级并行代表算法级并行。同时在原始数据处理后设立检查点以在进行去条带处理之前对原始数据处理功能是否正确完成进行检测。(steps)<stepid“l”nanle一“stepI”><actionid=“l”name=“gctra~data’’><argname一“execObject’>Getrawdata</arg><argnalYte“parallelType”>l</arg><argname一“classname”>cnaersgskeylabghipsomsExeeuter</arg>‘/action)</step><stepid⋯name“step”、(actionid=⋯name~‘eheckpoint”auto=‘‘true⋯<argname=execObject’)Checkpoint</arg><argname“classname>cnacrsgskeylabghipsomsExecnter</arg></action></step)<stepid“name一“step”>(actionl“:”name一“Deslripe”auto一true><argnallqt=“CXCCObject’’>Destripc</arg><argname’parallelType”></arg><argname一“classname”>cnacrsgs.keylabghips.oms.Executer</arg>t/aefion>(/step></steps).处理流程阶段任务管理与调度技术GHIPS系统子任务管理与调度服务是一种兼容单机环境与分布式环境的综合任务调度服务其在系统中主要负责对各阶段任务进行管理与调度。并监视可用计算资源负载等情况在分布式应用环境中自动实现可用计算资源间动态负载平衡。同时该调度系统亦可作为独立的任务调度服务器运行用于通用的作业调度服务。子任务管理与调度系统由管理服务、策略服务、运行服务三个主要部分构成。调度服务器中的管理服务将把所有任务请求放人任务调度池中同时把任务请求指令传给调度策略服务策略服务将根据可用计算资源负载情况对任务池中任务按照优先级高低次序进行调度指派给系统根据预定义策略选择出的运行节点来执行任务。同时运行服务节点还将定期的把自身负载情况反馈给调度策略服务以便子任务调度系统在计算资源间自动实现负载均衡。为实现对卫星数据快速预处理的特性GHIPS任务调度系统提供两种并行任务调度策略以实现最高处理性能。对计算量不大的任务(如:零级数据处理、产品发布等)系统采用任务级并行调度策略对于算法复杂或大数据量处理等计算密集型任务(如波段配准等)系统则采用算法级并行策略。对于同一数据处理流程中的各阶段任务用户可以自定义其并行策略选用任务级并行或算法级并行也可混合使用两种并行模式。基于机群的通用任务调度技术虽然能在各计算节点间实现动态负载均衡但对于卫星数据处理等大数据量计算任务通常也会带来在各节点间大规模数据移动导致系统处理性能的下降甚至成为高性能并行计算中的一个瓶颈。为消除数据移动对系统性能的影响GHIPS系统在由各计算节点组成的Linux机群上部署并行文件系统(PIPFS)。这不仅能有效地避免数据在计算节点间的大规模移动还可以极大的缩短高性能并行计算中数据分发与回收的时间以及提高系统基于MPI(消息传递接口)的并行处理算法的数据并发读写效率。结论目前GHIPS任务管理与调度系统能对GHIPS系统任务进行全面管理与调度系统支持多任务并发以及普通、加急、特急三个级别的任务优先级调度策略并能在基于机群的高性能处理平台中有效地实现资源问负载平衡。同时提供对北京一号(DMC)小卫星的多波段、全色遥感数据中巴资源卫星(CBERS一)的多波段与近红外遥感数据支持的二十余条数据处理流程。GHIPS系统中的成功实践表明利用两级任务管理与调度技术设计的任务管理与调度系统能很好的满足高性能遥感卫星地面预处理系统中的任务管理与调度需求。同时充分利用成熟的软件设计模式并引进工作流、并行文件系统等技术开发出的任务管理与调度系统具有极大的灵活性与可扩展性。在不改变或很少改变现有系统的基础上就能方便的增加与修改任务处理流程并在基于机群的分布式环境应用中实现资源负载均衡且能进一步提升系统处理性能。在卫星与传感器种类越来越多样化、数据处理技术不断发展、变化的趋势下这将为系统升级与复用提供极大的方便性并在二次开发中节约大量的人力、资源与时间。虽然现有的任务管理与调度技术能满足GHIPS系统当前的需求但仍有很多工作需要完善。接下来将对任务管理与调度系统的健壮性与性能进行更多的测试对系统的可移植性与高性能计算环境中的任务调度策略进行更广的研究。并在此系统的基础上进一步研究适合遥感卫星数据处理的通用高性能计算平台的任务管理与调度解决方案。维普资讯http:wwwcqvipcom宇航学报第卷参考文献:PetrieGMDippoldCFarmGeta.DistributedComputingApproachforRemoteSensingDataEB/OL.http://w~vgalaxy.gmu.edu/interface//X)Proceedings/PetrieGregg/PetrieGregg叫.BelayTBeshahJohnWelterKristianMolln.DiswlbutedComputinginGroundProcessingEB/OL.http://wvew.isprs.org/istanbul(M/comm/papem/.pdfYANGChaotungChiLiChang.Frank碡U.UsingabeowulfclusterforaremotesensingapplicationCj//ProceedingsofthendAsianConferenceonRemoteSensingSingaporeNov.ZHANGWanjunLIUDingshengLIGuoqingeta.SpecialtaskschedulingandcontrolofclusterparallelcomputingforhighperformancegroundprocessingsystemC//Proceedingsofthethnterna.tionalConferenceonComputationalScienceEnglandMay.:.李国庆刘定生.遥感图像处理的并行计算模式研究J.中国图像图形学报(A):.LIGuo.qingLIUDingsheng.ResearchofparallelcomputingmodelsofremotesensingimageprocessingJJ.JoumalofImageandGraphics(A):(inChinese).lGuoqingLiYanMaJianWangeta.Preliminarythrough.outre.searchonparallelbasedremotesensingimageprocessingC//ProceedingsofthethInternationalConferenceonComputationalScienceEngland:.作者简介:向彪(一)男中国科学院研究生院硕士研究生研究方向为遥感图像处理系统、并行计算方面研究与应用。通信地址:北京市北三环西路号信箱()电话:()Email:xiangbiaone.rsgs.an.caResearchonTaskManagementandSchedulingofHighPerformanceRemoteSensingSatelliteGroundPreprocessingSystemXIANGBiao一LIGuo.qingLIUDing.shengLIJing.shan(.KeylaboratoryRemoteSensingSatelliteGroundStationChineseAcademicofSciencesBeijingChina.GraduateUniversityChineseAcademicofSciencesBeijingChina)Abstract:Taskschedulingandmanagementisalwaysthekeytechniqueintheremotesensingsatellitegroundpre.processingsystem.Thewayofschedulingandmanagementcanheavilyaffecttheavailabilityextensibilityandperformanceofthesystemwhichisespeciallyobviousinparallelandclusterbasedpreprocessingplatforms.Inthispaperanewclusterbasedtaskschedu.ingandmanagementstrategywhichissuccessfullyappliedinageneralhighperformancepreprocessingsystem(GHIPS)willbediscussedafterasimpleanalyzingofthestrategiesofthecurrentpreprocessingsystems.Andtrytooffer。generaltaskmanage.mentandschedulingsolutionforhighperformanceremotesensingdataprocessingplatforms.Keywords:RemotesensingsatelliteGroundpreprocessingTaskschedulingandmanagementHighperforn~ce:Cluster维普资讯http:wwwcqvipcom

VIP免券下载文档

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/4

高性能遥感卫星地面预处理系统中的任务管理与调度技术研究

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利