基于实时数据库系统的历史数据处理

第29卷第3期 电力自动化设备 V01．29No．3 2009年3月 Electri(·PowerAutomationEquipment Mar．2009 基于实时数据库系统的历史数据处理 陆会明1，周 钊2，廖常斌3 (1．华北电力大学自动化系，北京102206；2．江苏省电力设计院，江苏南京211102； 3．北京三维力控科技有限公司，北京100080) 摘要：实时数据库(RTDB)是传统数据库技术与实时系统相结合的产物，是厂级信息监控系统(SIS)的核心。 历史数据是系统定时从实时数据库中采样，保存到历史数据库中的数据，用户需要时可随时从历史数据库中 访问历史数据。历史数据库包含内存历史数据库和磁盘历史数据库。内存历史数据库关注的是测点近期数 据的组织方式；磁盘历史数据库管理的对象是历史数据文件和管理信息文件。对磁盘历史数据库的文件结构、 缓冲区进行了描述，并详细阐述了其总体架构及重要功能模块(读／写操作、压缩、数据页存取)的实现技术。 关键词：实时数据库；内存数据库；历史数据处理；磁盘历史库；数据存储 中图分类号：TP311 文献标识码：A 文章编号：1006—6047(2009)03—0127—05 1历史数据库 在T业生产中，要维护大量共享数据和控制数 据；又需要实时处理来支持其任务与数据的定时限 制[1]。传统的实时系统虽然支持任务的定时限制， 但它针对的是结构与关系很简单、稳定不变和可预 报的数据，不涉及维护大量共享数据及它们的完整 性和一致性[z]。实时数据库需要对一系列的概念、 理论、技术、方法和机制进行研究，并对各个功能模 块做详细周到的设计[3。4]。 历史数据处理作为工业实时数据库系统的一个 核心功能，其主要作用是保存实时数据的历史记录。 由于先进控制应用和实时优化的需要，有一部分历 史数据被访问的频率可能很高，为了减小磁盘的读 写负担，需要在内存中保存部分近期的历史数据，称 之为内存历史数据。另外，对于超过一定时限陈旧 的数据，需从内存中清除，并做一定的处理，然后转 存到磁盘文件上。 1．1 内存历史数据库 有部分历史数据是保存在内存里的。因为某些 先进控制软件和实时优化软件等需要频繁访问这些 数据，而内存的存取速度快的特点可以充分满足这 些软件的实时访问需求。根据需要可以将某些历史 数据有选择性地保存到磁盘历史数据库中【5]。 1．2磁盘历史数据库 磁盘历史数据库主要以磁盘文件的形式存储历 史数据。这种以磁盘文件为介质的形式适宜于存储 长时间、大量的历史数据。同时便于转移、备份历史 数据。为了使磁盘历史数据库具有快速、稳定的存 储、读取性能。历史数据文件的结构、数据缓冲区的 设置及使用的压缩算法等设计都是至关重要的。 目前，实时数据库市场主要为国外的PI(Plant 收稿日期：2008—03—21；修回日期：2008—09—10 Informationsystem)、IndustrialSQLServer等几大 品牌所占据。这几个实时数据库在技术性能、功能 扩展等方面是比较先进成熟的。 PI采用了独到的压缩算法和二次过滤技术，这使 得PI成为实时数据库中压缩性能最为优越的一个。 根据计算通过PI的数据压缩技术的处理。104点／s数 据存储一年，仅需4G空间。性能优越、使用简单等 优点使得PI成为应用最广泛的实时数据库产品[6]。 IP21(InfoPlus．21)用于集成生产过程信息与高 层次应用程序的基础数据平台，它使用户可以访问 和集成来自整个工厂范围内DCS及PLC的数据， 它通过功能极强的分析工具、历史数据管理、图形化 的用户界面和大量的过程接口来访问和集成数据。 IP21是一个智能化实用化的信息管理系统，它可以 提供给用户最需要的东西：合适的实时应用支持、多 线程、客户机／服务器结构。先进的过程数据服务器 和历史数据管理在应用的任何地方都是可行的，特 别是其灵活的数据结构可以根据应用的需要重新定 义以适合自己的应用系统的需要。 IndustrialSQLServer是由数据采集、数据压 缩、生产动态浏览和历史数据归档等功能构成一个完 整的实时数据库系统，实时数据和历史数据用专门的 文件保存I-7]；数据库服务器内嵌MSSQI。Server，使其 具备关系型数据库特性，增强了复制功能，集成了 Mail和Intemet。它是第一个可满足工厂对数据采集 速度、存储量要求的实时关系型数据库，是常规关系 型数据库的数据采集速度、存储量的数百倍；它扩展 了SOl。语句，使其具有了时间特性。 上述几大实时数据库虽然在很多方面都很先 进，但也存在一些不足之处需要改进。首先，现今几 大实时数据库的历史数据查询性能有待提高。影响 到查询性能一个很重要的因素是历史数据的文件结 构，尤其是索引结构。另外，各实时数据库生产商在 历史数据的压缩处理这方面下了很大的功夫，尤其 127万方数据 电力自动化设备 第29卷 是PI在这方面做得很好，但是历史数据的压缩效率 还有提升的空间。 2历史数据存储过程 实时数据库通过接口软件从下层采集数据。这 些数据同时被写入到内存历史数据库和磁盘历史数 据库中。某个测点在内存数据库中保存的历史数据 长度，在测点组态时就已确定。当保存的内存数据 长度超过这个值时，相对陈旧的数据将会被新采集 到的数据替换。而将写入到磁盘的历史数据，只要 磁盘空间足够大，一般是没有长度限制的。整个工 厂的过程数据存储量是巨大的，不进行相应的压缩 处理必将浪费大量的存储空间。因此，数据压缩是 历史数据写入到磁盘之前的重要处理环节。 、、如图1所示，实时数据库通过接口软件从下层 设备采集数据，采集方式可以是多种多样的。当今 比较通用的是用OPC(0I。EforProcessContr01)通 信方式获取数据，此时接口软件即相当于一个OPC 客户端，通过网络获取OPC服务器提供的数据。接 口软件获取的数据有2份拷贝，一份传至内存数据 库，替换掉内存数据库内原有的陈旧数据；另外一份 则通过调用磁盘历史数据库模块做一些相关处理， 将数据写入到磁盘文件。其中，历史数据库的历史 数据存取模块是提供对历史数据读取操作的相关接 口。工厂过程数据如不经过任何处理全部存入磁盘 文件，占用的空间将会是相当庞大的。因此，过程数 据在存人磁盘之前需要经过相关的压缩处理。各种 数据类型所采用的压缩方式有可能是不一样的，压 缩算法在本文后面章节有详细描述。此外，为防止 频繁进行磁盘写操作，内存中开辟了历史数据缓冲 区，需要存人磁盘的过程数据首先放在缓冲区，当缓 冲区中积累了一定数量的历史数据时再一次性地写 入到磁盘历史数据库文件中。 至磁盘历史数据文件f⋯．．．⋯． 图1历史数据存储过程 Fig．1Storageprocessofhistoricaldata 3 内存历史数据库管理 在实时数据库中可能有一部分测点的近期数据 将有可能被频繁访问，若每次访问这些测点数据都 从磁盘上临时读取，这对磁盘将会是一个很大负担。 内存历史数据库即是用作存放这些数据的。 在测点组态时，可根据需要设置各个测点要保 存的内存历史数据长度。内存数据库根据组态信息 预分配数据空间。进入内存数据库的数据都是经过 压缩处理的，过程数据源源不断地通过接口软件采 集而来，填人到内存数据库的数据区。当数据区填 满时，陈旧数据从数据区中被淘汰掉，取而代之的是 新采集来的数据，以保持测点数据的实时性。 4磁盘历史数据库管理 各位号的磁盘历史数据是以磁盘文件的形式存 在的。所设计的磁盘历史数据库中存在2种文件： 历史数据文件和管理信息文件。一个实时数据库项 目通常有一个管理信息文件及多个历史数据文件。 历史数据文件主要存放位号历史数据及相关的索引 信息；而历史数据管理文件保存了实时数据库中所 有历史数据文件的信息及文件间的B,-J"f甘3索引，以便 快速定位某时间段对应的历史数据文件。 4．1磁盘历史库的文件描述 4．1．1历史数据文件 文件头 索引项0 索引项1 历史数据页月 128万方数据 第3期 陆全明．等：基下宴时数据库系统的『万史数据处理 文件如图3所示是一对多的关系，但并非每·个历 史数据文件都在管理信息文件中有记录。 未记录的历 史数据文件 图3管理信息文件与数据文件对应关系 Fig．3Relationshipbetweenmanagement in{ormationfileanddatafiles 4．2磁盘历史数据缓冲区 磁盘历史数据缓冲区是为了防止频繁地写磁盘 而开辟的一块内存区。将要写入到磁盘的历史数 据，首先放在缓冲区中，当缓冲区中累积了一定数量 的历史数据时再一次性写入历史数据文件中[819j。 系统中配置有系统参数作为存盘时间。当存盘 时间到达后，一次写入磁盘历史数据库。系统结束 运行时，要将历史数据缓冲区的历史数据写入历史 数据文件。用户访问历史数据时，系统首先检查历 史数据缓冲区是否有用户需要的历史数据，然后再 查历史数据库文件中是否有用户需要的历史数据。 用户通过系统参数可以设置历史数据库缓冲区 的大小，历史数据缓冲区设置得比较大可以加快查找 近期历史数据的速度，但同时内存开销也加大。最好 根据本机物理内存的容量．动态设置缓冲区大小。 5磁盘历史数据库实现 磁盘历史数据库是实时数据库的一个子模块， 它主要是由实时调度模块来驱动。本课题中是以动 态链接库的形式实现的。 5．1磁盘历史数据库的总体架构 磁盘历史数据库主要是为实时模块提供了对磁 盘历史数据进行操作的功能。该模块主要针对上面 所提到的2种文件：管理信息文件和历史数据文件。 其内部大体框架以及调用流程如图4所示。医丽 管理信 息文件 管理信息文件访问模块 历史数据文件访问模块 磁盘历史数据缓冲区 历史数据文件 图4磁盘历史数据库总体框架 Fig．4Generalframeworkof disk—basedhistoricaldataba：we 其中，接口模块负责为外部调用模块提供接口 函数 excel方差函数excelsd函数已知函数     2 f x m x mx m      2 1 4 2拉格朗日函数pdf函数公式下载 。通过这些接口，磁盘历史库的功能暴露给外 部模块。读写操作模块是整个历史库的核心模块， 提供了最为核心的读写功能，其上层接口模块中一 些主要的功能函数，实际上都是在对读写模块进行 封装。由于写数据的实现相对比较复杂，在此将其 提出来做详细描述。写数据函数实现大致如下： 129 pLastData=GetLast(pCom删； if(pLastData==NULL) { ∥追加模式 returnAppend(pCompress，pData，nCounOl } if(IsTimeLessThan(pLastData．pStartData)) I returnAppend(pCompress，pIMta，nCount)； ) if(IsTimeLessThan(pEndData，pLastData)) { ∥插入模式 returnInsert(pCompress，pData，nCount)； ) ∥中间插入模式 returnMidAppend(pCompress，pData，nCount)； 首先，从存放在磁盘上的压缩结构中获取历史 数据文件中某测点的最后一个数据。如果不存在该 数据，则表示系统刚初始化，就直接追加数据。同 样，如果待存人这批数据的起始时间在磁盘最末历 史数据之后，依然采用的是追加模式。 除此之外，还有另外2种情况：一是待写入这批 数据的结束时间在磁盘最末历史数据之前；二是待 写人这批数据的起始时间在磁盘最末历史数据之 前，但结束时间在磁盘最末历史数据之后。对于这2 种情况，前者采用插入模式写入数据，而后者采用中 间插入模式写入数据。所谓的中间插入是在删除部 分已有数据的前提下进行的一种特殊追加方式。由 于篇幅问题，上述几种数据写入模式的具体流程在 此不再做详细描述。 另外，数据页模块负责对缓冲区的数据页面进 行解析，其调用了压缩模块的功能。管理信息文件 访问模块和历史数据文件访问模块，分别提供了对 管理信息文件和历史数据文件的访问功能。 5．2磁盘历史库重要功能模块详述 5．2．1读写操作功能模块 读写子模块主要是提供了对历史数据的读写操 作功能。通过该模块可以读取到某一段时间内的所 有数据。写操作方面，该模块对传人的数据做相关 的压缩处理，然后调用下层的一些模块将数据写入 到历史数据文件。 读历史数据函数的大致形式如下： intGetData(Time’pStart，Time’pEnd。HisData。pData) 要获取数据的时间段通过pStart、pEnd这2个 输人参数传入，而pData作为一个输入／输出参数， 传人的是要获取的测点标识号等相关信息，而得到 的是对应时间段的历史数据。 写历史数据函数的大致形式如下： ． intWriteData(HisData+pHisData) 万方数据 电力自动化设备 第29卷 待写入的历史数据列表由pHisData参数传人， 在函数内部根据时间属性判断进行的是追加操作还 是插入操作，从而往磁盘文件新增历史数据。读写 模块给历史库提供了最核心的功能，因此，它是最为 关键的一个模块。在本历史库中的源码中该模块占 据了5000行左右的代码，是一个很大的模块。 5．2．2压缩模块 在工业控制过程中，测点将产生大量实时数据， 由此产生的历史数据是海量的，如不做任何处理直 接存储到磁盘历史库，将占用大量空间[10-12]。因此， 压缩处理是磁盘历史库中一个很重要的功能。 磁盘历史库中压缩处理分为有损压缩和无损压 缩2种。这里所指的有损压缩实际上就是一个筛选 数据的过程，通过有损压缩过程，磁盘历史库从大量 数据中筛选出哪些是需要保存到历史数据文件的， 哪些是可以丢弃的。而无损压缩则是将原始数据以 某种编码方式来存储，以达到节省存储空间的目的， 这种压缩方式是可以通过解压缩来恢复数据原貌 的[is-as]。磁盘历史库对不同数据类型采用的压缩方 式是不尽相同的。主要分为浮点型数、开关量数以 及字符串数这3种来进行处理。 a．浮点型数据的压缩方式。本磁盘历史库中针 对浮点型数据采用了旋转门压缩算法。在进行数据 压缩时，旋转门压缩算法将比较新的实时数据点和 前一个被保留的数据点之间的偏移，如果新的数据 点和前一个被保留的数据点所构成的压缩偏移覆盖 区的区域可以覆盖前面所有的数据点时，将没有任 何数据点被保存。反之如果有任何一个数据点落在 压缩偏移覆盖区外，则新数据点的前一个点将被保 留，同时整个压缩偏移覆盖区将被重置，并且以新数 据点的前一个点作为新的起点。而上面所说的压缩 偏移覆盖区实际上是一个平行四边形，其起点是前 一个被保留的数据点，终点是最新的一个数据点。 平行四边形垂直方向的边长是压缩偏移量的2倍， 压缩偏移量由测点组态决定，可以为每个测点指定 其合适的压缩偏移量。图5说明了旋转门压缩算法 的原理(y为值坐标，t为时间坐标)。 )， 偏移量 图5旋转门压缩算法原理图 Fig．5Principlediagramofswinging doorcompressionalgorithm 浮点型数据压缩处理的实现，即逐个判断所有 的历史数据点，哪些是需要写入到磁盘文件，哪些是 可以丢弃的这样一个过程。在下列这几种情况下， 数据是需要写入到磁盘文件的：当前点为本测点的 第1个数据时；当前点质量戳与前一点质量戳不一 130 致时；当前点未通过旋转门压缩 检测 工程第三方检测合同工程防雷检测合同植筋拉拔检测方案传感器技术课后答案检测机构通用要求培训 时。 b．开关量数据的压缩方式。开关量数据采用 的是变化即保存方式，这也是一种无损压缩方式，但 其原理和实现都比浮点数所使用的旋转门压缩算法 更简单。压缩模块在处理每个原始开关量数据时， 都会与历史数据库中相同测点的最后一个历史数据 记录做比较。如果当前开关量数据和最后历史数据 记录的值相同则滤过该数据，不将其保存进历史数 据文件；反之，则保存进历史数据文件，并将该数据 设为最后历史数据记录。如一串原始开关量数据为 11101001，经过开关量压缩处理，最后得到的要存入 到磁盘文件上的数据就为10101。 c．字符串数据的压缩方式。字符串数据是一种 比较特殊的数据类型，单个数据的长度可能比较长。 因此，有可能需要进行2次压缩。针对原始的字符 串数据，首先通过有损压缩筛选出需要保存的字符 串历史数据。然后再根据需要保存的字符串历史数 据的具体情况选择性地做无损压缩处理。并非所有 的字符串历史数据都需要做无损压缩，只有针对那 些比较长的字符串。无损压缩才有意义。当然，经过 无损压缩的历史数据从磁盘文件读出来时，必须做 相应的解压缩操作，以恢复数据原貌。字符串数据 的压缩过程实现大致如下： if(strcmp(pData-->Value．(pCompress-->pLastSave)一>str— Value)==O) { ∥与上一记录数据内容相同，则不保存 return； ) ∥记录最后保存数据信息 Copy(GetLastSaveData(pCompress)，pData)； if(pData->Length>=20) ( ∥执行无损压缩 ExecuteZlibCompress(&ComprData，pData)I ∥保存历史数据 AppendData(pWritelnfo，&ComprData)； return； } ∥保存历史数据 AppendData(pWfitelnfo，pData)i． return! 待处理数据进入之后首先与磁盘上记录的上一 次保存数据进行比较，如果值相同则不进行任何存 储操作。反之，值不相同，则需要将该数据保存至磁 盘历史文件，并再对最后保存数据信息做修改。另 外，如果待保存字符串数据过长，进行无损压缩处理 是有必要的。至于如何衡量字符串是否过长，这与 采用的无损压缩算法有关，需要通过相关测试获取。 本文中所描述的历史库采用了zlib无损压缩。通过 测试表明，采用20字节作为字符串长短衡量 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 是 比较合适的。 压缩模块有大约1000行的代码。在这个模块 万方数据 第3期 陆会明．等：基于实时数据库系统的历史数据处理 中根据不同的数据类型进行不同的压缩操作，这是 本历史库的一个特点。实际上，本历史库中数据的 压缩效率也是很高的。 5．2．3数据页存取模块 历史数据文件采用页面存储，数据页存取模块 的主要功能是对这些页面进行操作。其中，页面分 为历史数据页和数据索引页2种，这2种页面的大 小不～定相同，页面结构也不相同。因此，对这2种 页面的解析方式是不一样的。数据页存取模块代码 量约2000行，这部分主要负责解析这2种贞面。 6结语 历史数据处理是实时数据库中一个至关重要的 功能。文中论述了实时数据库系统历史数据处理的 详细过程，以及磁盘历史数据库的实现技术。 参考文献： [13徐国风．实时数据库关键技术研究[D]．西安：西安建筑科技大学．2006． XUGuofeng．Studyofpivotaltechnologiesforreal-timedatabases[D]． Xi’821：Xi’∞UniversityofArchitectureandTechnology，2006． [2]叶建位，苏宏业．实时数据库系统关键技术及实现[J]-计算机应用研究， 2004，3(1)：45—47． YEJianwei，SUHongye．Keytechnologyofreal—timedatabasesy岫nD]． ApplicationResearchofComputerst2004．3(1)：45’47． [3]赵平，赵光煜．实时数据库的现状及发展趋势[J]．天津农学院学报，2002， 3(1)：58—63． ZHAO盹，ZHAOG'日唧1．Pr目mtsituationanddeve】opi晖trendofreal -timedatabase[J]．JournalofTianjinAgriculturalCollege，2002·3(1)； 58—63． [43SINGHALMIssu8andapproachestodesignofreal‘timedatabasesys- tems[J]．SIGMODRecord．1988，17(1)：19—33． [5]王成光．流程工业大型实时数据库理论．技术与应用[D1]．杭州：浙江大 学，2003． WANGChengguang．‰ry．techiaologyandapplicationoflarge—seahreal —timedatabasesysteminprocessindustry[D]．Hangzhnu：ZhejhngUniver- sity，2003． [6]洪慧．林中达．PI数据库及其信息交换技术在电厂中应用[J]．电力自动化 设备．2005．25(3)：60—63． HONGHui．LINZhongda．ApplicationofPIreal—timedatabaseandinfoP mationexchangeinpowerplant[J]．ElectricPowerAutomationEquip- merit．2005．25(3)；60—63． [7]黄伟．林中达．InSQL数据库原理及结构介绍[J]．工业控制计算机·2007， 20(10)：50—51． HUANGWei．LINZhongch．Introductionofprincipleandstructureof lnsQLdataba∞[J]．IndustrialControlComputer，2007．20(10)：50’51． [8]ARANHARM，GANTI~LImplementationofareal‘timedatabasesystem D]．InformationSystems．1996。21(1)：55。74． [9]uuYunsheng。LIGuohui．Loadingofareal—timemainmemorydatabase [J]．JournalofSoftware。2000。11(6)：29—35． Do]钱笑宇．张彦武．工业实时数据库的研究和设计口]．计算机工程．2005， 31(1)：98—99． QIANXiaoyu。ZHANGYanwu．ResearchanddesignofRTDBinindustry control[J]．ComputerEngineering．2005．31(1)：98—99． [11]刘吉臻，房方．牛玉广．电力企业中的实时数据库技术[J1中国电力。 2004．37(2)：73—78． LIUJizhen．FANGFang．NIUYoguang．Real—timedatabaseinelectric powerenterprise[J]．ElectricPower，2004，37(2)：73—78． [12]徐慧．实时数据库中压缩算法的研究[D]．杭州：浙江大学．2006． XUHui．Researchofcompressionalgorithminreal—timedatabaseED]． Hangzhou：ZhejiangUniversity，2006． [13]CFZGURuResearchissuesinreal—timedatabasesystems口]．bdormation Sciences，2006，87(2)：123—151． [143BUNTINGDcEmbeddedreal-timesystemdatabase口]．SoftwareBlgi— neeringNotes，1986·11(3)：40’51． [15]拓广忠．幕群．实时数据库原理及其压缩技术分析[J]．华北电力技术． 2004，6(1)：17—20． TUOGusngzhong，MUQurLAnalysisoffprincipleofreal—timedatabase anddatacompressiontechnology[J]．NorthChinaElectricPower，2004， 6(1)：17一ZO． (责任编辑：汪仪珍) 作者简介： 陆会明(1965一)，男，山东莱阳人。教授，电站过程自动化注册工 程师(ASEA)，博士，主要研究方向为网络化控制系统、()PC技术与 应用、工业实时数据库及现场总线控制技术等(E-mall：LuHuiming (9neepu．eduon)# 周钊(1983一)，男，湖南汨罗人，项士，主要研究方向为实时教 据库、oPC技术与应用、分散控制系统等(E-mail：zhouzha01983@ gmaiLcom)} 廖常斌(1971一)，男，湖南衡阳人，主要研究方向为实时数据库， 厂级监控系统等。 Historicaldataprocessinginreal-timedatabasesystem LUHuimin91，ZHOUZhaoz，LIAOChangbin3 (1．DepartmentofAutomation，NorthChinaElectricPowerUniversity，Beijing102206，China； 2．JiangsuElectricPowerDesignInstitute，Nanjing211102，China； 3．BeijingSunwayForceControlTechnologyCo．，Ltd．，Beijing100080，China) Abstract：RTDB(Real-TimeDataBase)istheintegrationoftraditionaldatabasetechnologyandreal—time systemandisthecoreofSIS(SupervisoryInformationSystem)．Historicaldataisthedataregularlysam— Dledfromreal—timedatabasesystemandstoredinhistoricaldatabaseforuseraccess．Historiealdatabasein- eludesmemory．-baseddatabaseanddisk—-baseddatabase．Theformerconcernstheshort-termdataorganiza- tionofsampledpointswhilethelattermanagesthehistoricaldatafilesandmanagementinformationfiles． Thefilestructureandbufferareaofdisk—basedhistoricaldatabasearedescribed，anditsgeneralframework andimplementationtechnologyofsomeimportantfunctionmodules(read／write，compression,datapage access)areelaboratedindetail． Keywords：real—timedatabase；main-memorydatabase；historiealdataprocessing；diskhistoricdatabase； datastorage 万方数据 基于实时数据库系统的历史数据处理 作者： 陆会明， 周钊， 廖常斌， LU Huiming， ZHOU Zhao， LIAO Changbin 作者单位： 陆会明,LU Huiming(华北电力大学,自动化系,北京,102206)， 周钊,ZHOU Zhao(江苏省电力 设计院,江苏,南京,211102)， 廖常斌,LIAO Changbin(北京三维力控科技有限公司,北京 ,100080) 刊名： 电力自动化设备 英文刊名： ELECTRIC POWER AUTOMATION EQUIPMENT 年，卷(期)： 2009，29(3) 被引用次数： 0次 参考文献(15条) 1.徐国风 实时数据库关键技术研究 2006 2.叶建位.苏宏业 实时数据库系统关键技术及实现[期刊 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 ]-计算机应用研究 2004(01) 3.赵平.赵光煜 实时数据库的现状及发展趋势[期刊论文]-天津农学院学报 2002(01) 4.SINGHAL M lssues and approaches to design of teal-time database systems 1988(01) 5.王成光 流程工业大型实时数据库理论.技术与应用[学位论文] 2003 6.洪慧.林中达 PI数据库及其信息交换技术在电厂中应用[期刊论文]-电力自动化设备 2005(03) 7.黄伟.林中达 InSQL数据库原理及结构介绍[期刊论文]-工业控制计算机 2007(10) 8.ARANHA R M.GANTI M Implementation of a real-time database system 1996(01) 9.LIU Yunsheng.LI Guohui Loading of a real-time main memory database[期刊论文]-Journal of Software 2000(06) 10.钱笑宇.张彦武 工业实时数据库的研究和设计[期刊论文]-计算机工程 2005(01) 11.刘吉臻.房方.牛玉广 电力企业中的实时数据库技术[期刊论文]-中国电力 2004(02) 12.徐慧 实时数据库中压缩算法的研究[学位论文] 2006 13.OZGUR U Research issues in real-time database systems 2006(02) 14.BUNTING D C Embedded real-time system database 1986(03) 15.拓广忠.慕群 实时数据库原理及其压缩技术分析[期刊论文]-华北电力技术 2004(01) 相似文献(10条) 1.学位论文 付蔚 主动实时内存数据库的存储与恢复 2002 主动实时数据库(ARTs-DBMS)完善地集成了传统数据库、实时系统及主动规则的技术与机制.主动实时数据库系统的高效性要求以内存数据库 (MMDB)作为底层支持,论文以自行研制开发的主动实时数据库系统ARTs-DBMS为基础,对此系统的底层支持--内存数据库子系统ARTs-MMDB的体系结构、数 据存储、数据组织与数据安置进行了详细分析与设计.在此基础上,重点研究与讨论了ARTs-MMDB的恢复与重装.文中给出了一套完整的恢复模型,将模糊检 验点(Fuzzy Checkpointing)技术与LAW(Logging After Write)日志协议相结合,简化了系统崩溃后系统恢复工作起始点的确定,减少恢复工作量,缩短恢 复时间,最终提高恢复效率.文中的基于数据优先级的ARTs-MMDB的重装针对主动实时数据库的系统特性设计,为不同特性的数据分配不同重装优先级,进而 采用不同的重装策略装入,达到以最短时间装入最有效数据的目的,从而在尽可能短的时间内重启ARTs-DBMS到可工作状态.重装技术加以必要修改可用于 内存数据库的初装. 2.期刊论文 刘云生.迟岩.LIU Yun-sheng.CHI Yan 基于遗传算法的实时内存数据库查询优化 -小型微型计算机系 统2005,26(3) 各种事务类型的查询处理是实时数据库实现的关键点之一.由于现有的关系查询处理不能适合于实时数据库,因此实时数据库系统必须具有自己的查 询处理器.为此,结合正在开发的嵌入式实时数据库系统ERTDBMS,给出了一个实时数据库查询处理的系统RTQP,并在对实时数据库查询处理做了一般性探讨 后,将重点放在内存代价和遗传算法上.类似于关系系统RTQP提供了在MMDB环境下节省内存的查询处理的实现算法,以及遗传算法和实时数据库规则相结合 的查询优化 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 . 3.学位论文 耿协坚 嵌入式实时内存数据库ARTs-EDB恢复技术研究 2004 主动实时数据库管理系统(ARTs-EDB)完善集成了传统数据库、实时数据库及主动机制.为支持实时事务的运行,ARTs-EDB以内存数据库(MMDB)作为底 层支持.在内存数据库中,由于数据库的主拷贝常驻内存,相对于传统的磁盘数据库而言,内存数据库更易受到伤害.论文以自行研制开发的主动实时数据库 管理系统ARTs-EDB为基础,在分析了ARTs-EDB的总体结构的基础上,提出了ARTs-EDB所采用的恢复机制的实现策略及设计方案.在内存数据库系统中,外存 数据库作为恢复的备份而存在.为了能在数据库系统发生故障之后将数据库恢复到一个一致性的状态,恢复子系统需要进行记日志、做检验点、备份和故 障后重装等活动.ARTs-EDB中,每个事务都有单独的活动日志区,只记录事务的REDO日志,并采用合适的日志协议,减少了日志占有的空间和记录日志的工作 量.ARTs-EDB中采用满足活动一致性的模糊检验点技术,简化了系统崩溃后系统恢复工作起始点的确定,减少了恢复工作量,缩短恢复时间,最终提高系统效 率.针对主动实时数据库的系统特性,ARTs-EDB采用基于数据优先级的重装策略,为不同特性的数据分配不同的重装优先级,优先装入紧急事务的数据和高 优先级的数据,从而可以在尽可能短的时间内让系统进入工作状态,满足实时事务的运行.ARTs-EDB采用动态的增量备份方式,并记录备份过程中的日志,由 数据库副本和日志共同组成一个完整的备份.由于采用动态方式,尽量减少了对系统的影响. 4.学位论文 石英伟 分布式实时内存数据库关键技术研究与实现 2008 随着计算机网络技术的发展和自动化水平的不断提高,在数据存取和数据管理方面出现了许多新型应用。这些应用不仅要求分布在网络的不同结点上 ,而且具有时限性约束。传统的基于硬盘的分布式数据库已经无法满足这种物理上相分散且具有时限约束的现代应用,对这一新型应用的研究需要一种新 型的研究方法和技术。此外,半导体工艺的飞速发展,内存容量越来越大,使得将大量数据存放于内存以加快数据访问速度的方式成为可能。 以内存数据库为支撑的分布式实时数据库能有效支持分布式环境下的实时应用,满足事务或数据对时限或截止期的要求。然而,分布式实时内存数据 库并非是分布式数据库、实时数据库和内存数据库三者在概念、技术、方法、机制上的简单结合,而是有许多方面需要深入地研究和完善,如事务调度、 并发控制、数据加载、数据同步、故障恢复、安全性等。 本文深入研究了分布式实时内存数据库站点系统故障的恢复管理机制。 首先简单介绍了与DRTMMDB相关的三种数据库技术；接着阐述DRTMMDB系统故障恢复的日志技术、检查点技术、重装技术以及分布式全局事务的恢复 技术。 在深入地研究了用于分布式实时内存数据库故障恢复的关键技术后,提出了一种DRTMMDB站点系统故障的恢复策略,即基于日志驱动的事务一致性模糊 检查点策略与数据库的分区重装策略相结合的恢复策略,这种策略不仅能有效满足分布式事务的一致性恢复要求,而且能有效满足实时事务恢复的时限要 求。本文设计的分布式事务的故障恢复严格遵守分布式事务的两阶段提交协议,并能满足实时事务对截止期的要求,能快速启动数据库,接受新事务的处理 请求。 本文着重阐述了恢复子系统的设计方案,给出了恢复子系统中的日志、检查点和重装三个子模块的设计思路和主要算法的实现,最后通过对不同恢复 策略的实验比较,验证了本文恢复策略在性能方面的改进。 5.期刊论文 刘云生.迟岩 内存受限的实时内存数据库数据装入策略 -计算机工程2004,30(20) 实时数据库要求以内存数据库为其底层的支持.传统的内存数据库要求内存数据库能容纳全部外存数据库,因此没有数据装入的问题.而要实现内存受 限的内存数据库,就是在内存数据库不能容纳全部外存数据库的前提下,保证一个事务执行前,其数据被装入内存.而内存数据库的脆弱性使得数据的装入 比较频繁(包括初装和运行时装入),因此传统的装入策略对实时内存数据库就显得不合适.为此给出了新的数据装入策略,并在此基础上实现了 ERTMMDB(Embedded Reat-time Main Memory Database). 6.学位论文 薛竹飙 实时内存数据库关键技术的研究与实现 2006 随着计算机在社会各个领域的广泛应用，在非传统工程和时间关键型需求面前，传统数据库已不能满足要求。为此，将数据库系统和实时系统结合 ，出现对数据管理满足正确性和时限性的实时数据库。伴随半导体工艺的飞速发展，内存容量越来越大，将数据存放于内存加快访问速度的内存数据库 普遍成为实时数据库的底层实现。 因为实时限制的要求和内存不同于磁盘的存储特性，实时内存数据库在设计实现时与传统数据库存在较大差别。本文主要对实时内存数据库的空间 管理、加载及同步、并发控制三个关键技术进行了研究设计，给出电信系统内的应用实现，从索引、同步和事务三方面进行性能测试，并比较分析了测 试结果。 空间管理中，首先归纳出三类核心对象，提出基于对象的组织结构，然后给出各类型索引实现并加以优化，将记录操作分为两个层次给出记录操作 流程，并提出内存动态管理时带有反馈机制的内存池分配法。 加载和同步时，选用具备缓冲队列的线程池模型来提高处理性能。启动加载采用基于关系主键的分阶段方法；对实时加载结合数据完整性进行考虑 ；在内存库和物理库之间同步中，分别给出它们的同步模型和操作流程，实现数据的一致性维护。 并发控制中，阐述了可推测并发控制中冲突、选择和提交的处理规则，最后对不同条件下并发控制进行比较，提出了短事务串行处理和动态多粒度 锁的设计。 7.期刊论文 刘云生.李国徽.LIU Yun-sheng.LI Guo-hui 实时内存数据库的装入 -软件学报2000,11(6) 实时数据库(real-time database,简称RTDB)要求以内存数据库(main memory database,简称MMDB)作为其底层支持.内存数据库的脆弱性使得数据库 的装入(包括初装和重装)极为频繁,对系统性能影响极大,而传统的装入算法对实时内存数据库不适用.为此给出影响数据装入的实时数据及事务特征,并 提出一种数据装入策略与算法. 8.学位论文 查代瑜 嵌入式实时内存数据库研究与实现 2009 由于磁盘I/O的不可预测性，内存数据库技术成为了嵌入式实时数据库的最佳选择。因为实时限制的要求和内存不同于磁盘的存储特性，嵌入式实时 内存数据库的设计实现与传统的数据库存在较大差别，很多机制需要进行研究和重新设计。 目前主流的内存数据库索引结构没有充分利用cache性能。为此，本文分析了一种数字树技术——Judy。Judy具有访问高效、树的高度可预测、结点 结构可灵活调整、内存访问次数少等优点。但是Judy的范围查询比较差，因为每次访问一个叶结点之后都要先回溯至上层结点，再向下找到下一个叶结 点的入口地址，这样会导致大量cache块的填充，时间开销很大。 为了改进Judy的范围查询能力，本文提出了一种新的索引结构——J＃树。与Judy相比，J＃树通过在叶结点中增加一个前驱指针和一个后继指针 ，分别指向该结点的前驱结点和后继结点。范围查询时，通过前驱或后继指针可以快速定位下一个要查询的结点，免去了层层回溯的过程，从而有效减 少了cache块的填充次数。 由于J＃树具有优良的时空性能，本文设计了一个基于J＃树的嵌入式实时内存数据库——DBSq1。DBSq1采用了模块化的设计思想，用户可以根据需 要对其剪裁。DBSq1还提供了两种接口：常用的SQL语句接口和自带的API函数接口。DBSq1可以作为一个函数库链接到到应用程序中，以减少进程间的通 信开销。 DBSq1将J＃树作为内存数据的组织方式和索引机制。DBSq1的其它机制都是以J＃树为基础设计的。由于J＃树根据结点中关键字数目而选择不同的结 构，各个结点的大小比较悬殊。为了节省内存空间，采用按结点大小进行内存分配。作为一个嵌入式实时内存数据库，事务的并发控制和恢复机制非常 重要。DBSq1采用基于优先级抢占的两段锁协议，以满足实时事务的需要。为了维护数据库的一致性，DBSq1采用事务延迟更新策略和模糊检查点策略。 基于这些策略，DBSq1的恢复机制得到了有效的保障。 经过实验测试可知，DBSq1具有比较好的存取性能，非常适合作为嵌入式实时内存数据库。 9.学位论文 许贵平 分布式实时事务预分析处理与预测 2003 实时数据库系统中事务与数据都具有显式的定时约束,实时事务处理不仅要维护数据库的逻辑一致性,而且需要保证满足实时事务的各种时间约束,特 别是实时事务的截止期.因此,系统应具有静态地预测硬实时事务执行行为和对软实时事务的执行进行动态预测的能力,即实时事务处理必须具有一定的可 预测性.基于事务相关图的优先级动态调整策略,基于事务相关性分析的冲突敏感的事务/子事务初始优先级分配策略和系统动态负荷模型能够充分反应系 统中事务的动态行为和相互影响,由此建立的事务接纳控制策略和基于预分析的悲观申请动态释放的分布式实时静态两段锁协议可以改善系统的性能.内 存数据库能提高实时事务处理的可预测性.在实时内存数据库中,恢复处理,特别是内存数据库重装是影响实时事务处理性能的关键因素之一.灰关联闭包 的概念发展了灰色关联分析的理论,而基于此的实时事务动态数据存取分析能够同时表达实时事务由于语义和非语义成分所表现的数据存取关联,从而可 以合理地进行重装数据的划分,这些是优先级分组重装算法的理论基础,该算法与传统重装算法相比有更好实时性能. 10.期刊论文 叶彤.吴钦章.蒋平 实时数据库的应用研究 -光电工程2004,31(6) 根据实时数据库,内存数据库的基本理论,提出了将内存数据库思想溶于传统磁盘数据库中的内存数据访问技术.通过对应用程序与数据库系统之间接 口的重新封装,实现了此技术在数据访问对象(DAO)中的应用,使数据库检索、存取等过程能在有限的内存中进行,避免了大量磁盘数据的I/O,提高了应用 系统的执行效率. 本文链接：http://d.g.wanfangdata.com.cn/Periodical_dlzdhsb200903028.aspx 授权使用：西安交通大学(wfxajd)，授权号：d4c0f07d-1ba2-431d-94f0-9dc101021ae8 下载时间：2010年7月28日