优化数据管理模式，提升“数据中心”质量

优化数据管理模式，提升“数据中心"质量 吴 霞李涛吴燕华 (中国石油化工股份有限公司胜利油田有限公司胜利采油1--) 摘要本文主要描述在采油厂“数据中心”的建设实践过程中，总结出了一套优化的数 据管理模式：业务模型管理、数据 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 管理、数据采集管理、数据质量管理、数据存储管理、 数据集成应用管理。通过管理模式中环环相扣的6个环节，实现了胜利采油厂信息的迅速传递 和响应，实现数据管理的协同运作和高质量数据的科学分析。 关键词业务模型标准采集数据质量数据存储集成 1 引言 随着中国石油化工股份有限公司胜利油田有限公司胜利采油厂(以下简称采油厂)信息 化的发展，有越来越多的数据产生，甚至采油厂的核心竞争力也是以某种数据形态而存在 的，或者说数据是采油厂的核心竞争力。 数据中心，它着眼于有效地抽取、综合、集成和挖掘已有数据库的数据资源，满足采油 厂高层领导管理决策分析的需要。所以，长期积累的数据是资源，是财富，更是一个数据中 心的神经中枢。数据的采集和管理是采油厂实现信息化的至关重要的一步，拙劣的数据管理 方式会导致采油厂管理上的失败。 采油厂的信息化建设经过多年的实施和开发应用，形成了一定规模，近几年先后建成了 勘探开发数据库、采油工程数据库、成本管理数据库、生产运行管理数据库、 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 统计数据 库、劳资管理数据库等数据库。这些数据库的建立已在采油厂的生产经营管理中发挥了比较 显著的作用。 但是距离信息化采油厂的数据中心的建设原则还存在一定的差距，重点反映在3个方 面： (1)基础数据不完整(勘探、钻井、测井资料的共享)； (2)受目前条块分割管理模式制约，应用系统建设缺乏统一规划和统一管理，形成多个 “信息孤岛”； (3)数据管理模式不统一。 具体表现在： 现有数据库基本都是各系统、各单位为了本系统或本单位管理工作的需要而设计的，因 此具有条块分隔、独立封闭的明显特征：种类繁多、管理分散、重复录入、数据不完整、设 计不 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 、标准不统一、结构不合理、不能共享、管理和维护困难等。 单位或系统的部分需求满足了，但从采油厂全局看由于缺乏统一规划和科学设计，彼此 不能互联互通，造成信息孤岛；又重复录入和存储彼此都需要的数据，造成数据冗余和兼容 矛盾；更重要的是那些对彼此都不相干的数据无人录入和管理，而管理是宏观的，会造成大 量技术性的微观数据丢失和错误信息的介入。 ．-——432-—-—— 所以，采用战略驱动、面向用户、以信息为中心、基于模型、科学严密的数据管理模式 对提升数据质量，优化数据中心数据来说是绝对必要的。 2总体建设目标 数据管理的最终目标是：利用现代信息技术，形成特性化的数据管理模式，实现采油厂 管辖范围内源头数据齐全准确地采集，通过网络(有线和无线)传辅到采油厂数据管理中心 进行规范化地入库和管理，实现安全地授权共享。在此基础上通过油田数据管理中心的相关 数据·应用一体化的模拟分析软件，对油田从地下到地面的空间目标和系统进行可视化地监 测、诊断、优化和分析，实现及时地科学地决策，规范业务流，整合并优化资金流、物流和 信息流，以提高油田所有资源(包括设备资源、人力资源、地质资源和储量资源)的利用 率，最大限度地降低操作费，提高采收率，强化采油厂的综合竞争力。 3数据管理模式 如何通过信息技术优化数据管理模式、整合现有资源、实现准确信息的迅速传递和响 应．实现数据管理的协同运作和高质量数据的科学分析．推进信息技术改进和品牌提升，是 当前工作的重点方向。我们在海量的数据资源里，经历了反复的实验和探索，构建出一套能 够满足采油厂数据管理实际需要的数据管理模式。如图1所示。 图1 致据管理模式示意圈 优化的数据管理模式是由基于数据中心的6个管理关节的内容构成，包括：业务模型管 理、数据标准管理、数据采集管理、数据质量管理、数据存储管理和数据集成应用管理。这 6个环节既环环相扣，又依据其管理核心内容自成一体。优化的数据管理模式，使我们可以 按照既定方向，控制节奏、分步实施，将数据采集、应用、处理过程中的错误降到了最底 限。 一钉j一 4 数据管理模式总体设计 4．1 项目总体设计思路 信息系统以数据为中心，应用开发是面向数据的，而不应该面向处理过程。我们强调信 息系统建设的高层规划工作是以总体数据规划为中心的总体规划与总体设计。数据管理模式 的设计思路应该：基于数据稳定性原理，根据“自顶向下规划和自底向上设计相结合”的策 略方法，依据“由分散开发向集成化’’的设计思想，以建立健全数据资源管理标准、正确制 定数据库计划和研制新的业务功能模型作为重点，来建立稳定的数据管理模式。 4．2 项目总体设计内容 4．2．1 业务模型管理 没有确定战略性的业务模型就进行任何应用系统的开发，注定是要失败的。确定业务模 型的最好资源是采油厂信息系统的任务、目的、目标、战略和衡量标准，开发人员通过这些 资源及同用户的交流来确定需求。基于数据中心的业务需求是多方面的，用户的需求具有多 样性和不稳定性，所以如何根据不稳定的需求，得到稳定的业务模型结构是奠定科学化的数 据管理模式的基石。 业务模型管理是基于“数据稳定性原理”来实施的，即不论采油厂机构和信息系统环境 如何变动，都可以做到数据结构稳定不变。按这种结构来建立主 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 数据库，各种应用模块直 接存取共享数据库，而不是通过接口相互交换数据，那么就从根本上实现了信息系统的数据 的集成。 业务模型管理主要完成以下3项工作： (1)现有系统分析。 首先要对原有数据库系统加以分析理解，看在原有的数据库系统中“有什么”、“怎样组 织的”和“如何分布的”等，然后再来考虑应当如何建立数据中心系统的业务模型。一方 面，通过原有的数据库的设计文档以及在数据字典中的数据库关系模式，可以对现有的数据 库中的内容有一个完整而清晰的认识；另一方面，数据中心的业务模型是面向采油厂全局建 立的，它为集成来自各个面向应用的数据库的数据提供了统一的概念视图。 (2)界定业务模型边界。 数据中心是面向决策分析的数据库，我们需要考虑一些方向性的需求，如：要做的决策 类型有哪些?决策者感兴趣的是什么问题?这些问题需要什么样的信息?要得到这些信息需 要包含原有数据库系统的哪些部分的数据? 我们可以划定一个当前的大致的系统边界，集中精力进行最需要的部分的开发。界定系 统边界的工作实质上是数据中心系统设计的需求分析，它将决策者的数据分析的需求用系统 边界的定义形式反映出来。 (3)确定主要的主题数据库及其内容。 在这一步中，要确定系统所包含的主题数据库，然后对每个主题数据库的内容进行较明 确的描述，描述的内容包括：主题数据库的公共码键；主题数据库之间的联系。 ．---——434．---—— 4．2．2 数据标准管理 数据标准管理的目标是：力争统一数据元素标准、信息分类编码标准、用户视图标准、 概念数据库标准和逻辑数据库标准，实现对不同版本的数据模式定义和数据内容的版本管 理，以及与其他类型数据模型之间的转换，真正实现信息资源的整合、共享和互动，充分发 挥数据标准管理对数据综合处理的优势。 采油厂目前存在的标准有98库标准、05库标准、源头库标准，我们将不同的标准纳入 统一的管理平台，平台可以实现数据模式校验、数据可视化表示、数据转换和数据移植等多 种功能。 4．2．3数据采集管理 随着新系统的开发，技术文档和设计数据越来越多，如果数据源不能实现统一管理，不 能有效的进行集中采集，将造成数据冗余、重复劳动和资源浪费，无形中降低了工作效率， 增加了数据管理和维护的难度。导致后续的查找、版本更新以及部门间的数据交流都受到了 不同程度的阻碍。 我们执行中国石油化工集团公司胜利石油管理局(以下简称管理局)2004源头数据库 标准，采用管理局2004数据采集系统(可订制的基于XML文件的c／s模式通用数据采集 系统)，进行采油厂各岗位原始数据的采集并做到源头唯一。 对采油厂业务发生源点进行分析，落实各项数据的采集源点，以目前推广的数据采集系 统为平台，一方面进行采集源点的推广覆盖(按照监测、地质、工艺、化验、采油队的次 序，先进行采集软件不完备系统的推广)，另一方面进行源头数据项采集的整合，利用这一 平台，通过完善数据采集管理规定，统一进行采油厂原始数据项的采集管理。保证所有数据 都在源点录入，而不再开设其他的数据入口，并且只进行原始数据项的采集，对于合成数据 项不进行采集。 4．2．4数据存储管理 采油厂数据中心是多种数据库的集成，这些数据从多种数据源获取，经过加工最终成为 用户在一定程度上可以理解的形式，以便用于业务管理工作，这些数据都需要建立稳定的数 据库，有科学的结构，才能有效地存储和使用。为此，必须进行科学的数据存储管理工作。 这一环节所做的工作主要应从以下几方面考虑： (1)确定数据的存储结构。 一个数据库管理系统往往都提供多种存储结构供设计人员选用，不同的存储结构有不同 的实现方式，各有各的适用范围和优缺点，设计人员在选择合适的存储结构时应该权衡3个 方面的主要因素：存取时间、存储空间利用率和维护代价。 (2)确定索引策略。 数据中心的数据量很大，因而需要对数据的存取路径进行仔细的设计和选择。在数据中 心中，我们对各个数据存储建立专用的、复杂的索引，以获得最高的存取效率，因为在数据 中心中的数据是不常更新的，也就是说每个数据存储是稳定的，因而虽然建立专用的、复杂 的索引有一定的代价，但一旦建立就几乎不需维护。 (3)确定数据存放位置。 我们根据数据的重要程度、使用频率以及对响应时间的要求进行分类，并将不同类的数 据分别存储在不同的存储设备中。重要程度高、经常存取并对响应时间要求高的数据就存放 在高速存储设备上，如硬盘；存取频率低或对存取响应时间要求低的数据则放在低速存储设 一4，，一 备上，如磁盘或磁带。 (4)确定存储分配。 依据数据库管理系统提供的存储分配的参数进行物理优化处理，如：块的尺寸、缓冲区 的大小和个数等，以期达到尽可能优化、合理的分配方式。 4．2．5 数据质量管理 采油厂各信息系统中有大量的数据要放人数据中心，而且每天还有成千上万的数据在系 统间流动，其方式可能是数据接口系统，也可能是非结构的Web方式。数据和系统的复杂 性增长很容易造成数据模糊和数据错误，修正这些错误需要将数据中心和数据质量过程融入 应用环境中。 实施数据质量管理的主要环节有： (1)审核规则定义。 部分数据质量过程是以业务规则的形式独立于应用的业务规则资料库中，并被多个应用 共享。定义业务审核规则和数据标准可以确保正确的编码、拼写格式、计算公式等。 (2)数据操作过程。 从操作环境到数据中心的数据迁移以及数据集成过程都是很好的解决数据质量问题的机 会。在这个过程中，最符合逻辑的是在数据源一方，为了解决从多数据源来的数据的完整 性，首先要解决一下数据源应用的数据质量问题，然后再确定数据迁移或数据融合时的数据 兼容性的问题。 (3)角色分配。 组织中分配3个角色负责关注数据质量：业务分析员、数据库管理员、数据管理员。3 个角色分工明确，各司其职，各负其责。 业务分析员了解业务，严格定义业务规则以保证数据质量，这些业务规则包括从采油厂 规范标准到计算公式的一切。 数据库管理员主要关注集成中的错误，负责将数据从操作型环境中导人数据中心。虽然 是，要保证从不同系统集成的进人数据中心的数据在格式、结构和定义上是一致的。 数据管理员，负责日常流程维护，确保每日的工作成功执行，正确的数据源被抽取，用 户查询到正确的数据表等等。 数据库管理员关心数据中心的规范和数据加载，而数据管理员关心的是每天加载程序的 实际执行和数据中心的使用。 高质量数据并非不可达到的目标，关键是要有将数据作为采油厂的战略资源的意识。 (4)质量监控程序。 依据数据管理的方向，开发了一套监控程序来管理数据质量，并随着业务和系统的变化 调整监控和清理流程。 (5)制定《数据采集和管理规范》。 根据《胜利油田有限公司数据采集管理办法》(胜油公司法[20043105号)文件精神， 针对各单位采集源点需求，形成配套采集管理规范，制定了相应的数据采集管理规定共25 个《源头数据采集管理规定》；为确保数据采集质量，分别制定《采油厂内部数据采集管理 考核规定》共7条和《作业数据管理考核管理规定》共7章22条。并对各数据源点入库数 据相应进行定期信息质量检查考核。将信息质量考核纳入全厂质量监督体系，每月进行检查 考核，考核结果与薪酬待遇严密挂钩。每月考核结果编制月度数据采集考核公报。有企管 ．--——436．-——— 科、劳资科进行兑现到三级，三级兑现到源头单位，源头单位兑现到信息采集、审核和监控 人员手中。 数据质量很重要，而数据中心中的数据质量尤其重要，因为数据中心会为其他系统提供 数据，会有传播效应。一个能提供准确、一致、标准数据的数据中心可以使采油厂到达提高 收入和优化成本的双重目标，这将成为采油厂的核心竞争力。 4．2．6数据的应用与维护管理 数据中心的使用过程中，要不断地理解需求，改善系统；不断地考虑新的需求，完善系 统。完善采油厂的体系化环境，不仅包括建立起操作型和分析型的数据环境，还应包括在这 一数据环境中建立起采油厂的各种应用。数据中心装入数据之后，需要进行数据中心的日常 使用和维护管理：一方面，使用数据中心中的数据服务于决策分析的目的，也就是在数据中 心中建立起应用；另一方面，根据用户使用情况和反馈来的新的需求，进一步完善系统，并 管理数据中心的一些日常活动，如刷新数据中心的当前详细数据、将过时的数据转化成历史 数据、清除不再使用的数据、调整粒度级别，如何利用接口定期从操作型环境向数据中心追 加数据，确定数据中心的数据刷新频率等。 应用开发的步骤为： 确定所需的数据一编程抽取数据一合并数据一分析数据一生成最终分析结果报告 5 下步工作方向 为了达到最终优化采油厂数据管理模式，提升“数据中心”质量的目标，下一步的主要 工作有： (1)根据各领域自动数据采集技术的成熟度、安全和投入效益比等因素，综合规划部署 数据自动采集技术实施的部位或领域以及进程安排。 (2)进一步规划网络的安全性和稳定性，合理配置网络带宽。 (3)统一规划、统一标准、统一管理，建设采油厂数据管理中心： ①确保数据录入源头的唯一性，数据录入的实时性、准确性，以及数据链的完整性。 ②做好录入数据的整理和入库，做好数据库的安全管理。 ③为采油厂的各种应用提供快速友好的支持环境和统一的访问界面。 ④按照数据库的管理规程和共享受权，为用户提供实时的按需服务。 (4)建立以勘探开发生产为研究主体的应用中心。基于油田面积大、纵向层位多、生产 历史长、非均质程度高的特点，以及油田进入“三高”的开采现状，为保证胜利采油厂可持 续发展的需要： ①配置大型的功能先进的一体化油藏描述软件，进行精细地质建模，为寻找新的地质储 量和提高老油田的可采储量提供科学的地质基础。 ②配置能够覆盖油藏、井筒和地面系统大型油藏数值模拟软件，为开发 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 和调整方案 的优选、研究剩余油的空间分布以及地质工程钻井技术的优化配置、提高油田采收率提供技 术手段。 ③配置能够对油田生产动态进行监测、诊断、预警和优化的油藏分析管理软件，做到对 油田生产态势能把握现在、预知未来，提高设备利用率和时率，降低操作成本。 (5)建立采油厂规划管理系统，合理调配人力资源，优化配置采油厂的资金流和物流， 一4，7一 科学调对开发生产一线的后勤保障，从而极大地实现成本中心操作费的降低、利润中心盈利 的提高。 (6)建立决策支持环境： ①鉴于油田深埋地下，看不见摸不着；研究的专业又多，一种可视化的技术决策支持环 境是必须的，称为虚拟现实。它类似于常见的汇报决策。通过可视化环境，集成各学科的研 究信息和成果，走进油田，身I临其境地和专家交互式讨论，达到信息和知识的共享，真正实 现决策的科学化、民主化。 ②另一种是管理者日常决策的桌面支持环境，具有个性化的定制界面，使管理者通过采 油厂门户共享油田生产和管理运行动态、应用中心的研究成果和相关社会信息，借助一些决 策工具和经验，对事件或进程进行果断正确地处置或干预。 6 结论 高质量的数据管理，不仅仅是业务层面的需求，而且数据的应用使采油厂用户能够认清 趋势、识别模式、获取洞察力和得出结论，最终为采油厂决策提供完善的应用服务。 通过数据管理模式的建立，使我们从一个全新的角度认识到了数据的应用性：能够展现 历史数据的价值；不仅检索数据，而且用它来规划未来的发展趋势、应用和需求；通过多层 次／多视角查看数据，可以在此基础上制订管理决策和经营决策。 设计数据管理模式上线使用以后，显著提高数据的现代化管理水平，对于数据资源的规 划和协调起了很大的作用，最大程度地提高数据的共享，而使数据冗余度最低，为增强采油 厂应对市场竞争的核心能力打下了坚实的基础。 -—-——438-·-——