元数据管理规范1.0(讨论版)

元数据管理 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 1.0(讨论版) 经营 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 系统元数据管理规范 (讨论稿) 二○○三年十月 1 总则......................................................................................................................... 1 1.6 概述.................................................................................................................. 1 目标.................................................................................................................. 2 适用范围.......................................................................................................... 2 包含附件内容 ................................................................................................. 2 起草单位.......................................................................................................... 3 解释权.............................................................................................................. 3 2 元数据管理规范总体说明 .................................................................................... 4 2.5 规范涉及的元数据标准 ................................................................................. 4 元数据基本框架 ............................................................................................. 6 省级（包括一级经营分析系统）元数据管理架构 ..................................... 7 中央元数据库管理架构 ................................................................................. 8 元数据管理系统拓扑图 ............................................................................... 10 3 经营分析系统核心元数据 .................................................................................. 12 3.1 概述................................................................................................................ 12 3.2 经营分析系统基础层元数据 ....................................................................... 12 3.2.1 概述......................................................................................................... 12 3.2.2 对象模型元数据 .................................................................................... 13 3.2.3 基础元数据 ............................................................................................ 16 3.2.3.1 概述 ..................................................................................................... 16 3.2.3.2 业务信息 ............................................................................................. 17 3.2.3.3 数据类型 ............................................................................................. 19 3.2.3.4 表达式 ................................................................................................. 19 3.2.3.5 主键和索引 ......................................................................................... 20 3.2.3.6 系统部署 ............................................................................................. 21 3.2.3.7 类型映射 ............................................................................................. 23 3.3 经营分析系统数据获取层元数据 ............................................................... 24 3.3.1 概述......................................................................................................... 24 3.3.2 ETL元数据 ............................................................................................... 25 3.4 经营分析系统数据存储层元数据 ............................................................... 30 3.4.1 概述......................................................................................................... 30 3.4.2 数据仓库元数据 .................................................................................... 31 3.4.2.1 关系模型元数据 ................................................................................. 31 3.4.3 数据仓库管理元数据 ............................................................................ 33 3.4.3.1 仓库过程元数据 ................................................................................. 33 3.4.3.2 仓库操作元数据 ................................................................................. 36 3.5 经营分析系统数据访问层元数据 ............................................................... 38 3.5.1 概述......................................................................................................... 38 3.5.2 OLAP元数据 ............................................................................................ 39 3.5.3 数据挖掘元数据 .................................................................................... 41 3.5.4 信息可视化 ............................................................................................ 43 3.6 其他可选元数据 ........................................................................................... 45 4 经营分析系统元数据库存储标准 ...................................................................... 47 4.1 概述................................................................................................................ 47 4.2 元数据库存储标准 ....................................................................................... 47 4.3 备份要求........................................................................................................ 48 4.3.1 省级元数据备份要求 ............................................................................ 48 4.3.2 中央元数据备份要求 ............................................................................ 50 5 省级与集团公司元数据接口规范 ...................................................................... 53 5.11 概述................................................................................................................ 53 集团公司职责 ............................................................................................... 53 各省公司职责 ............................................................................................... 53 各省元数据提交范围 ................................................................................... 54 各省元数据提交规定 ................................................................................... 54 接口文件传输要求 ....................................................................................... 55 省级与集团公司元数据接口文件和描述文件命名方式 ........................... 55 省级元数据接口文件描述文件格式标准 ................................................... 57 省级－中央元数据库CORBA IDL接口 ................................................... 57 省级－中央元数据库XMI接口 ................................................................. 59 校验原则........................................................................................................ 61 6 经营分析系统元数据库接口规范 ...................................................................... 64 6.1 省级元数据库接口 ....................................................................................... 64 6.1.1 概述......................................................................................................... 64 6.1.2 集团公司职责 ........................................................................................ 65 6.1.3 各省公司职责 ........................................................................................ 65 6.1.4 各省元数据接口管理范围 .................................................................... 65 6.1.5 各省元数据XMI接口抽取规定 .......................................................... 66 6.1.6 省级元数据库XMI文件命名规则 ...................................................... 66 6.1.7 省级元数据接口文件描述文件格式标准 ............................................ 68 6.1.8 省级元数据库省级经营分析系统XMI接口内容与格式要求 .......... 68 6.1.9 省级元数据库CORBA IDL接口 ........................................................ 70 6.2 一级经营分析系统元数据库接口 ............................................................... 72 6.2.1 概述......................................................................................................... 72 6.2.2 集团公司职责 ........................................................................................ 73 6.2.3 一级经营分析系统元数据提交范围 .................................................... 73 6.2.4 一级经营分析系统元数据提交规定 .................................................... 74 6.2.5 接口文件传输要求 ................................................................................ 74 6.2.6 一级与集团公司元数据接口文件和描述文件命名方式 .................... 75 6.2.7 一级元数据接口文件描述文件格式标准 ............................................ 75 6.2.8 一级元数据接口文件内容格式标准 .................................................... 76 6.2.9 一级元数据库CORBA IDL接口 ........................................................ 77 6.3 中央元数据库接口 ....................................................................................... 80 6.3.1 概述......................................................................................................... 80 6.3.2 中央元数据接口管理范围 .................................................................... 80 6.3.3 中央元数据库与经营分析系统XMI接口内容与格式要求 .............. 81 6.3.4 中央元数据库CORBA IDL接口 ........................................................ 82 7 经营分析系统元数据管理规定 .......................................................................... 85 7.1 元数据质量要求 ........................................................................................... 85 7.1.1 概述......................................................................................................... 85 7.1.2 本地元数据质量规定 ............................................................................ 85 7.1.3 接口文件数据质量规定 ........................................................................ 86 7.1.4 传输过程元数据质量规定 .................................................................... 87 7.2 元数据管理平台功能说明 ........................................................................... 87 7.2.1 元数据获取 ............................................................................................ 88 7.2.2 元数据检索和浏览 ................................................................................ 89 7.2.3 元数据分析 ............................................................................................ 91 7.2.4 元数据维护 ............................................................................................ 93 7.2.5 权限管理................................................................................................. 94 7.2.6 版本控制................................................................................................. 95 7.2.7 中央元数据管理平台特殊要求 ............................................................ 96 7.3 经营分析系统元数据管理系统应用举例 ................................................... 97 7.3.1 数据时效性探察 .................................................................................... 97 7.3.2 指标和报表元素血缘分析 .................................................................... 98 7.3.3 元数据相关性分析 ................................................................................ 99 元数据涉及到的范围以及与CWM标准对应的对象类，并规定存储依据的标准，建立省级-中央，省级-本地，中央-本地等标准化接口和API接口，最后对元数据质量和元数据管理平台进行规定和说明。 本规范包含有关元数据四个接口规范、一个存储规范（逻辑模型）以及基于元数据库的几类基本应用等内容。各省、自治区、直辖市公司在实施经营分析系统过程中，可根据实际需要以本规范为基础进行扩充与细化，但务必保证核心元数据的内容和接口不能改变。 1.2 目标 本规范目的在于指导各省以及集团公司的元数据建设，由于元数据贯穿经营分析系统始终，在经营分析系统中各个系统元数据比较分散，不利于各省公司以及集团公司的管理，因此制定此规范用于指导约束各省公司的元数据接口、存储、管理。具体而言，目标有如下几点： ? 指导各省公司以及集团公司元数据库和管理平台的建设，规定元数据基 ? 定义经营分析系统元数据管理框架和流程 ? 约束各省公司元数据库接口以及集团公司元数据接口和存储模型 ? 对元数据管理平台提出基本的功能和规定 1.3 适用范围 本规范适用于集团公司元数据管理、一级经营分析系统元数据管理和中国移动各省（直辖市、自治区）经营分析系统元数据管理系统 1.4 包含附件内容 随本规范附件有省级-本地IDL接口定义（省级-本地IDL接口.zip），中央-本地IDL接口定义（中央-本地IDL接口.zip），省级-本地XMI接口定义（省级-本地XMI接口.dtd），中央-本地XMI接口定义（中央-本地XMI接口.dtd），省级 -中央接口定义（省级-中央接口.dtd），一级-中央接口定义（一级-中央接口.dtd）。 包含的参考资料有CWM模型1.1标准（CWM标准.pdf），MOF 1.3标准（MOF标准.pdf），其他的参考资料可以查看www.omg.org上的相关涉及到的内容。 1.5 起草单位 本规范由中国移动通信集团公司负责起草。 1.6 解释权 本规范的增补、修订及解释权属中国移动通信集团公司。 2 元数据管理规范总体说明 2.1 规范涉及的元数据标准 本规范是基于OMG组织的元数据规范CWM 1.1而产生的，在CWM标准之上根据中国移动的本地化需要，在一些细节上进行调整。阅读此规范时，必须参阅CWM模型1.1版本1，该标准中有对于本规范规定的各类详细定义，关联以及属性详细定义进行的细致的说明。 CWM模型是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使得数据仓库和商业智能软件的元数据在分布异构的数据分析工具，数据仓库平台，元数据存储等系统之间交互。目前这个元数据标准得到了IBM、Unisys、NCR、Oracle、SAS等厂商的支持2。CWM模型涉及以下几个国际标准，在元数据管理规范中涉及到的接口、定义默认是遵循下列版本的国际标准： ? CWM 1.1 ? XMI 1.1 ? CORBA IDL（由MOF 1.3产生） ? MOF 1.3 ? UML 2.0 其中UML用来描述元数据模型本身和一些对象元数据，本规范中核心元数据相关的类定义是借助UML语言进行表述的。MOF用来定义元数据存储标准且提供一个良好的CORBA IDL接口，是经营分析系统元数据的存储标准。CORBA IDL是一种基于中间件思想的接口定义语言，它可以支持java，C等流行的编程语言方便、无二义性地访问经营分析系统元数据存储内容。XMI是XML形式的元数据接口定义语言，它是经营分析系统元数据管理体系中元数据默认的1 2 http://www.omg.org/technology/documents/formal/cwm.htm 目前支持的厂商有IBM、Unisys、NCR、Oracle、SAS、Hyperion、UBS、Genesis、Dimension EDI、Deere、Sun、HP、 Data Access、InLine、Aonix、 Hitachi、Meta Integration、Adaptive等 交换文件形式。 CWM标准是本规范制定的重要参考标准，本规范参考的上述国际标准都是围绕着CWM标准而采纳的，CWM标准对于和数据仓库以及商业智能软件的元数据提取，交换，存储，访问提供了一系列的定义和要求。CWM标准涉及到的元数据模型结构如图2-1。 图 2-1 本规范基于CWM标准对象模型层和基础层之上对于经营分析系统中获取层、存储层和访问层中的相关元数据描述和定义，CWM模型和经营分析系统元数据的对应关系如表2-1，相关详细信息参见第三章中的有关内容。 2.3 省级（包括一级经营分析系统）元数据管理架构 省级（包括一级经营分析系统，以下略）元数据管理是以各省元数据库为中心展开，在规范中定义了元数据库的逻辑（对象）模型，其存储标准是按照OMG组织的MOF 1.3标准。图2-3中，经营分析系统各子系统元数据经过转换工具或者API转换为XMI文件或者调用元数据库的CORBA IDL接口将元数据导入各省元数据库。同时，元数据管理工具也可以通过CORBA IDL或者XMI文件的形式将省级元数据库中的元数据内容返回到各系统中，对经营分析系统各子系统的元数据进行调整。图中的转换工具或者API指的是经营分析系统子系统元数据不支持CWM模型情况下，需要进行双向转换，而支持CWM元数据标准的子系统则不需要转换直接和元数据库接口交互。 各省元数据库提供 CORBA IDL接口为本省元数据管理工具提供访问和管理接口，此接口与经营分析系统各子系统和元数据库交互的CORBA IDL接口是相同的，这是由CWM标准本身决定的，这也使得元数据管理工具有能力直接访问某些支持CWM标准的经营分析系统子系统。 各省元数据库与中央元数据库的接口为转换后的XMI文件，这里的转换指的是各省依据CWM标准导出的XMI文件后，需将所有对象名称前加入本省标识。详细步骤参见余后各章。 对于各省元数据管理工具规范提出几种基本需求，各省根据本省情况，在满足基本需求之上进行扩充。 图 2-3 2.4 中央元数据库管理架构 中央元数据库管理架构如图 2-4所示。中央元数据库内容包括各省上报的元数据以及一级经营分析系统元数据。其中各省元数据和中央一级经营分析系统元数据是以XMI文件的形式导入中央元数据库。或者通过调用省级元数据库的CORBA IDL接口直接访问省级元数据库中的内容。 中央元数据库存储标准为MOF 1.3，中央元数据库为元数据管理工具提供CORBA IDL接口，在元数据管理平台上进行元数据管理。由于各省和一级经营分析系统导出XMI文件中的对象是经过编号后存储在中央元数据库中，这样，可在管理工具平台中对于各省不同对象进行分类和处理。 中国移动经营分析系统元数据管理规范 Ｖ１．０ 图 2-4 中国移动经营分析系统元数据管理规范 Ｖ１．０ 2.5 元数据管理系统拓扑图 图 2-5 元数据管理系统拓扑图 元数据管理系统由各省元数据管理系统和中央元数据管理系统组成，省级元数据管理系统和中央元数据管理系统通过网络专线进行连接（蓝色线条）。 省级元数据管理系统由省级元数据抽取服务器、省级元数据管理平台、省级元数据存储服务器、省级元数据存储服务器组成。 ? 省级元数据抽取服务器的主要功能是将符合CWM模型的各经营分析子 系统的元数据（通过XMI文件获取或者通过CWM 兼容CORBA IDL读出）存入省级元数据存储服务器之中（绿色线条），如果有些系统不支持CWM模型则需要通过API或者其他手段获得其元数据并转换为CWM模型格式的元数据存储到省级元数据存储服务器内（红色线条）。有些元数据存储系统是自带元数据抽取功能，那么这部分服务器的功能并入省级元数据存储服务器。 ? 省级元数据存储服务器主要是接受省级元数据抽取服务器提供的元数 据（接受提供XMI文件或者访问元数据存储服务器的CORBA IDL）， 3 经营分析系统核心元数据 3.1 概述 经营分析系统核心元数据指的是经营分析系统中主要系统涉及到的元数据，包括了经营分析系统基础层元数据，经营分析系统获取曾元数据，经营分析系统存储层元数据和经营分析系统数据访问层元数据。 本章所涉及的元数据严格遵循CWM模型1.1标准，包括了CWM模型中两个底层部分的七个包。他们分别是对象层中的对象模型包，基础层中的业务信息包、数据类型包、表达式包、键和索引包、类型映射包和软件发布包。下面根据经营分析系统的需要，定义核心元数据涉及到的范围与标准，本章的相关内容可以参考附件CWM标准.pdf CWM模型1.1标准有关内容。 对于每一个元数据模块内部的元数据范围来讲，目前的范围规定在除临时表，临时变量以外的所有元数据信息，相关的元数据质量要求参见第7章的相关内容。 3.2 经营分析系统基础层元数据 3.2.1 概述 经营分析系统基础层元数据的内容是包括经营分析系统中所有其他元数据共享的表示概念和结构元数据。它包括对象模型和基础元数据两部份，对象模型描述的为每一个元数据元素（对象）的基本结构和相应的类型属性，而基础元数据包括了所有上层（数据获取层、数据存储层，数据访问层）其他元数据包共性的元数据。 本节的相关内容可以参考附件CWM标准.pdf CWM模型1.1标准中第4章与第5章的有关内容。 3.2.2 对象模型元数据 经营分析系统中对象模型元数据对应CWM模型中最底层的对象模型包中的内容。它描述了经营分析系统其他元数据中最基本的元模型的类结构，是所有经营分析系统元数据模型的基础。任何一个元数据模型都是从对象模型衍生出来的。 经营分析系统中的对象模型元数据完全遵循CWM模型，其中的内容可以参看CWM模型1.1标准中的第四章 Object Model有关内容。这里提到的对象模型是UML的一个子集，仅涉及到与CWM模型相关的内容。这部分使得经营分析系统的元数据标准可以在遵循CWM模型的基础上以UML标准进行表述。其主要内容分为四部分：Core Metamodel、Behavioral Metamodel、Relationships Metamodel、Instance Metamodel。其中Core Metamodel是所有其他几个模型的基础，他们之间的关系如图3-1所示： ? Core Metamodel Core Metamodel装载着其它经营分析系统元数据所用的类和关联。它严格遵循CWM模型中对象模型里面Core Metamodel的所有标准。其中所有的类和关系如 图3-2、图3-3所示。其中类和关联的详细定义与约束请参见附件 CWM标 准.pdf CWM模型1.1标准中第4.3节的有关内容。 图 3-2 Core Metamodel 类关系图 参考附件CWM标准.pdf中 figure 4-2 图 3-3 Core Metamodel 支持类关系图参考附件CWM标准.pdf中 figure 4-3 ? Behavioral Metamodel Behavioral Metamodel描述了经营分析系统元数据中其他类和关联的行为类型以及提供一个记录特定行为请求的基础。它严格遵循CWM模型中对象模型里面Behavioral Metamodel的所有标准。其中所有的类和关系如 图3-4所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第4.4节的有关内容 图 3-4 Behavioral 元模型的主类图和类之间关系 ? Relationships Metamodel Relationships Metamodel收集了描述经营分析系统元数据存储中对象和对象之间关系的所有类和关联。它严格遵循CWM模型中对象模型里面Relationships Metamodel的所有标准。CWM模型中Relationships Metamodel描述了两种关系：关联和继承。而CWM模型中的继承关系支持多继承，因此CWM模型的继承结构其实是一个由父节点到子节点的有向无环图。Relationships Metamodel所有的类和关系如 图3-5所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第4.5节的有关内容。 图 3-7 基础元数据结构图 (参考附件 CWM标准.pdf Figure 5-1) 经营分析系统基础元数据中，包与包之间的关系是在不牺牲共有目的的情况下可以单独的使用，例如，如果对于经营分析系统中自主开发某一个支持CWM标准的数据仓库软件时，支持某种编程语言的元数据可能用到数据类型包、表达式包、类型映射包和软件发布包，而键索引和业务信息包就不需要了。对于某一个具体的系统（过程），也只包括和本身系统与周边系统相关的基础元数据，而不需要罗列所有基础元数据中出现的元数据。 3.2.3.2 业务信息 业务信息包给经营分析系统元数据的元素提供了和业务部门（或项目组）方面的信息。这里说的业务部门指的是支持数据仓库和商业智能系统的相关的业务部门或项目组而不是所有移动通信公司的业务部门。业务信息元数据包括： ? 业务部门的名称 ? 联系方法（地址、e-mail、电话） ? 相关离线文档的标识 ? 有关的描述信息 业务部门之间的关系可以通过类之间的关联来表示。经营分析系统业务信息元数据支持部门的层次关系，例如一个部和几个处之间的从属关系可以通过关联关系来表示。 7.1小节关于数据质量和一致性要求中对于经营分析系统的元数据内容（元数据的对象）要求必须具有的确切描述这项元数据内容的Description（每一个具体元数据的业务描述或功能描述）用到本节元数据中的描述一项，同时元数据涉及到的系统负责人或者负责部门的内容利用本节关于ResponsibleParty的内容。具体对于数据质量的要求细节参见7.1小节。 业务信息元数据严格遵循CWM模型中基础元数据里面BusinesssInformation的所有标准。其中所有的类和关系如 图3-8所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第5.3节的有关内容。 图3-8 业务信息主类图 (参考附件 CWM标准.pdf Figure 5-2) 3.2.3.3 数据类型 数据类型元模型提供经营分析系统中建立不同系统需要的数据类型的元数据模型定义。数据类型包严格遵循CWM模型1.1标准中基础模型里面DataTypes包的所有标准。虽然数据类型包自身并不给出任何一种具体的数据类型的定义（它仅是给出定义这些数据类型的元数据的模型），但是大部分常用的数据类型作为数据类型包的具体实例在CWM模型1.1标准中已经给出，具体内容参见附件CWM标准.pdf CWM模型1.1标准中的19章 数据类型的全部内容。 数据类型元模型所有的类和关系如 图3-9所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第5.4节的有关内容。 图3-9 数据类型主类图 (参考附件 CWM标准.pdf Figure 5-5) 3.2.3.4 表达式 表达式元模型提供了定义经营分析系统中所有表达式树的基本支持。表达式包的作用在于为其他所有经营分析系统元数据和管理工具提供一个可以共享的 表达式格式，使得可以让这些表达式在不同的系统中交换和跟踪。表达式元模型所有的类和关系如 图3-10所示。表达式包严格遵循CWM模型1.1标准中基础模型里面Expressions包的所有标准。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第5.5节的有关内容。 图3-10 表达式模型主类图 (参考附件 CWM标准.pdf Figure 5-5) 3.2.3.5 主键和索引 键和索引包是为了方便访问所有经营分析系统数据实例而构造的包。在基础模型中，我们只给出了定义键和索引基本概念的元数据模型，具体的面向某些具体应用的键结构会在面向具体应用的包中给出。例如，关系模型的键和索引结构在这里没有给出完整的定义，这是因为在基础包中所有的元模型是上层系统所共享的，关系模型的键和索引只是一种常见的键和索引结构，但是并不是所有系统（例如XML系统，面向对象系统）通用的键和索引结构，因此具体的关系模型的键和索引将在关系模型包中给出。 键和索引包模型包所有的类和关系如 图3-11所示。本包的所有内容严格遵 ? 数据管理者 ? 数据提供者等 本节内容的元数据需要经营分析系统负责部门进行手工录入，描述经营分析系统各个软件的分布情况以及一个系统分布式的结构等。 系统部署包所有的类和关系如 图3-12所示，有关系统部署中数据接口的类和关联如 图3-13所示。系统部署包严格遵循CWM模型1.1标准中基础模型里面SoftwareDeployment包的所有标准。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第5.7节的有关内容。 图3-12 系统部署主类图 (参考附件 CWM标准.pdf Figure 5-11) 图3-13 系统部署数据接口主类图 (参考附件 CWM标准.pdf Figure 5-12) 3.2.3.7 类型映射 类型映射包的作用在于将不同的系统之间的数据类型一一映射起来。这些映射的目的在于使得不同系统之间可以兼容的数据类型对应起来，从而使得这些系统之间的数据可以进行交换。一对多的映射允许出现在任何一个映射对之间，而且在一对多映射的过程中必须确定一个最适合的类型作为首选。 类型映射包所有的类和关系如 图3-14所示。类型映射包严格遵循CWM模型1.1标准中基础模型里面TypeMapping元模型的所有标准。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第5.8节的 有关内容。 图3-14 类型映射主类图 (参考附件 CWM标准.pdf Figure 5-14) 3.3 经营分析系统数据获取层元数据 3.3.1 概述 经营分析系统三层结构中的数据获取层功能是将数据从数据源经过必要的处理后加载到数据仓库系统中。这个过程主要涉及到ETL的过程本身元数据。ETL的数据源可能是生产系统中的关系数据库，文本文件，XML文件，对象数据库或是经营分析系统中的数据仓库，数据集市等。这些数据源通过ETL过程导入到经营分析系统或在经营分析系统中各系统之间进行转换。本章的元数据主要涉及到和ETL过程相关中的元数据。其实ETL本身并不仅仅出现在数据获取层，在数据存储层、数据展现层只要在经营分析系统中出现由一个数据转换到另一个数据的地方就会出现ETL过程，那么就会有ETL的元数据。例如，在数据挖掘的数据准备过程中也会出现类似ETL的过程，这部分的元数据也必须遵循本章的规定。 ETL的过程是经营分析系统中的核心，因此这部分的元数据必须保证准确，具体的数据质量和一致性约束，参见第7.1小节。 3.3.2 ETL元数据 ETL过程出现在经营分析系统中三层结构中任何一处需要数据转换的地方。这使得ETL元数据比较复杂，而其本质是一种转换的过程。 因此，按照功能分，ETL元数据主要可以分为三部分： ? 数据转换和数据关系 ? 数据分组和执行 ? 特殊的转换关系 一般来讲ETL过程可以分为两种，一种是黑箱操作，一种是白箱操作。前两部分所指的内容主要是面向黑箱操作的，而第三种主要是在前两种的基础之上对白箱操作补充的内容。 ETL包中的数据源或者数据目标需要和相应系统中的元数据一一映射，这些系统的元数据可能是关系模型包中的或者OLAP，多维数据库或者是数据挖掘包中的元数据，他们必须和ETL过程中的元数据进行关联。而ETL包本身也是OLAP，数据挖掘，仓库过程和仓库操作元数据中的内部包，在传递这些包中的元数据内容中不可避免的要传递相应的ETL元数据包中的有关信息。 在经营分析系统中，对于ETL元数据的要求是和最终生成的报表元素（包括由经营分析系统给出的集团公司报表，各省公司报表，各地市公司报表），以及由经营分析系统产生的各分析指标相关的所有ETL过程，必须按照白箱操作的内容把所有的转换源，转换的公式，转换方法和转换目标详细定义和描述等叙述清楚，相应的数据源和数据目标的元数据信息必须关联，其中的元数据质量和一致性约束必须遵循7.1小节的有关内容。 和ETL相关的元数据严格遵循CWM模型1.1标准中ETL元模型的所有标准，相关的定义和内容可以参照附件 CWM标准.pdf CWM 模型1.1标准第10章的有关内容。 下面根据功能三种不同分类进行介绍。 图3-15 ETL数据转换和数据关系主类图 (参考附件 CWM标准.pdf Figure 10-2) 图3-16 ETL数据转换和数据关系主类图2 (参考附件 CWM标准.pdf Figure 10-3) （二） 数据分组和执行 一般在ETL过程中，会把可以并行的导入加载过程分在同一个的逻辑单元，并行的执行这些逻辑单元来提高导入的效率。数据分组和执行部分中主要处理的是转换的分组情况来确定逻辑单元并且处理执行的先后顺序。这些元数据包括内容有： ? 转换加载 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 及其描述 ? 转换的步骤及其描述 ? 转换的行为 ? 转换的先前约束 ? 每一步的先前约束等 在数据分组和执行的有关的类有： ? TransformationTask ? TransformationStep ? TransformationActivity ? PrecedenceConstratint ? TransformationTaskElement ? IverseTransformationTask ? TransformationStepTask， 具体类之间的关系参见图3-15和3-16。而每一个类的详细定义，属性的定义和约束可以参见附件 CWM标准.pdf CWM 模型1.1标准的第10章的内容。 （三）特殊的转换关系 在这部分当中的内容主要是对白箱操作特殊定义的元数据，白箱操作是经营分析系统中最常见的操作，它详细的描述了数据源到目标的转换过程和公式。一般由ETL工具产生的元数据都是白箱操作。这些元数据的内容有： ? 转换的映射图 ? 分类器映射图 ? 属性映射图 ? 分类器属性映射图 ? 分类器映射图源 ? 分类器映射图目标 ? 属性映射图源 ? 属性映射图目标等 和白箱操作有关的元数据类有： ? TransformationMap ? ClassifierMap ? FeartureMap ? ClassifierFeatureMap ? TransformationTree ? ClassifierMapSource ? ClassifierMapTarget ? FeartureMapSource ? FeatureMapTarget ? CFMapClassifier ? CFMapFearture 具体类之间的关系参见CWM 模型1.1标准的第10章有关的类图，而每一个类的定义，属性的定义和约束可以参见附件 CWM标准.pdf CWM 模型1.1标准的第10章的内容。 以上是和ETL有关的元数据，这里只给出主要元数据的内容的大致功能，详细的类定义和属性定义以及关联关系和约束请参见附件 CWM标准.pdf CWM模型1.1标准的有关内容。 在具体执行过程中，有些不支持CWM模型的ETL工具的元数据则需要支持CWM模型的元数据管理工具从其中读出元数据并整理为符合CWM模型的形式进行存储，有关存储要求详见本规范第4章的有关内容。 3.4 经营分析系统数据存储层元数据 3.4.1 概述 经营分析系统中数据存储层元数据主要包括数据仓库和数据集市有关的元数据，目前来讲常用的数据源一般都是关系型，本规范中主要对关系型数据仓库和数据集市的关系描述和维度描述进行定义。在数据仓库管理元数据中，主要对于数据仓库的操作、管理元数据进行定义。 在经营分析系统中还有一些数据的存储不是关系型，例如普通的文件、磁带、XML、对象数据库等等，对于这些数据源的元数据定义在3.5节可选元数据 ? 描述属性数据类型的元数据 ? 描述外键、主键和普通键的元数据 ? 描述索引的元数据 和本节元数据相关的类有： ? Catalog ? CheckConstraint ? Column ? ColumnSet ? ColumnValue ? ForeignKey ? NamedColumnSet ? PrimaryKey ? Procedure ? QueryColumnSet ? Row ? RowSet ? Schema ? SQLDataType ? SQLDistinctType ? SQLIndex ? SQLIndexColumn ? SQLParameter ? SQLSimpleType ? SQLStructuredType ? Table ? Trigger ? UniqueConstraint ? View 整个关系元数据的类之间的关系结构如图3-17所示，这些类具体的定义, 类的内部结构和描述以及相关的属性及其约束详见附件CWM标准.PDF中第6章的内容。本节的元数据严格遵循CWM模型1.1标准中的有关Relational的内容，其中元数据类之间的关系，约束，定义等请参见附件CWM标准.pdf中有关 第6章的内容。 图3-17 关系元数据主类图 (参考附件 CWM标准.pdf Figure 6-1) 3.4.3 数据仓库管理元数据 3.4.3.1 仓库过程元数据 仓库过程元数据描述了经营分析系统数据仓库中执行ETL的一个流程。这个流程可以在每一步ETL活动或者是每一个独立的ETL步骤的高度来存储管理 元数据。一个仓库过程的元数据会通过事件关联到很多ETL的元数据，实际上在经营分析系统中，这些ETL的转换过程是通过数据仓库的触发器来执行的。因此在元数据导入导出时务必需要将数据仓库中的仓库过程元数据和ETL元数据定义对应上，具体的数据质量和一致性要求参见7.1节中的有关内容。 一个数据仓库过程表示一个ETL执行的过程，和ETL过程中的转换活动和转换步骤想对应，这个可以是数据仓库活动或者是数据仓库的步骤组成的。而一个仓库过程可以关联到很多的仓库事件，识别每一个事件都使得一个仓库过程进行初始化。同时一个或多个内部事件也会在仓库过程被终止时激发。 一个仓库事件被分为三种类型：计划型、外部型、内部型。和仓库过程相关的类有： ? CalendarDate ? CascadeEvent ? CustomCalendar ? CustomCalendarEvent ? ExternalEvent ? InternalEvent ? PointInTimeEvent ? ProcessPackage ? RecurringPointInTimeEvent ? RetryEvent ? ScheduleEvent ? WarehouseActivity ? WarehouseEvent ? WarehouseProcess ? WarehouseStep 它们之间的关系和关联如图3-18定义。 图3-18 仓库过程主类图 (参考附件 CWM标准.pdf Figure 15-1) 以上是有关仓库过程的元数据，这里只给出主要仓库过程元数据的大致内容和类，详细的类定义和属性定义以及关联关系和约束请参见附件 CWM标准.pdf CWM模型1.1标准的第15章的有关内容。 这些类的定义和描述，以及类之间的关联关系和约束参见附件CWM标准.pdf中第15章的有关内容。本节有关仓库过程的元数据严格遵守CWM模型 1.1标准中Warehouse Process包的标准，具体类的定义和描述可以参考15章的有关内容。 此外，本节中的元数据将会涉及到ETL过程中的元数据，其中相关联部分的元数据一致性和元数据质量问题请参考7.1节中有关数据质量和一致性的相关规定。 图3-19 仓库操作ETL执行情况主类图 (参考附件 CWM标准 .pdf Figure 16-1) 图3-20 仓库操作度量主类图 (参考附件 CWM标准.pdf Figure 16-2) 图3-20 仓库操作修改请求主类图 (参考附件 CWM标准.pdf Figure 16-3) 3.5 经营分析系统数据访问层元数据 3.5.1 概述 中国移动经营分析系统的数据访问层的主要功能是使经营分析系统使用人员通过报表和图形的方式，简便、快捷地访问经营分析系统中的各种数据并进行各种分析预测操作。这部分的元数据包括OLAP元数据，数据挖掘元数据，信息可视化元数据。 这部分的元数据严格遵循CWM模型的相应标准，目前在经营分析系统中大多数数据存储层和获取层的数据仓库系统都支持CWM模型，可以支持导入导出CWM标准的元数据，而数据访问层中的某些工具软件不能够很好的支持CWM元数据标准，对于这些工具软件可以采用支持CWM标准的元数据管理工具通过API对这些工具的元数据进行读取并转换为符合CWM模型的型式进行储存、交换和访问。 本章的涉及到的元数据严格遵守CWM模型1.1标准，其中涉及到的元数据的详细定义、范围、约束可以参见附件 CWM标准.pdf中第11章，第12章， 第13章的有关内容。 3.5.2 OLAP元数据 OLAP元数据是支持从多个角度对经营分析系统数据进行分析的软件而提供的。OLAP可以通过很多种途径来实现，目前经营分析系统中，大多数OLAP系统都是通过建立在关系型数据库（数据仓库）或者多维数据库之上的OLAP服务器工具来实现逻辑的OLAP结构来支持分析的。数据仓库和ETL部分的数据和元数据和OLAP的都是相关的，一方面OLAP的数据来源于数据仓库，另一方面OLAP展现的数据可以通过ETL的元数据直接查到这些数据来源于哪个生产系统的哪个部分。因此，和OLAP相关联的ETL元数据和数据仓库元数据必须要准确，相关的准确性和一致性要求可以参看7.1节元数据质量要求的有关内容。 经营分析系统基于CWM模型在OLAP元数据方面应该有如下几个特点： ? 为经营分析系统所有的OLAP系统提供了比较通用的OLAP概念 ? 提供一个机制，将OLAP中的元数据内容映射到具体的物理数据源中， 例如映射到关系模型的元数据包或者多维模型（在可选元数据小节中）元数据包里面。 ? 确保逻辑OLAP结构和它所用的数据源统一的特型，也就是通过相应 的ETL包中的元数据来进行OLAP元数据和数据源之间的映射。 ? 基于经营分析系统基础层元数据、获取层元数据和存储层元数据 主要涉及到的类有： ? CodedLevel ? ContentMap ? Cube ? CubeDeployment ? CubeDimensionAssociation ? CubeRegion ? DeploymentGroup ? Dimension ? DimensionDeployment ? Hierarchy ? HierarchyLevelAssociation ? Level ? LevelBasedHierarchy ? Measure ? MemberSelection ? MemberSelectionGroup ? Schema ? StructureMap ? ValueBasedHierarchy 这些类之间的关联关系参见图3-21，本节的涉及到的元数据严格遵守CWM模型1.1标准中OLAP包的所有标准，其中涉及到的元数据的详细定义、范围、约束可以参见附件 CWM标准.pdf中第11章的内容。 图3-22 数据挖掘元数据领域关联图 (参考附件 CWM标准.pdf Figure 12-1) 数据挖掘元数据对与数据挖掘模型提供了一些必要的抽象来为数据挖掘模 型构建比较通的表示，同时除了数据挖掘计划和模型之外其他的一些跨挖掘模型或者挖掘工具的实体（例如分类矩阵）以及它们之间的关系和对技术元数据的映射都包括在数据挖掘元数据的范围之内。 挖掘核心的内容包括了所有数据挖掘的基础并被主要的几个数据挖掘领域 的元数据所复用。而关联规则中存放着描述频繁集、关联规则和序列算法的元数据。监督的元数据中包含了表示监督学习算法框架的元数据，估计，属性重要性和分类包都必须使用这个包的元数据，这个元数据中同时包含了测试和lift计划、结果以及监督算法函数设置常用的一些超类。 在经营分析系统元数据中和数据挖掘相关的类有： ? ApplicationAttribute ? ApplicationInputSpecification ? AssociationRulesSettings ? AttributeUsageRelation ? CategoricalAttribute ? Category ? CategoryHierarchy ? ClassificationSettings ? ClusteringSettings ? CostMatrix ? MiningAttribute ? MiningDataSpecification ? MiningModel ? MiningModelResult ? MiningSettings ? NumericAttribute ? OrdinalAttribute ? RegressionSettings ? StatisticsSettings ? SupervisedMiningModel ? SupervisedMiningSettings 这些类之间的关联关系和每一个类的定义、属性和约束详见附件 CWM标 准.pdf CWM模型1.1标准中第12章的内容，本节的所有的类、关联的定义都严格遵守CWM模型1.1标准中Data Mining包中的有关内容，有关这些内容的详细定义请参见附件中的CWM标准中的详细定义。 3.5.4 信息可视化 经营分析系统中数据是从不同的生产系统通过转换为一个以商业分析决策 为目的的统一的视图。一个稳定而灵活有效地可视化工具是必不可少的。 概括的讲，一个可视化工具的功能就是理解并保留部分数据仓库的逻辑结 构之后，通过用户指定的一种形式将其中的信息表现出来，这种形式可能是报表、网页、饼图等等。这种由带有逻辑结构的信息转换为表示形式之间的过程称为渲染转换。 在经营分析系统中，预定义报表系统和网页系统都属于可视化工具的范围， 出了这些系统以外，还有一些其他的和数据可视化相关的系统。因此，可视化工具的元数据比较庞杂，在这里，我们仅给出一个抽象的定义，也就是定义数据源（渲染对象）和渲染（数据表示的方式）。对于不同的系统，必须对这些类进行实例化，在预定义报表系统中，RenderedObject为报表中的每一项，而RenderedObjectSet就是一张报表，Rendering是不做任何处理。其他的系统也如是，只不过对于经营分析系统中有些Rendering是不做处理，有些是进行图形化的处理而已。 具体的类包括： ? RenderedObject ? RenderedObjectSet ? Rendering ? XSLRendering 它们之间的关系如图 3-23所示： 图3-23 信息可视化主类图 (参考附件 CWM标准.pdf Figure 12-1) 这些类之间每一个类的具体定义、属性和约束详见附件 CWM标准.pdf CWM模型1.1标准中第13章的内容，本节的所有的类、关联的定义都严格遵 守CWM模型1.1标准中Information Visualization包中的有关内容，有关这些内容的详细定义请参见附件中的CWM标准中的详细定义。 本节的涉及到的元数据严格遵守CWM模型1.1标准中Business Nomenclature包的所有标准，其中涉及到的元数据的详细定义、范围、约束可以参见附件 CWM标准.pdf中第14章的内容 3.6 其他可选元数据 在经营分析系统的发展当中，除了上述数据获取层，数据存储层，数据访 问层涉及到的主要元数据之外，有的省级经营分析系统会涉及到其他的系统，例如多维数据库，文件系统，磁带系统，XML文件，对象数据库，还有一些经营分析系统和业务定义的映射机制。因为这些系统不是每一个省所共有的，所以在这里不进行统一的强行规定。目前，也不是必须提交的元数据范围， 当然，随着经营分析系统的发展，这些系统有可能成为经营分析系统的一部分，那么这部分的元数据也会出现在核心元数据当中。 对于当前有这些系统的省，我们对这些元数据的是否管理不做硬性要求， 但是如果该省对这些系统的元数据进行管理，那么相应的标准必须遵守下列标准： 4 经营分析系统元数据库存储标准 4.1 概述 如图2-3所示 元数据由经营分析系统各部分经过各省元数据库接口导入元数据库当进行存储；各省的元数据经过各省到中央元数据接口导入中央元数据库进行存储。各省和中央的元数据库在存储标准上是相同的。这里定义的是逻辑层面上的存储标准而不是实际物理层面的标准，各省和中央元数据库在逻辑层面上所有的元数据库必须遵守本存储规范的规定。 4.2 元数据库存储标准 为了保证经营分析系统各省和中央的元数据的内容可交换性，各省元数据库和中央元数据库采用相同的逻辑存储标准。 首先，在逻辑层，所有的元数据是按照对象的形式存储的。所有的对象的格式必须遵循第三章所定义类的结构和定义（详细的类定义可以参考附件CWM标准.pdf的相关内容）。也就是说这些对象必须是上述类的实例化，对象之间的关联是实际系统中元数据的关联，大部分元数据是系统自动生成，目前在经营分析系统元数据中除了对于3.1.3.2和3.1.3.6节中的元数据需要进行手工输入（对于每一个元数据的描述信息应该是在建立经营分析系统中时进行建立的），其他元数据信息皆为系统自动生成的元数据信息。具体从经营分析系统导入元数据库的操作流程和要求参见6.1小节中的内容。 其次从存储标准方面，所有的对象应当遵循OMG组织的MOF模型1.3标准，这个存储标准可以使得经营分析系统的元数据库无障碍的实现XMI标准和CORBA IDL标准。MOF标准主要定义了几个方面的内容： ? MOF模型的具体说明：包括类、关联、包、数据类型、约束这些结构 ? MOF的IDL映射关系：为每一个元数据的类提供一个元数据对象和一 个元数据类代理，类关联映射为关联进行代理并支持查询和修改，。 ? MOF的抽象映射：这部分描述的非常详细，从逻辑上给出经营分析系 统（遵循CWM模型）的元数据在语义上如何定义，这使得遵循MOF 标准存储经营分析系统元数据可以利用不同的物理存储实现，而提供相 同的语义的元数据。 ? MOF本身的界面接口：这部分是对于IDL的接口集来实现符合MOF 标准的元数据，通过这些接口来访问元数据信息 ? 数据类型：提供普通的非对象型的数据类型（只提供可以在CORBA IDL 中标示的数据类型） ? 约束：提供和其他MOF元模型中元素的语义上的规定 MOF标准定义的只是逻辑上的标准，而不是物理上的标准，经营分析系统元数据通过CWM定义遵循MOF标准存储所有的元数据对象，并基于MOF标准提供XMI服务和CORBA IDL接口。在物理上，可以采用对象数据库，关系数据库，甚至XMI文件等进行存储，但前提是必须遵循MOF定义的标准（也就是存的对象信息的标准）提供CORBA IDL接口，可以输入输出XMI文件。有关MOF技术上的详细信息，请参见附件00-04-03.pdf MOF标准 1.3 的有关内容。 4.3 备份要求 4.3.1 省级元数据备份要求 和经营分析系统其他数据不同，元数据是经营分析系统的核心数据，数据量不大，因此对于省级元数据库的所有内容进行定期和不定期的全部内容备份，全部内容是指第三章所描述的核心元数据的所有内容以及各省自己根据实际情况所管理的元数据。 定期备份指的是经营分析系统元数据库每月，当月15日后（含15日）第 一个工作日进行定期备份，备份的方式以及命名各省根据实际情况自行制定，每次备份必须加入说明性信息，备份存放时间为永久存放。 不定时备份指的在经营分析系统发生重大变化前进行备份，每次备份必须加入说明性信息，备份的方式以及命名各省根据实际情况自行制定，具体内容包括： ? 经营分析系统外部生产系统（BOSS系统等）发生变化，经营分析系统 相应需要进行修改前，存放时间为永久保存。 ? 经营分析系统内部系统（包括元数据管理存储系统）进行大型的调整前， 例如系统改变，数据仓库逻辑、物理模型变化，涉及到KPI的ETL过程修改，新增数据挖掘模型，修改、新增超过40个涉及到核心元数据中相应元数据对象的操作之前。备份存放时间为永久保存。 ? 系统硬件更换之前，经营分析系统遭遇可能的破坏之前（例如停电、自 然灾害等）备份存放时间为自不定时备份时间起，下次完整备份之后为止。 ? 各省自行安排的备份时间，存放时间各省独立安排。 关于备份说明信息的规定： ? 如果为XMI备份，相应说明内容如下： MD5校验码采用32位对XMI文件生成的MD5码，具体的MD5算法参见 5.5节的MD5算法。 ? 其他备份方式，说明文件格式如下： 4.3.2 中央元数据备份要求 中央元数据备份的范围包括所有中央元数据库的内容（包括各省和一级经营分析系统的元数据），备份策略采取定时备份和不定时备份两种。 定时备份指的是每季度初第一个工作日对所有中央元数据库进行完整备份，备份保留的时间为永久保留，备份方式为所有元数据备份为XMI文件或者元数据库备份的型式，每次备份必须加入说明性信息。 如果为XMI文件备份，XMI备份文件命名格式如下： ? Eyyyymmdd.XMI XMI文件名，其中E为大写字母e，表示此备份为 定时备份。yyyy为年（4位有效数字），mm为月（2位有效数字），dd为日（2位有效数字）。XMI为XML元数据交换文件的后缀名。 XMI的内的文件格式参见6.3.2节集团公司元数据备份XMI接口的相关内容。 说明文件命名格式如下： ? Eyyyymmddkkkk.TXT XMI相应说明的文件名，其中E为大写字母e， 表示此备份为定时备份。yyyy为年（4位有效数字），mm为月（2位有效数字），dd为日（2位有效数字）。本文件为描述此次备份的纯文本 MD5校验码采用32位对XMI文件生成的MD5码，具体的MD5算法参见 5.5节的MD5算法。 ? 其他备份方式，说明文件格式如下： 5 省级与集团公司元数据接口规范 5.1 概述 本接口规范目的在于搭建各省经营分析系统元数据管理系统和集团公司元数据管理系统的数据桥梁，是集团公司考察各省公司经营分析系统元数据的重要手段。 本接口规范由中国移动通信集团公司负责起草，使用范围为各省元数据库与集团公司元数据库接口，一级经营分析系统与集团公司元数据库接口，本接口规范的增补、修订及解释权属中国移动通信集团公司。 本规范规定接口内容格式，文件编排，明确接口双方的责任与义务，确定接口数据的验证规则，对接口双方起约束和指导作用。 5.2 集团公司职责 ? 负责对各省提交的接口文件进行接收并备案归档。 ? 负责监督各省公司接口管理工作，并对各省公司接口工作的情况进行备 案并定期通报全国。 ? 负责各省公司的接口定义内容，格式，方式。 ? 负责接口规范的制定和版本升级，负责接口规范中接口数据单元和属性 的标识、编码和定义。 ? 负责对各省公司接口的实施（包括以下省公司的职责落实情况）提出考 核办法，进行考核评比。 5.3 各省公司职责 ? 按照集团公司的要求完成经营分析系统元数据库接口的各种工作。 ? 负责按照集团公司的接口管理的要求，制定接口实施的管理办法，按本 规范的规定提交元数据内容，并确保提交数据内容的一致性和准确性，对于元数据质量要求参见7.1节详细内容。 ? 负责配合集团公司对于接口管理实施情况的考核。 5.4 各省元数据提交范围 各省经营分析系统元数据提交的范围为各省经营分析系统元数据库中的核心元数据和与核心元数据密切相关的可选元数据（例如，两个涉及到核心元数据的系统之间是通过涉及到可选元数据系统进行转换的）。 5.5 各省元数据提交规定 各省公司负责定期和不定期按照本接口规范的要求提交各省元数据接口文件，每次提交必须加入说明性信息，其内容格式和命名标准参见后面小节。 其中定期提交指的是每月月末最后一个工作日，提交元数据接口文件至集团公司。 不定期提交指的是本省经营分析系统发生重大变化之后进行提交备案，具体时间包括是指： ? 省级（或者一级）经营分析系统外部生产系统（BOSS系统等）发生变 化，经营分析系统相应需要进行修改完成，稳定运行后的第一个工作周之内。 ? 省级（或者一级）经营分析系统内部系统（包括元数据管理存储系统） 进行大型的调整后，例如系统改变，数据仓库逻辑、物理模型变化，涉及到KPI的ETL过程修改，新增数据挖掘模型；修改、新增超过40个涉及到核心元数据中相应元数据对象的操作完成，稳定运行后的第一个工作周之内。 ? 集团公司临时调用省级元数据时。 集团公司对负责接受各省（或者一级）经营分析系统提交的元数据接口文件，进行交验，交验合格后对接口文件和描述文件进行备案归档，进行永久型存储。 5.6 接口文件传输要求 通过文件传输传送到指定的位置或直接存放到指定的位置。具体要求包括： ? 支持同一主机内对指定设备存储 目录 工贸企业有限空间作业目录特种设备作业人员作业种类与目录特种设备作业人员目录1类医疗器械目录高值医用耗材参考目录 位置的文件获取。 ? 支持网络模式传输，可以实现跨越局域网络平台的文件获取，并支持文 件重传功能。 ? 网络传输方式应支持对通信机的IP地址、帐户、口令、存取目录的验 证，在网络进行传输中是进行必要的加密机制。 传输机制必须保证下列条件： ? 实时、高效和安全可靠地传送数据； ? 断点续传功能； ? 数据压缩传输； ? 传输过程中的差错控制； ? 安全保密。 5.7 省级与集团公司元数据接口文件和描述文件命名方 ? 省级与中央元数据接口文件命名规则如下： Ippppppyyyymmdd.XMI其中I表示此文件为省级和集团公司接口文件，pppppp为省代码（有效数字6位），省编码参见表5-1，yyyy为年（4位有效数字），mm为月（2位有效数字），dd为日（2为有效数字）。 ? 省级与中央元数据接口描述文件命名规则如下： Ippppppyyyymmdd.TXT其中I表示此文件为省级和集团公司接口文件， 5.8 省级元数据接口文件描述文件格式标准 对于接口文件的描述文件为编码为GB-2321的纯文本文件，文件内容包括： 5.9 省级－中央元数据库CORBA IDL接口 省级－中央元数据库CORBA IDL接口主要是为了中央元数据管理系统同API的方式抽取或者访问各省元数据内容而制定的，其内容其实和6.1.9中各省元数据本身的CORBA IDL接口是同一个接口，这里首先提出强调各省元数据库严格遵守本接口规定。 本接口提供了核心元数据以及可选元数据的元数据库访问接口，接口描述语言为CORBA IDL，这是一种通用的接口语言，通过CORBA IDL可以无二异性为JAVA，C++等语言提供API接口。 本接口规范根据核心元数据和可选元数据的不同包的内容，如果各省没有实现可选元数据的内容则可以不提供相应接口，但是，如果实现了可选元数据的内容部分必须遵循本接口规范定义的内容。接口定义共分为28个不同的CORBA IDL文件，在元数据管理工具或者转换工具访问相应的元数据内容时，根据需要加载不同的接口定义文件即可访问元数据库相应的内容。接口文件和经营分析系统元数据的对应关系如表6-3： 表 6-3 CORBA IDL接口定义与元数据的对应关系 这些接口定义了元数据库的接口形式，并为中央元数据管理系统提供可以访问的统一接口，在使用本接口规范时，参看第三章对于元数据库中元数据内容的相应章节。具体的接口定义文件，参见随本规范下发的中央-省级IDL接口.zip中的28个接口定义文件。 5.10 省级－中央元数据库XMI接口 根据MOF标准，各省元数据以对象的形式存在于各省元数据库当中，当提交至集团公司时，应将元数据库中的对象信息进行转换，并存储为 XMI文件的形式进行提交。本节所要求的XMI文件符合XMI 1.1标准并遵循CWM模型1.1标准，但其内容为CWM模型的子集，DTD也为CWM模型DTD的子集，省级元数据库中元数据的实体内容需要进行重新编码转换为XMI接口文件，详细要求如下： ? XMI文件是以XML形式来表示元数据的文件，其格式由随本规范下发 的 省级-中央接口.dtd定义。 其中需要说明的是，省级-中央接口.dtd给出的未包括可选元数据的内容的XMI文件格式，如果省公司经营分析系统的元数据有某些可选元数据和核心元数据密切相关，则这些元数据也需要纳入到接口文件中，这些数据的接口文件格式定义参见 省级-本地XMI.dtd 中相对于可选元数据的DTD定义。核心元数据和XMI文件格式定义DTD中的对应如5-2表，可选元数据XMI文件格式定义参见6.1.8节的有关内容。 5-2表 XMI文件内容各部分与经营分析系统元数据的对应关系 DTD定义中除XMI.*的定义内容是XMI自带的信息，需要根据相应的描述进行填写或者系统自动生成之外，其他的内容定义均和第三章定义的经营分析系统元数据中的类一一对应，可以参照CWM模型1.1标准中的类和属性与DTD中同名的类和属性一一映射，将元数据库中的对象保存为XMI文件。 ? XMI文件的内容是和元数据库中的元数据一一映射，并在对象的名称 前加入各省的省编码并加西文下划线“_”以进行区分，各省编码参考表5-1中的内容。例如，河北省经营分析系统关系元数据中有一个Table类的对象名称为tablex，那么在导入XMI的过程中，这个对象的名称将会变为311000_tablex，因此在XMI文件中这个对象的名称为311000_tablex，原先和此表相关的指向也会变为311000_tablex。 ? 注意各省提交的XMI文件中有关每一个元数据对象的描述信息必须遵 守7.1小节的有关规定。 具体过程如下： /* 处理数据原文 */ For i = 0 to N/16-1 do /*每一次，把数据原文存放在16个元素的数组X中. */ For j = 0 to 15 do Set X[j] to M[i*16+j]. end /结束对J的循环 /* Save A as AA, B as BB, C as CC, and D as DD. */ AA = A BB = B CC = C DD = D /* 第1轮*/ /* 以 [abcd k s i]表示如下操作 a = b + ((a + F(b,c,d) + X[k] + T[i]) <<< s). */ /* Do the following 16 operations. */ [ABCD 0 7 1] [DABC 1 12 2] [CDAB 2 17 3] [BCDA 3 22 4] [ABCD 4 7 5] [DABC 5 12 6] [CDAB 6 17 7] [BCDA 7 22 8] [ABCD 8 7 9] [DABC 9 12 10] [CDAB 10 17 11] [BCDA 11 22 12] [ABCD 12 7 13] [DABC 13 12 14] [CDAB 14 17 15] [BCDA 15 22 16] /* 第2轮* */ /* 以 [abcd k s i]表示如下操作 a = b + ((a + G(b,c,d) + X[k] + T[i]) <<< s). */ /* Do the following 16 operations. */ [ABCD 1 5 17] [DABC 6 9 18] [CDAB 11 14 19] [BCDA 0 20 20] [ABCD 5 5 21] [DABC 10 9 22] [CDAB 15 14 23] [BCDA 4 20 24] [ABCD 9 5 25] [DABC 14 9 26] [CDAB 3 14 27] [BCDA 8 20 28] [ABCD 13 5 29] [DABC 2 9 30] [CDAB 7 14 31] [BCDA 12 20 32] /* 第3轮*/ /* 以 [abcd k s i]表示如下操作 a = b + ((a + H(b,c,d) + X[k] + T[i]) <<< s). */ /* Do the following 16 operations. */ [ABCD 5 4 33] [DABC 8 11 34] [CDAB 11 16 35] [BCDA 14 23 36] [ABCD 1 4 37] [DABC 4 11 38] [CDAB 7 16 39] [BCDA 10 23 40] [ABCD 13 4 41] [DABC 0 11 42] [CDAB 3 16 43] [BCDA 6 23 44] [ABCD 9 4 45] [DABC 12 11 46] [CDAB 15 16 47] [BCDA 2 23 48] /* 第4轮*/ /* 以 [abcd k s i]表示如下操作 a = b + ((a + I(b,c,d) + X[k] + T[i]) <<< s). */ /* Do the following 16 operations. */ [ABCD 0 6 49] [DABC 7 10 50] [CDAB 14 15 51] [BCDA 5 21 52] [ABCD 12 6 53] [DABC 3 10 54] [CDAB 10 15 55] [BCDA 1 21 56] [ABCD 8 6 57] [DABC 15 10 58] [CDAB 6 15 59] [BCDA 13 21 60] [ABCD 4 6 61] [DABC 11 10 62] [CDAB 2 15 63] [BCDA 9 21 64] /* 然后进行如下操作 */ A = A + AA B = B + BB C = C + CC D = D + DD end /* 结束对I的循环*/ 6、输出结果。 中国移动经营分析系统元数据管理规范 Ｖ１．０ 6 经营分析系统元数据库接口规范 6.1 省级元数据库接口 6.1.1 概述 本接口规范目的将省级经营分析系统中各子系统的核心元数据完整、准确的提取至省级元数据库当中进行统一管理，是经营分析系统元数据管理系统元数据获取的重要手段。 本接口分为两个部分，省级XMI接口和省级CORBA IDL接口。省级XMI接口是为了经营分析系统的各系统与省级元数据交换数据进行设计的，其内容为符合XML 1.0标准的文法，是CWM模型在XMI 1.1标准中的表达方式。省级CORBA IDL标准是为了经营分析系统元数据管理工具或者经营分析系统元数据的加载转换工具直接访问省级元数据库而设计的，它是遵循CORBA 2.0标准设计的，目的在于可以屏蔽语言的差异性而直接访问／修改元数据库中的信息。这两个接口内不仅包括了核心元数据的接口同时含有可选元数据的接口，在使用时，在保证核心元数据的正确性和完整性之外，各省根据各省经营分析系统的实际情况选择相应的可选元数据接口进行交互。 本接口规范由中国移动通信集团公司负责起草，使用范围为各省元数据库与各省经营分析系统之间接口，本接口规范的增补、修订及解释权属中国移动通信集团公司。 本规范规定接口内容格式，文件编排，确定接口数据的验证规则和接口文件的描述信息，对省级元数据库接口起指导作用。 中国移动经营分析系统元数据管理规范 Ｖ１．０ 6.1.2 集团公司职责 ? 负责监督各省公司接口管理工作，并对各省公司接口工作的情况进行备 案并定期通报全国。 ? 负责各省公司的接口定义内容，格式，方式。 ? 负责接口规范的制定和版本升级，负责接口规范中接口数据单元和属性 的标识、编码和定义。 ? 负责对各省公司接口的实施（包括以下省公司的职责落实情况）提出考 核办法，进行考核评比。 6.1.3 各省公司职责 ? 按照集团公司的要求完成经营分析系统与元数据库接口的各种工作。 ? 负责按照集团公司的接口管理的要求，制定接口实施的管理办法，负责 按本规范规定通过接口收集有关的元数据内容，并确保提交数据内容的 一致性和准确性，对于元数据质量要求参见7.1节详细内容。 ? 负责配合集团公司对于接口管理实施情况的考核。 6.1.4 各省元数据接口管理范围 各省经营分析系统XMI接口的管理范围为各省经营分析系统各系统中核心元数据部分以及和核心元数据紧密相关的可选元数据部分（例如，两个涉及到核心元数据的系统之间是通过涉及到可选元数据系统进行转换的，此部分的可选元数据为和核心元数据密切相关的），详细定义参见本章后面XMI接口的详细描述部分。此部分的元数据必须通过本接口抽取至各省元数据库中进行管理。其他可选元数据可以根据各省的实际情况进行管理，进行管理的可选元数据必须通过本规范相应的接口进行管理。 各省元数据库CORBA IDL接口的管理范围为各省元数据库已有的核心元数据与可选元数据，此接口是各省元数据管理工具访问元数据库的标准接口， 参见表6-1），aa表示省内对于某个系统内部子系统的内部标码（由各省自行定义，有效数字），yyyy为年（4位有效数字），mm为月（2位有效数字），dd为日（2为有效数字）。 ? 省级与中央元数据接口描述文件命名规则如下： Lxxaayyyymmdd.TXT其中L表示此文件为省级元数据库本地接口文件，xx表示属于出自那个系统的元数据（注意，与XMI文件内容无关，参见表6-1），aa表示省内对于某个系统内部子系统的内部标码（由各省自行定义，有效数字2位）， yyyy为年（4位有效数字），mm为月（2位有效数字），dd为日（2为有效数字）。其内容为描述接口文件的纯文本文件，内容和格式参见下一小节。 表 6-1 省级经营分析元数据库 ? 表中标码只是表示元数据的出自的源系统，而不是指的元数据的内容，一个源系 统可能存在一种以上的元数据，例如数据挖掘系统可能包括相应的有数据源到数据挖掘系统中的ETL元数据和数据挖掘本身的元数据。 例： L100120031031.XMI是某省2003年10月31日由ETL系统中01子系统导出，到省级元数据库的接口文件，而L100120031031.TXT 为相应的接口说明文件。 6.1.7 省级元数据接口文件描述文件格式标准 对于省级接口文件的描述文件为编码为GB-2321的纯文本文件，文件内容包括： 6.1.8 省级元数据库省级经营分析系统XMI接口内容 与格式要求 各省经营分析系统通过XMI文件或者CORBA IDL接口和省级元数据库进行交互。本节描述的是省级元数据库和经营分析系统子系统的XMI接口的格式和内容要求。 各省经营分析系统支持或兼容CWM模型的子系统都可以直接从子系统中直接导出符合CWM标准的XMI文件，这些文件默认状态下符合本节所规定的文件格式，可直接导入遵循CWM模型1.1标准的元数据管理工具中。不符合CWM模型的子系统需要通过元数据转换工具通过API或者其他方式访问经营分析系统子系统中的元数据，然后通过本章描述的CORBA IDL接口访问省级元数据库。 本节所要求的XMI文件符合XMI 1.1标准并遵循CWM模型1.1标准，其中可选元数据部分在DTD定义文件中标定了可选内容，因此不需要进行删除。XMI文件的格式和内容的详细要求如下： ? 省级与经营分析系统中元数据XMI接口文件是以XML形式来表示元 数据的文件，其格式由随本规范下发的 省级-本地接口.dtd定义说明。 其中需要说明的是，省级-本地XMI接口.dtd给出的包括可选元数据的内容的XMI文件格式，但在DTD定义中选项为可选，因此如果不需要可选元数据的也可以使用 省级-本地接口.dtd定义的内容对核心元数据进行约束。 如果省公司经营分析系统的元数据有某些可选元数据和核心元数据密切相关，则这些元数据也需要纳入到接口文件中，这些数据必须遵守本 省级- 本地.dtd 所定义的内容。本数据格式定义文件DTD中 的内容与经营分析系统元数据的对应如5-2表。 表6-2 XMI文件内容各部分与经营分析系统元数据的对应关系 DTD定义中除XMI.*的定义内容是XMI自带的信息，需要根据相应的描述进行填写或者系统自动生成之外，其他的内容定义均和第三章定义的经营分析系统元数据中的类一一对应，可以参照第三章与CWM模型1.1标准中的类和属性与DTD中同名的类和属性一一映射，将元数据库中的对象保存为XMI文件。 ? XMI文件的内容是经营分析系统各子系统中除系统自动生成的临时表， 临时变量需要进行屏蔽外，其他的所有核心元数据或与核心元数据密切相关的可选元数据。除涉及到核心元数据的元数据必须读取之外，其他的可选元数据各省可以根据自己情况进行选取。接口文件的格式必须遵循本规范所规定的内容。 6.1.9 省级元数据库CORBA IDL接口 各省元数据库的XMI接口主要用来和经营分析系统子系统进行元数据交换或者进行备份时使用的，而省级元数据库CORBA IDL接口主要是为元数据管理工具和中央元数据管理系统提供访问接口，并为一些不支持CWM模型的子系统进行元数据转换时提供访问和写入接口。 表 6-3 CORBA IDL接口定义与元数据的对应关系 这些接口定义了元数据库的接口形式，也为元数据管理工具和其他相关工具访问元数据库定义了统一的接口。在使用本接口规范时，参看第三章对于元数据库中元数据内容的相应章节。具体的接口定义文件，参见随本规范下发的省级-本地IDL接口.zip中的28个接口定义文件。 6.2 一级经营分析系统元数据库接口 6.2.1 概述 本接口规范目的在于搭建一级经营分析系统元数据管理系统和集团公司元数据管理系统的数据桥梁，是集团公司访问一级经营分析系统元数据的重要手 本接口规范由中国移动通信集团公司负责起草，使用范围为各省元数据库与集团公司元数据库接口，一级经营分析系统与集团公司元数据库接口，本接口规范的增补、修订及解释权属中国移动通信集团公司。 本规范规定接口内容格式，文件编排，明确接口双方的责任与义务，确定接口数据的验证规则，对接口双方起约束和指导作用。 6.2.2 集团公司职责 ? 负责对一级经营分析系统提交的接口文件进行接收并备案归档。 ? 负责监督一级经营分析系统接口管理工作。 ? 负责一级经营分析系统和集团公司元数据管理系统接口定义内容，格 式，方式。 ? 负责接口规范的制定和版本升级，负责接口规范中接口数据单元和属性 的标识、编码和定义。 ? 负责按照一级经营分析系统和集团元数据管理系统接口管理的要求，制 定接口实施的管理办法，按本规范的规定提交元数据内容，并确保提交 数据内容的一致性和准确性，对于元数据质量要求参见7.1节详细内容。 6.2.3 一级经营分析系统元数据提交范围 一级经营分析系统元数据提交的范围为一级经营分析系统元数据库中的核心元数据和与核心元数据密切相关的可选元数据（例如，两个涉及到核心元数据的系统之间是通过涉及到可选元数据系统进行转换的）。对于一级经营分析系统中系统自动生成的临时表，临时变量要进行屏蔽。 6.2.4 一级经营分析系统元数据提交规定 一级经营分析系统需要定期和不定期按照本接口规范的要求提交元数据接口文件，每次提交必须加入说明性信息，其内容格式和命名标准参见后面小节。 其中定期提交指的是每月月末最后一个工作日，提交元数据接口文件至集团元数据管理系统。 不定期提交指的是一级经营分析系统发生重大变化之后进行提交备案，具体时间包括是指： ? 经营分析系统外部生产系统（BOSS系统等）发生变化，一级经营分析 系统相应需要进行修改，修改完成后稳定运行后的第一个工作周之内。 ? 一级经营分析系统内部系统（包括元数据管理存储系统）进行大型的调 整前，例如系统改变，数据仓库逻辑、物理模型变化，涉及到KPI的ETL过程修改，新增数据挖掘模型；修改、新增超过40个涉及到核心 元数据中相应元数据对象的操作完成，稳定运行后的第一个工作周之 集团元数据管理系统对接收一级经营分析系统提交的元数据接口文件，进行交验，交验合格后对接口文件和描述文件进行备案归档，进行永久型存储。 6.2.5 接口文件传输要求 通过文件传输传送到指定的位置或直接存放到指定的位置。具体要求包括： ? 支持同一主机内对指定设备存储目录位置的文件获取。 ? 支持网络模式传输，可以实现跨越局域网络平台的文件获取，并支持文 件重传功能。 ? 网络传输方式应支持对通信机的IP地址、帐户、口令、存取目录的验 证，在网络进行传输中是进行必要的加密机制。 传输机制必须保证下列条件： ? 实时、高效和安全可靠地传送数据； ? 断点续传功能； ? 数据压缩传输； ? 传输过程中的差错控制。 6.2.6 一级与集团公司元数据接口文件和描述文件命 ? 一级与中央元数据接口文件命名规则如下： I100001yyyymmdd.XMI其中I表示此文件为一级和集团公司接口文件，100001为一级经营分析系统代码（有效数字6位），yyyy为年（4位有效数字），mm为月（2位有效数字），dd为日（2为有效数字）。 ? 一级与中央元数据接口描述文件命名规则如下： I100001yyyymmdd.TXT其中I表示此文件为一级和集团公司接口文件，100001为一级经营分析系统代码（有效数字6位）， yyyy为年（4位有效数字），mm为月（2位有效数字），dd为日（2为有效数字）。其内容为描述接口文件的纯文本文件，内容和格式参见6.2.7小节。 6.2.7 一级元数据接口文件描述文件格式标准 对于接口文件的描述文件为编码为GB-2321的纯文本文件，文件内容包括： 6-4表 XMI文件内容各部分与经营分析系统元数据的对应关系 DTD定义中除XMI.*的定义内容是XMI自带的信息，需要根据相应的描述进行填写或者系统自动生成之外，其他的内容定义均和第三章定义的经营分析系统元数据中的类一一对应，可以参照CWM模型1.1标准中的类和属性与DTD中同名的类和属性一一映射，将元数据库中的对象保存为XMI文件。 ? XMI文件的内容是和元数据库中的元数据一一映射，并在对象的名称 前加入一级经营分析编码“100001”并加西文下划线“_”以进行区分，例如，一级经营分析系统关系元数据中有一个Table类的对象名称为tablex，那么在导入XMI的过程中，这个对象的名称将会变为100001_tablex，因此在XMI文件中这个对象的名称为100001_tablex，原先和此表相关的指向也会变为100001_tablex。使得在集团元数据管理工具中一级经营分析系统元数据区别于其他省的元数据。 6.2.9 一级元数据库CORBA IDL接口 一级元数据库的XMI接口主要用来和经营分析系统子系统进行元数据交换或者进行备份时使用的，而一级元数据库CORBA IDL接口主要是为元数据管理工具和中央元数据管理系统提供访问接口，并为一些不支持CWM模型的子 中国移动通信集团公司 - 77 - 系统进行元数据转换时提供访问和写入接口。 本接口提供了核心元数据以及可选元数据的元数据库访问接口，接口描述语言为CORBA IDL，这是一种通用的接口语言，通过CORBA IDL可以无二异性为JAVA，C++等语言提供API接口。不符合CWM模型的子系统需要通过元数据转换工具通过API或者其他方式访问经营分析系统子系统中的元数据，然后通过本节描述的CORBA IDL接口访问一级经营分析的元数据库。 本接口规范根据核心元数据和可选元数据的不同包的内容，分为28个不同的CORBA IDL文件，在元数据管理工具或者转换工具访问相应的元数据内容时，根据需要加载不同的接口定义文件即可访问元数据库相应的内容。接口文件和经营分析系统元数据的对应关系如表6-5： 中国移动通信集团公司 - 78 - 表 6-5 CORBA IDL接口定义与元数据的对应关系 这些接口定义了元数据库的接口形式，也为元数据管理工具和其他相关工具访问元数据库定义了统一的接口。在使用本接口规范时，参看第三章对于元数据库中元数据内容的相应章节。具体的接口定义文件，参见随本规范下发的一级-本地IDL接口.zip中的28个接口定义文件。 中国移动通信集团公司 - 79 - 6.3 中央元数据库接口 6.3.1 概述 本接口规范目的为中央元数据库提供数据访问接口，本接口分为两个部分，中央元数据库XMI接口和中央元数据库CORBA IDL接口。 中央XMI接口是各省提交的接口文件的输入接口也是中央元数据库XMI文件格式备份接口，其内容为与省级到中央的接口的超集，它定义了核心元数据的格式定义和可选元数据的核心元数据接口。中央CORBA IDL标准是为了经营分析系统元数据管理工具或者直接访问中央省级元数据库而设计的，它是遵循CORBA 2.0标准设计的，目的在于可以屏蔽语言的差异性而直接访问／修改元数据库中的信息。 本接口规范由中国移动通信集团公司负责起草，使用范围为各省元数据库与各省经营分析系统之间接口，本接口规范的增补、修订及解释权属中国移动通信集团公司。 本规范规定接口内容格式，文件编排，确定接口数据的验证规则和接口文件的描述信息，对中央元数据库接口与接收规则起指导作用。 6.3.2 中央元数据接口管理范围 中央经营分析系统元数据库XMI接口的管理范围为中央元数据库中的所有元数据，包括核心元数据与可选元数据，详细定义参见本章后面XMI接口的详细描述部分。 中央元数据库CORBA IDL接口的管理范围为中央元数据库中的所有元数据，此接口是中央元数据管理工具访问元数据库的标准接口，中央元数据库中的所有内容必须可以通过本接口进行访问。 中国移动通信集团公司 - 80 - 表6-6 XMI文件内容各部分与经营分析系统元数据的对应关系 ? DTD定义中除XMI.*的定义内容是XMI自带的信息，需要根据相应的 描述进行填写或者系统自动生成之外，其他的内容定义均和第三章定义的经营分析系统元数据中的类一一对应，可以参照第三章与CWM模型1.1标准中的类和属性与DTD中同名的类和属性一一映射，将元数据库中的对象保存为XMI文件。 6.3.4 中央元数据库CORBA IDL接口 中央元数据库的XMI接口主要用来和经营分析系统子系统进行元数据交换或者进行备份时使用的，而中央元数据库CORBA IDL接口主要是为元数据管理工具或者其他的访问工具提供访问统一的API接口。 本接口提供了所有可能出现的核心元数据以及可选元数据的元数据库访问接口，接口描述语言为CORBA IDL，这是一种通用的接口定义语言，通过CORBA IDL可以无二异性为JAVA，C++等语言提供API接口。除了元数据管理工具可以通过接口访问此外，其他的工具也可以通过此接口访问中央元数据库。使用本接口需要指的注意的是，由于中央元数据库中存有的是带有省编码的元数据信息，因此通过本接口访问到的元数据信息是含有省编码的元数据信息，在元数据管理工具或其他工具访问中央元数据库时，需要对省编码进行恢复转换，恢复各省的元数据的本地信息。 和省级本地IDL接口类似，本接口规范根据核心元数据和可选元数据的不同包的内容，分为28个不同的CORBA IDL文件，在元数据管理工具或者转换工具访问相应的元数据内容时，根据需要加载不同的接口定义文件即可访问元数据库相应的内容。接口文件和经营分析系统元数据的对应关系如表6-7： 中国移动通信集团公司 - 82 - 中国移动通信集团公司 - 83 - 表 6-7 CORBA IDL接口定义与元数据的对应关系 这些接口定义了元数据库的接口形式，也为元数据管理工具和其他相关工具访问元数据库定义了统一的接口。在使用本接口规范时，参看第三章对于元数据库中元数据内容的相应章节。具体的接口定义文件，参见随本规范下发的中央-本地IDL接口.zip中的28个接口定义文件。 中国移动通信集团公司 - 84 - 中国移动经营分析系统元数据管理规范 Ｖ１．０ 7 经营分析系统元数据管理规定 7.1 元数据质量要求 7.1.1 概述 元数据质量指的是经营分析系统元数据在元数据管理流程中（省级本地到省级元数据库，省级元数据库到中央元数据库，一级经营分析系统元数据库到中央元数据库）元数据的之间一致性和元数据本身的质量。下面分为三节，分别对本地元数据质量，接口文件元数据质量和传输过程中的元数据质量进行规定。 7.1.2 本地元数据质量规定 本地元数据质量指的是本地元数据库中的经营分析系统元数据质量，关系到整个经营分析系统元数据管理系统的核心，它包括元数据完整型，元数据准确性，元数据关联一致性和元数据描述信息的有关要求： ? 元数据完整性：经营分析系统各子系统中的元数据除系统自动生成的临 时表，临时变量之外，其他涉及到核心元数据的元数据内容和相关联的内容必须出现在本地的经营分析系统元数据库中（例如系统表，普通表等）。经营分析系统元数据库中临时表，临时变量等无用元数据信息不允许超过所有元数据的5%。 ? 元数据准确性：出现在经营分析系统元数据库中的元数据信息务必准确 反映经营分析系统各子系统中的元数据内容，真实反映各子系统的元数据情况。 ? 元数据关联一致性：和经营分析系统元数据库中的元数据相关联的元数 中国移动通信集团公司 - 85 - ? 内容完整性：接口文件中包含必须包含元数据库中涉及到核心元数 据和与核心元数据密切相关的元数据内容，接口文件内容务必做到 完整有效，真实反映元数据库中的元数据内容。 ? 格式完整性：在格式上遵守第六章的有关内容，必须为一个格式良 好且有效的XMI文档。 ? 接口文件准确性：接口文件中的元数据必须准确反映经营分析系统元数 据库中的元数据内容，不允许出现错误。 7.1.4 传输过程元数据质量规定 传输过程中务必保持两端的数据质量不允许出现错误，传输双方遵守如下规定： ? 文件发送方，需认真填写文件的MD5校验码，并配合接收方进行数据 传送质量控制。 ? 对于接受方，接受的XMI文件需要根据描述文件中的MD5码进行比对， 如果出现错误，则需要整个文件重新传送。 7.2 元数据管理平台功能说明 元数据管理平台为用户提供高质量、准确、易于管理的数据，提供统一的元数据管理 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ，为将数据转化为知识提供支持。它作为元数据管理系统中的重要组成部分，元数据存储在元数据库中通过元数据管理工具进行收集，输出，查询，分析等工作。用户通过管理平台浏览元数据，可以更深入的理解各种元数据的定义、数据仓库的整个运作过程及相关元数据在其中发挥的作用，从而熟练管理元数据，更有效的控制经营分析系统的运作。 在总体框架方面，我们以CWM标准为基础搭建的经营分析系统元数据管理架构，从底层的数据获取，数据传输，数据存储，数据管理都遵循CWM标准，因此，元数据管理工具首先必须支持CWM模型，支持访问以MOF标准 存储的元数据对象，可以对XMI文件进行解析并保存至元数据库当中（大多数支持CWM模型的元数据存储系统可以自行转换），支持通过CORBA IDL访问支持CWM模型的经营分析系统子系统或者元数据库等。 下面根据元数据获取，元数据浏览，元数据分析，元数据维护几个方面来对元数据管理工具功能说明。本节中只是对元数据管理工具提出基本的功能说明，各省可以根据本省的实际情况进行添加相应功能。 7.2.1 元数据获取 在元数据获取过程是整个元数据管理系统中最重要的环节，它和元数据的质量关系密切，元数据管理平台应当支持对于兼容CWM模型和不兼容CWM经营分析子系统的元数据载入功能： ? XMI格式元数据载入： 元数据管理平台支持将经营分析系统各子系统导出的XMI文件，在经 过校验正确之后，解析导入元数据库当中（大多数遵守CWM模型的元 数据存储系统都支持直接导入XMI文件）成为对象形式保存。 ? 兼容CWM模型外部系统元数据载入： 有些数据仓库或者分析系统不支持XMI文件导出，是通过支持CWM 模型标准的CORBA IDL接口来实现兼容CWM模型的，元数据管理软 件需要支持访问兼容CWM模型的接口来访问子系统的元数据，并将这 些元数据加载入元数据库当中。 ? 非兼容CWM模型外部系统元数据转换载入： 有些子系统不支持CWM模型，对于这一部分的子系统（目前大多数在 经营分析系统中的子系统都支持或即将CWM模型）需要通过子系统的 API或者其他方式访问该系统的元数据，那么元数据管理平台能访问这 些系统的元数据并将这些元数据转换为符合CWM模型的元数据格式 导入经营分系统元数据管理体系当中。 ? 元数据关联性的建立与校验 在外部元数据文件载入元数据库的过程后，将其与元数据库中相应的元 数据建立关联对应的步骤，可以手工的或自动的将导入的元数据与元数 据库其他子系统的元数据之间建立对应关系。并对于元数据库中已存在 的元数据进行关联性校验。 7.2.2 元数据检索和浏览 元数据管理的目的是为了给数据仓库的各有关模块或人员元数据服务。元数据管理工具应当支持以多角度、多层次、分门别类地组织和显示各种元数据，供数据仓库管理员或最终用户根据需要浏览或查看他所关心的元数据。 当然，用户也可以直接输入关心的元数据对象（表或文件）或者通过输入相关信息进行检索，查看其详细信息。用户通过管理平台浏览元数据，可以更深入的理解各种元数据的定义、数据仓库的整个运作过程及相关元数据在其中发挥的作用，从而熟练管理元数据，更有效的控制数据仓库的运作。 下面根据不同的核心元数据浏览方式进行说明，这里只是对最重要的部分进行叙述，各省可以根据不同需求进行添加： ? 元数据检索 输入元数据的描述信息的关键字、名称或者其他信息，可以检索符合条 件的元数据元素并进行浏览。 ? 数据仓库元数据浏览 1．显示元数据库中按照某种标准划分的所有数据仓库元数据的列 表，例如以主题划分 2．对于被选中的数据仓库元数据（主题元数据），显示当前主题的 详细信息，如：数据源名称、编号、更新时间、描述信息、数据库名、数据库类型、用户名、归属用户、服务器名、服务器属性等等 3．对于被选中的数据仓库元数据（主题元数据），列出该主题的所 有相关的表或文件，并显示其详细信息，如：表名或文件名、模式名、业务名、描述等等 4．对于被选中的表或文件，显示表中包含的所有字段的详细信息： 字段名、字段类型、ODBC字段类型、字段长度、精度、所属业务等等，这些字段定义了数据仓库中数据的内容、结构、类型等 5．对于被选中的表或文件，可以查找并显示当前选中对象与其它元数据的关联性 6．对于数据仓库的 每一次ETL执行结果，结束时间进行浏览 ? ETL元数据浏览 1．显示元数据库中所有ETL过程的分类列表 2．对于被选中的ETL过程类型，列出其中包含的所有ETL过程的列表 3．对于被选中的ETL过程，显示其过程名称、过程描述信息、状态、创建时间等等，并显示该过程的详细的脚本描述信息 4．对于被选中的ETL过程，可以查找并显示当前选中对象与其它元数据的关联性 ? OLAP元数据浏览 1．显示元数据库中所有主题及其下属多维库的列表 2．对于被选中的主题及其下属的某个多维库，显示该主题和多维库的详细信息，如：主题编号、多维库编号、创建日期、多维库类型、维度数量、稠密维的数量、稀疏维的数量、数据库状态、潜在数据块的数量、实际数据块的数量、数据块的大小、数据块的密度、多维库的描述信息、多维库的名称、多维库所属主题的名称等等，这些字段定义了数据仓库中各层次汇总的情况、数据量缩减比例、更新或同步时间、数据仓库中各数据指标的当前有效期、多维模型的描述信息，以及数据仓库中的数据质量监控体系，那些数据内容不详的比例高，那些数据缺失等 3．对于被选中的多维库，显示其结构信息，如：分层次显示多维库的维度（如指标、通话时长类型等）及其所包含成员的名称、成员别名、合并规则等等 4．对于被选中的成员，显示其详细的信息，如：成员编号、成员名称、成员序号、父结点编号、后继兄弟结点编号、前驱兄弟结点编号、合并规则、公式、存储规则、维度编号、维度名称、多维库编号、多维 或文件），并说明其对象名称、对象类型、对象归属、对象描述等等 3．在上述ETL相关对象的基础上，绘制ETL转换关系，展现ETL过程的工作流程。这有利于用户合理组织和分配资源 4．列表显示所有的ETL任务，并说明其执行顺序、运行的时间、周期等相互依赖的关系 5．基于上述列表，以时间为基准，绘制ETL任务的有向图。有利于用户了解该ETL任务在整个项目中的位置，需要完成哪些先行任务等，进而制定简单、高效、节省的ETL计划 6．在列表或图表中可以任意选择元数据对象或ETL任务，查看其详细信息，或查找与之相应的元数据的关联性 ? 关联性分析：这项分析的主要作用在于使相关人员了解经营分析系统中 有很多相关的表格、记录，报表中的某一项是如何生成的，相关的元数据是什么，如何处理。 1．选择元数据对象（表或文件） 在元数据浏览中提到，选中元数据对象，可以查找该对象与其它元数据的关联性，这种关联性，将在元数据关联性分析窗口中，以便于理解的图表形式加以展现，如有向图、树图等等。 也可以单独查找某个元数据对象（表或文件），显示该对象与其它元数据对象的关联性关系。若是查找结果不唯一，多个结果将列表显示，并有对象名称、对象类型、对象归属、对象描述等各项说明，方便用户选择关心的元数据对象。 2．对于选中的元数据对象，列表显示所有与之相关的对象，并说明其对象名称、对象类型、对象归属、对象描述等等 3．所有与被选中的元数据对象相关的对象，包括数据源元数据、ETL元数据、数据库元数据，OLAP元数据、数据挖掘元数据、报表元数据等等，按照数据流的先后顺序显示在关联性分析图中。通过这个图，元数据之间的相互关系一目了然 4．在相关对象列表或关联性分析图中选中某个元数据对象，可以查 - 92 - 看该对象的所有详细信息：编号、更新者、更新时间、业务名、描述信中国移动通信集团公司 息、字段类型、ODBC字段类型、精度、字段长度、列序号、模式名、表名、字段名等等 7.2.4 元数据维护 管理员通过统一的元数据管理平台对元数据进行维护、调整，可以达到对整个数据仓库各个部分的管理和控制，此部分需要底层系统平台和经营分析系统元数据管理平台通过CORBA IDL或者其他API的形式进行实时双向交互。 ? 元数据实时更新 当元数据在项目的运营过程中发生变化（插入、删除、修改）时，元数据管理平台能够根据元数据本身的信息（最后修改时间、版本号）等，同步所有相关元数据，实现元数据的实时更新。 这不仅节省了管理成本，而且最大程度的保证了元数据库的AIDS特性，为整个项目的正确运作提供最坚实的基础。 ? 元数据的手工更新 项目的运作过程中也有很多情况，需要管理员人为的修改（插入、删除、修改）元数据库的内容。在这方面，元数据管理平台提供了灵活的方式，允许元数据的手工更新。 元数据管理平台提供统一的界面，允许用户选择或查找要更新的元数据。 元数据更新后，用户可以“预览”该对象的详细信息、关联性分析，以确定所做元数据更新是否合理。 用户确认更新后，元数据管理平台以实时更新的方式，同步所有相关元数据。 ? 映射关系的修改 1．映射关系修改 元数据管理平台可以将元数据间的映射信息，以映射关系图的形式展现出来。管理员可以观察元数据的映射关系，并在图形界面中对其进行直接修改。修改后的映射关系图，会突出显示当前映射关系的修改所 中国移动通信集团公司 - 93 - 涉及到的对象。如果该修改会导致错误，元数据管理系统将给出告警信息。 元数据更新时，对元数据的修改也有可能造成的映射关系的改变，这种改变也将被元数据管理系统检测到，并提示给修改者。 2．管理员确认对映射关系的修改后，遵循RDBMS的ACID特性，与该修改相关的修改由元数据管理系统自动完成。 元数据管理平台的这项功能，避免了手工逐个修改元数据所造成的映射关系混乱和不一致，大大保证了元数据库的正确性和稳定性。而且，这种修改方式更直观、更系统、更有效率。 7.2.5 权限管理 按照“角色”对用户进行划分，每个角色有特定的权限。用户只能完成本角色权限允许的操作。 元数据管理系统中的角色或用户，与数据仓库中角色或用户没有一一对应的关系，两个系统中的权限分配，是相互独立的。 数据仓库中的权限管理，是管理对数据仓库的访问，如：数据仓库数据的访问控制、各个分析主题的访问控制等等，这些权限管理的定义，以元数据的形式存储在元数据库中，对元数据管理系统来说，与其它的元数据毫无差别。 元数据管理系统中权限管理，是管理用户对元数据库的访问，如：元数据库中数据的访问控制、元数据分析的访问控制、元数据维护的权限等等。 按照需要，在元数据管理系统中定义两类角色：管理员和一般用户。每个角色有若干用户，拥有同一角色的用户具有完全相同的权限。 管理员：技术及维护人员，拥有元数据管理系统的所有权限。可以进行元数据的装载、维护、分析、浏览，以及修改用户权限。 一般用户：上级领导和元数据库的使用者。可以查看元数据库的内容，并使用元数据库，如：浏览各种元数据，进行元数据的相关性分析或ETL流程分析等，但不能进行元数据的装载和维护，更不能管理用户权限。 使用元数据管理系统的权限管理功能，给不同的用户分配合理的权限， - 94 - 中国移动通信集团公司 最大程度的保证了元数据库的可用性。管理员通过统一的元数据管理平台对元数据进行维护、调整，可以达到对整个数据仓库各个部分的管理和控制，此部分需要底层系统平台和经营分析系统元数据管理平台通过CORBA IDL或者其他API的形式进行实时双向交互。 7.2.6 版本控制 对元数据对象和关系进行版本控制，使用户得以同样轻松地使用当前版本和同组版本的历史版本。 基本的版本控制功能包括： 1．测试和生产（生命周期阶段）过程中的版本控制 2．独立的版本控制 3．按部门或业务部门进行的版本控制 4．按照汇总或工作站ID的版本控制 每一个版本内部配合经营分析系统原数据备份要求（参见元数据存储要求的相应章节）成单向图状管理。在某一版本下的元数据只能像下衍生本版本的子版本而不可跨越到另一版本，子版本中存有的是当前版本与父版本之间差异部分（新增、修改）。当两个版本的节点需要融合时需要从两个版本的最近父节点对应两个版本的第一子节点遍历至当前节点，比较两版本沿路径至融合节点积累出现对相同数据项修改、删除操作的冲突，进行人工或者自动的协调生成新的版本。当需要某一版本的元数据时遍历版本数到当前版本的内容即为当前版本的元数据内容。 中国移动通信集团公司 - 95 - 些特殊的元数据处理要求，分别叙述如下： ? 省编号解析：在中央元数据库当中存储的元数据是带有省编号的元数据 对象，而正常使用时中央元数据管理系统需要将这些元数据对应为相应的省进行显示（参照表5-1）。并且这个解析规则可以根据需求进行变化。 ? 省级元数据浏览，分析：在具有7.2元数据浏览功能的同时，提供针对 不同省的元数据子集进行浏览，分析。 ? 对全国各省元数据进行版本管理 ? 省级元数据库访问：通过省级元数据库的CORBA IDL接口，直接访问 省级元数据库中的元数据信息。 ? 省级元数据抽取：通过省级元数据库CORBA IDL接口将指定的元数据 （少量）内容抽取到中央元数据库当中进行存储。 ? 省级元数据在线分析：通过省级元数据库的CORBA IDL接口，直接对 省级的元数据库中的内容进行查询，分析如7.2.1-7.2.3小节所述对元数据内容操作（只对省级元数据库有读操作）。 7.3 经营分析系统元数据管理系统应用举例 7.3.1 数据时效性探察 基于元数据管理系统可以提供很多种业务分析，这里只是提出几种简单的分析功能，具体实施可以结合各省具体的业务情况进行。 经营分析系统中的数据时效性是经营分析系统中数据质量的一个重要的组成部分，通过对经营分析系统元数据的管理，可以分析到某一条或某一些数据的时效性。首先通过元数据浏览和检索功能，检索感兴趣某个数据项相关的元数据信息，探察该数据最后计算的时间；然后，通过元数据ETL分析，找到和该元素以及和该元素相关计算元素相关ETL过程（从生产系统到数据仓库，在从数据仓库到前端展示系统）的最终执行时间。对上述时间进行探查分析，来 决定该数据的时间有效性和真实性。 数据时效性分析流程 7.3.2 指标和报表元素血缘分析 对于经营分析系统的元数据进行统一管理可以辅助管理人员对由经营分析系统提供的报表、指标的数据项进行血缘分析，了解该指标或报表元素由源系统到经营分析系统，由数据仓库到前端显示或者报表系统的计算过程和处理方法，管理人员可以通过血缘分析结合数据时效性探查来了解提供报表和指标的可信度或对中国移动集团公司或省公司的相应的指标定义和有关规范进行核查。 业务人员可以对由经营分析系统产生的某一个指标或者报表元素进行血源分析，即已知某一数据项，查找到该数据项从源系统到前端展示的若干ETL过程相关的数据项，计算方法，计算公式，形成该报表元素（或指标）的族谱图，从而了解产生该数据项的流程。下图是血缘分析结果的一个实例，其中的计算流程只是举例，不是实际的计算流程。 血缘分析结果实例 7.3.3 元数据相关性分析 在调整经营分析系统时，经常遇到调整一些系统而影响其他系统的情况。为了保证数据的一致性，需要对整个经营分析系统中的相关的元数据进行调整。此时，通过元数据相关性分析，找到所有需要进行调整的元数据，可以统一进 行修改和调整，例如下表： 经营分析系统元数据管理规范 (讨论稿) 二○○三年十月 1 总则......................................................................................................................... 1 1.6 概述.................................................................................................................. 1 目标.................................................................................................................. 2 适用范围.......................................................................................................... 2 包含附件内容 ................................................................................................. 2 起草单位.......................................................................................................... 3 解释权.............................................................................................................. 3 2 元数据管理规范总体说明 .................................................................................... 4 2.5 规范涉及的元数据标准 ................................................................................. 4 元数据基本框架 ............................................................................................. 6 省级（包括一级经营分析系统）元数据管理架构 ..................................... 7 中央元数据库管理架构 ................................................................................. 8 元数据管理系统拓扑图 ............................................................................... 10 3 经营分析系统核心元数据 .................................................................................. 12 3.1 概述................................................................................................................ 12 3.2 经营分析系统基础层元数据 ....................................................................... 12 3.2.1 概述......................................................................................................... 12 3.2.2 对象模型元数据 .................................................................................... 13 3.2.3 基础元数据 ............................................................................................ 16 3.2.3.1 概述 ..................................................................................................... 16 3.2.3.2 业务信息 ............................................................................................. 17 3.2.3.3 数据类型 ............................................................................................. 19 3.2.3.4 表达式 ................................................................................................. 19 3.2.3.5 主键和索引 ......................................................................................... 20 3.2.3.6 系统部署 ............................................................................................. 21 3.2.3.7 类型映射 ............................................................................................. 23 3.3 经营分析系统数据获取层元数据 ............................................................... 24 3.3.1 概述......................................................................................................... 24 3.3.2 ETL元数据 ............................................................................................... 25 3.4 经营分析系统数据存储层元数据 ............................................................... 30 3.4.1 概述......................................................................................................... 30 3.4.2 数据仓库元数据 .................................................................................... 31 3.4.2.1 关系模型元数据 ................................................................................. 31 3.4.3 数据仓库管理元数据 ............................................................................ 33 3.4.3.1 仓库过程元数据 ................................................................................. 33 3.4.3.2 仓库操作元数据 ................................................................................. 36 3.5 经营分析系统数据访问层元数据 ............................................................... 38 3.5.1 概述......................................................................................................... 38 3.5.2 OLAP元数据 ............................................................................................ 39 3.5.3 数据挖掘元数据 .................................................................................... 41 3.5.4 信息可视化 ............................................................................................ 43 3.6 其他可选元数据 ........................................................................................... 45 4 经营分析系统元数据库存储标准 ...................................................................... 47 4.1 概述................................................................................................................ 47 4.2 元数据库存储标准 ....................................................................................... 47 4.3 备份要求........................................................................................................ 48 4.3.1 省级元数据备份要求 ............................................................................ 48 4.3.2 中央元数据备份要求 ............................................................................ 50 5 省级与集团公司元数据接口规范 ...................................................................... 53 5.11 概述................................................................................................................ 53 集团公司职责 ............................................................................................... 53 各省公司职责 ............................................................................................... 53 各省元数据提交范围 ................................................................................... 54 各省元数据提交规定 ................................................................................... 54 接口文件传输要求 ....................................................................................... 55 省级与集团公司元数据接口文件和描述文件命名方式 ........................... 55 省级元数据接口文件描述文件格式标准 ................................................... 57 省级－中央元数据库CORBA IDL接口 ................................................... 57 省级－中央元数据库XMI接口 ................................................................. 59 校验原则........................................................................................................ 61 6 经营分析系统元数据库接口规范 ...................................................................... 64 6.1 省级元数据库接口 ....................................................................................... 64 6.1.1 概述......................................................................................................... 64 6.1.2 集团公司职责 ........................................................................................ 65 6.1.3 各省公司职责 ........................................................................................ 65 6.1.4 各省元数据接口管理范围 .................................................................... 65 6.1.5 各省元数据XMI接口抽取规定 .......................................................... 66 6.1.6 省级元数据库XMI文件命名规则 ...................................................... 66 6.1.7 省级元数据接口文件描述文件格式标准 ............................................ 68 6.1.8 省级元数据库省级经营分析系统XMI接口内容与格式要求 .......... 68 6.1.9 省级元数据库CORBA IDL接口 ........................................................ 70 6.2 一级经营分析系统元数据库接口 ............................................................... 72 6.2.1 概述......................................................................................................... 72 6.2.2 集团公司职责 ........................................................................................ 73 6.2.3 一级经营分析系统元数据提交范围 .................................................... 73 6.2.4 一级经营分析系统元数据提交规定 .................................................... 74 6.2.5 接口文件传输要求 ................................................................................ 74 6.2.6 一级与集团公司元数据接口文件和描述文件命名方式 .................... 75 6.2.7 一级元数据接口文件描述文件格式标准 ............................................ 75 6.2.8 一级元数据接口文件内容格式标准 .................................................... 76 6.2.9 一级元数据库CORBA IDL接口 ........................................................ 77 6.3 中央元数据库接口 ....................................................................................... 80 6.3.1 概述......................................................................................................... 80 6.3.2 中央元数据接口管理范围 .................................................................... 80 6.3.3 中央元数据库与经营分析系统XMI接口内容与格式要求 .............. 81 6.3.4 中央元数据库CORBA IDL接口 ........................................................ 82 7 经营分析系统元数据管理规定 .......................................................................... 85 7.1 元数据质量要求 ........................................................................................... 85 7.1.1 概述......................................................................................................... 85 7.1.2 本地元数据质量规定 ............................................................................ 85 7.1.3 接口文件数据质量规定 ........................................................................ 86 7.1.4 传输过程元数据质量规定 .................................................................... 87 7.2 元数据管理平台功能说明 ........................................................................... 87 7.2.1 元数据获取 ............................................................................................ 88 7.2.2 元数据检索和浏览 ................................................................................ 89 7.2.3 元数据分析 ............................................................................................ 91 7.2.4 元数据维护 ............................................................................................ 93 7.2.5 权限管理................................................................................................. 94 7.2.6 版本控制................................................................................................. 95 7.2.7 中央元数据管理平台特殊要求 ............................................................ 96 7.3 经营分析系统元数据管理系统应用举例 ................................................... 97 7.3.1 数据时效性探察 .................................................................................... 97 7.3.2 指标和报表元素血缘分析 .................................................................... 98 7.3.3 元数据相关性分析 ................................................................................ 99