保险信息系统数据迁移研究

保险信息系统数据迁移研究 李建国～汪小帆 (1(易保网络技术有限公司 研发事业部, 上海市 200433; 2(上海交通大学 控制工程系, 上海市 200001;) 联系作者e-mail: jerry.li@ebaotech.com 摘 要: 数据迁移是在保险信息系统替换过程中非常重要的一部分。结合项目管理知识体系框架并考虑数据迁移的特点～研究了在建设保险核心业务系统的同时进行数据迁移的步骤和 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 ～并进一步探讨了在数据迁移项目进行过程中经常遇到的问题～给出了解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 。 关键词: 数据迁移,数据清理,保险,信息系统, Abstract: Data Conversion, or Data Migration, is one of the most important parts in the replacement of insurance information systems. Based on the project management body of knowledge, considering the feature of data conversion, I introduced the data conversion approach and methodology, and the key issues and solutions during data conversion. Key words: Data Conversion; Data Migration; Data Cleansing; Insurance; Information System; 数据迁移不同于信息集成(Integration)。Integration 通常使用各种固定格式的文件，从而使两个系统都1 概述 可以处理这个文件，达到信息交互的目的，而数据 迁移是将数据直接导入到新系统，新系统将代替老从上个世纪七八十年代以来，信息技术迅速发展， 系统，执行所有的日常操作，比如查询，修改等。许多保险公司纷纷开始信息化建设。由于保险业务 对于用户来讲，就和使用在新系统产生的数据一复杂，通常一个系统很难满足所有的业务需求，于 样。 是就出现了一个保险公司有数十个系统的尴尬状 数据迁移通常会遇到下列首当其冲的问题: 况。与此同时，保险公司为了抢夺市场，拓展业务， 1) 数据库构变化了，业务含义也可能不同，也在不断的改进业务规则和战略，使旧有信息系统 甚至同一个业务所使用的数据也有可能逐渐不能满足企业的需要，变成了“老系统”而被停 不同。 止使用;一些技术更先进，功能更强大的信息系统 2) 部分数据的字段长度可能变化了，数据之登上历史舞台。俗话说“三分技术，七分管理，十 间的完整性约束也可能不同。 二分数据”，数据对于保险公司来讲，是举足轻重 3) 需要迁移的数据量有多大,新系统是否的。在淘汰“老系统”的同时，如何处理仍然存在于 能否支持, “老系统”中的数据,是否可以在新的系统中继续处 4) 需要迁移的系统有多少, 理呢,在引进新系统的同时，许多保险公司都选择 5) 老系统的业务处理能力有多大, 了一条比较稳妥并且一劳永逸的方法――数据迁 移。 1(2 中间数据库 1(1 数据迁移的概念 通常需要迁移的数据往往以不同的形式存在，可能 存在于关系型数据库中，比如DB2, Assess, SQL 数据迁移，就是将旧有系统中的数据导入到新系统 Server等;也可能存在于Microsoft Excel甚至文本的一系列活动。数据迁移不同于数据库管理中的数 文件中。为了方便处理，我们通常把来自各种数据据导入和导出。数据库的导入导出过程不会关心数 源的数据转换成文本文件，导入到一个中间数据库据本身的结构和数据的含义，而数据迁移则相反， (Staging Database)中。这个中间数据库通常和新系他要求迁移人员比较透彻的了解老系统与新系统 统的数据库是一致的。见图1。 的结构以及每个字段的含义，从而建立映射关系。 Legacy 及必要的技术。其中，制定项目计划和确定数Staging DBLife SystemSystems 据迁移范围特别重要。数据迁移小组应该仔细Table XX调查被替换系统以估计出大概的工作量，并按 EngineTable YYXTable A照 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 的数据迁移流程，制定出比较切实可行 的计划。同时，也需要和客户的高级经理们沟Table ZZ 通，制定出符合实际的数据迁移范围，在满足W新系统需要的基础上，对于一些不重要的数据 可以考虑以后再处理甚至不导入。 Excel File W2) 第二阶段，分析与 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 阶段。以数据迁移的范 图1 围为基础，与用户或者客户系统专家一起，研我们通常不推荐使用直接导入的方法，是因为: 究老系统数据库结构，并结合新系统的业务需 1) 保险业务复杂，映射规则通常也很复杂，求，得到新老系统之间的Mapping规则，完 建立中间数据库便于处理。 成Mapping文档。同时需要对新老系统结构 2) 如果老系统有多种格式，需要开发各种之间的差异进行分析，确保需要的信息能够导 读取数据的引擎(除非购买专业的工入。 具)，成本较高。 3) 第三阶段，实施阶段。在该阶段，开发人员根 3) 由于客户的老系统的安全问题，通常不据Mapping设计文档进行编程，并能够将数 允许随意访问，因此会给后期测试带来据导入到新系统。数据导入之后，测试人员进 不便。 行反复的测试，通过后提交给用户进行测试。 4) 直接导入性能较低，建立中间数据库，最后用户签署测试结果，同意项目上线。 可以对数据进行预处理，效率很高，而4) 第四阶段，项目上线之后，数据已经在生产环 且便于调试。 境上运行。数据迁移小组还需要担当起一些维 护工作，对于一些突发事件，如果和导入数据 相关，需要立刻帮助解决。一个月后，数据应2 数据迁移过程的生存期 该已经进入比较稳定的状态，这个时候，数据 迁移小组撤出项目，数据迁移项目顺利完成。 数据迁移项目，归根到底是一个IT(Information Technology)项目。他是一个很复杂的过程，通常将 这个过程拆分成一系列定义明确的任务和过程，从3 数据迁移的基本流程 而减少项目成本，使项目管理灵活，容易控制。在 此，根据IT项目的SDLC(Systems Development Life 为了保证数据迁移的质量，确保数据精确并且完整Cycle)理论，并结合数据迁移的项目时间，得到了的导入到新系统中，我结合实际的项目经验，总结数据迁移过程的生存周期模型。如图2。 出了数据迁移的基本流程。如图3。 Inventory of Legacy Systems &Data Conversion Data Assessment Data Mapping Data Data Gap AnalysisCleansingImplemeAnalysis ntationand DevelopmentDesignPlanningMaintainTesting&SupportEffort, Resources Required 图3 Project Life Cycle 图2 1) 收集老系统信息和数据迁移的需求 (Inventory 1) 第一阶段，项目启动与计划阶段。在该阶段，of Legacy Systems and Data Conversion)。在项 需要决定数据迁移策略和方法，定义数据迁移目启动初期，明确项目需求，制定切实可行的 的范围。制定项目详细计划，获得人力资源以项目计划，是摆在数据迁移小组面前的首要问 题。在这一阶段，主要完成一下工作: 3) 数据映射 (Data Mapping)。在该阶段，数据分a) 向客户的业务和信息技术的高级经理以析员依据数据迁移范围文档，开展更详细的分 及下属讲授数据迁移的工作流程以及数析、设计与映射工作。 据导入策略。详细解释数据迁移每个步a) 首先，数据分析员需要了解对应模块老 骤的工作内容，以及提交给项目经理的系统的数据结构，包括表和字段，以及 结果。详细说明在整个数据迁移过程中，多个表之间的关系，并撰写相应的文档 客户需要提供哪些帮助，承担哪些责任供后期开发人员阅读、理解。 (没有客户的密切配合，数据迁移几乎b) 再次，数据分析员必须提供新系统的数 是不可能的)。另外，还需要讨论在数据据字典信息，并向客户的信息技术人员 迁移过程中可能出现的数据安全问题。 详细说明。 b) 数据分析员要详细了解新系统，明确新c) 客户的信息技术人员在了解新系统的基 系统能够支持哪些功能，以及具体的实础上，提供老系统中对应表和字段。数 现方式，比如某些功能都需要哪些数据。据分析员在得到这些字段的基础上，需 这是和数据迁移开展工作的基础。 要详细的讨论映射规则。因为，通常新c) 数据分析员广泛的与客户的业务人员和老系统中的业务规则是有差异的。比如 信息技术人员开展讨论。通常是以讨论T_GENDER这个代码表，在客户系统中 会的形式，针对保险系统的各个模块，的值可能是1 Male,2 Female，可是在新 包括人员管理，保单管理，保全，理陪，系统中，可能是M male, F female。这时， 财务管理，再保等模块，讨论老系统中就需要注明详细的映射规则，以免后期 数据的组织形式，决定数据是否需要导导入数据的时候报错。 入或者部分导入等等，最后形成数据迁d) 数据分析员撰写数据映射文档，提交给 移项目范围文档，并要求客户签署。 客户审阅;同时，也要和新系统的开发d) 数据迁移管理人员根据数据迁移范围，人员一起审阅这个文档，以保证数据映 结合数据迁移工作流程和以往项目经射的质量。 验，制定初步的数据迁移项目计划。如4) 数据差异分析 (Data Gap Analysis)。Mapping 果数据迁移项目和新系统开发项目同时结束之后，数据迁移小组需要对数据差异进行 进行，需要参考新系统开发项目的计划，分析。一些新系统需要但是老系统无法提供的 以便及时的跟踪新系统的需求变更，以数据，需要采取合适的手段来处理;一些老系 保证数据迁移的进度和质量。项目计划统存在但是新系统不存在的数据，如果确实需 形成之后，需要提交项目管理组审定，要，可能需要修改新系统的表结构。 并用以跟踪以后项目实施。 5) 开发 (Development)。在这一阶段，开发人员 2) 数据质量评估 (Data Assessment)。在数据迁移需要开发: 工程中，老系统数据质量是影响数据迁移项目a) 中间数据库的创建脚本。 进程以及质量的决定性因素。由于数据迁移的b) 将数据从文本文件导入到中间数据库的时候，迁移人员不能对老数据进行修改;通常数据导入脚本。如果使用ORACLE数据数据清理的工作都有用户来完成。因此，及早库，可能需要编写sqlldr的控制文件和的认识老数据的数据质量是很必要的。数据迁导入命令。 移小组以问卷的形式调查老系统数据质量情c) 编写数据检查脚本。通常，新系统是有况，得到大致的一些概念。同时，如果用户许很多业务规则的，但是老系统中的业务可，可以拿到一些实际的数据，对数据进行更规则未必能满足新系统的严格要求，因详细的质量评估。数据质量评估的结果可以作此需要检查非法的数据并要求用户做数为数据清理的输入，用户可以着手清理脏数据据清理。 了。数据质量评估可以在项目启动以及d) 编写数据导入脚本(从中间数据库到目Mapping的时候同时进行。 标数据库)。 e) 部分测试脚本和数据统计脚本。 较强的沟通能力。在开发阶段，需要有较强的数据 6) 测试 (Testing)。在该过程中，数据迁移小组运库技能，包括开发导入脚本以及进行中间数据库的用多种方法对导入数据进行测试，确保导入数数据库管理。同时，还需要有较强的测试能力，以据可以在新系统中顺畅运行。 及项目管理能力。当然，也可以是一个项目管理小a) 开发人员需要数据导入过程进行经常性组来共同完成这项工作。通常一个数据迁移小组 的测试。见图4。开发人员从抽取，建中，包括以下各种角色。 立中间数据库，上载数据到导入数据，1) 用户(Business Owners)。用户主要负责 必须确保无错误运行。 数据迁移过程的下列任务: b) 测试人员对数据进行保费重算测试。在a) 在老系统中进行数据清理 保险系统中，保费的计算非常复杂，也b) 在新系统中对导入数据进行测试 是最不允许出错的部分。测试人员运用c) 确认新老系统字段之间映射关系， 开发人员开发的保费重算脚本对所有导以及业务规则 入的保单进行重算保费，并对结果进行d) 在项目实施各个阶段，确认并签署 分析。 相应文档 c) 测试人员对导入的数据进行统计，并和2) 数据分析员 (Analyst)。数据分析员主要 老系统中的统计结果比较，检查是否一承担下列任务: 致，从而保证数据导入的总量以及关键a) 精通新老数据模型 业务数据的值的正确性。 b) 确定数据迁移的需求和范围 d) 测试人员运用导入数据进行功能测试，c) 在新老系统之间建立映射关系 保证上线之后数据的正常运行。 d) 跟踪新系统需求变更并保持数据e) 用户对数据进行校验，并进行功能测试。 迁移文档的更新 7) 数据清理 (Data Cleansing)。从图3可以看出，3) 数据库管理员 (Database Administrator)。在数据迁移的过程中，数据清理是从头到尾贯数据库管理员主要承担下面的任务: 彻始终的过程。在分析设计，开发，测试等各a) 建立数据库 个阶段，都有可能发现老数据的错误，因此及b) 控制数据迁移文档质量，注意表名时的通知客户进行数据清理，并重新抽取数据等命名 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 是否合法。 是相当重要的。 c) 确认数据库结构变更，并及时通知 8) 系统上线。见图4。在新系统开发完成，数据数据迁移小组成员。 迁移测试完成之后，客户重新抽取最新的数d) 保证数据安全 据，数据迁移小组将数据导入之后，用户停用e) 其他DBA的例行任务 老系统并使用新系统以及导入的数据进行日4) 开发人员 (Programmer)。开发人员的主常工作。 要任务包括: a) 分配开发任务，并开发数据迁移代 码，进行单元测试 Data Data Decommissioning Build Staging Data UploadExtractionConversionLegacy systems Databaseb) 遵守开发规范 c) 报告开发进度 d) 审阅需求文档，并提出有疑问之 图4 处。 5) 测试人员 (Tester)。测试人员的主要任务 包括: 4 数据迁移的各种角色 a) 对导入数据进行大规模有计划的 测试 数据迁移的特点，决定了数据迁移人员通常要具有 b) 进行回归测试，确保发现问题及时较高的素质。从项目初期的系统分析以及映射，需 解决 要对新老系统的业务有很深的了解，同时也需要有 以，用户在新旧系统迁移过程中首先应考虑这一c) 统计Bug数量，并报告项目经理 项。而且通常情况下，这些数据在同一厂商不同产 品中或不同厂商的产品中可以共用。因此，这些数5 数据迁移的难点及解决方案 据基本上可以导入到新系统当中。而对于老系统中 发生的保全信息，通常我们要求客户把一些没有完1) 客户通常要求把所有老数据都导入，我们怎么 成的保全操作完成，或者在新系统中重新做保全。办, 如果保全已经完成，由于已经生效，而且保单信息对于传统数据迁移或数据库更替问题，客户或数据 已经更改，所以我们不建议导入保全操作的历史记库开发维护人员考虑得更多的是数据迁移的完整 录。又如，财务历史记录，如果在同一厂商保险系性和可靠性。但是，鉴于保险业务的复杂性以及系 统软件替换时，财务数据可以考虑导入;而在不同统的复杂性，我们不建议导入所有的数据。因为新 厂商保险系统软件替换时，因为数据的存储逻辑或旧系统替换过程中，历史数据的迁移绝对不是孤立 方法不同，所以最好不要直接进行数据迁移，而是存在的。它虽然看似一个简单的数据库更替问题， 采用旧的系统作为前一时期的查询系统，在新系统但是，它涉及到从一个保险系统到另一个保险系 中进行新的帐务。而且，财务数据由于所占存储空统，从一个应用模式转向另一个应用模式的转变， 间比较大，而且相对基础数据而言比较复杂，对今这其中更多的是保险业务以及系统的差异问题。对 后系统的操作意义也不大，“导入就有点费力不讨于同一场上不同版本系统之间的替换，由于系统是 好了”。 在同一数据库基础上开发，而且存储逻辑或方法基 本相同，所以旧系统中的数据利用率会很高，可以 总之，数据迁移是一个很复杂的过程，他的操作对达到70%;而对于不同厂商的产品替换，其旧数据 象是信息系统最终要的――数据，他要求数据迁移利用率不超过10%，而且旧系统中数据利用得越 人员在技术上，业务上还有沟通上都有较高的能多，新系统的负担就越大、性能越差、信息越不准 力，这也正他的魅力所在。相信通过进一步的深入确，这与简单的数据库迁移强调完整性有着本质区 研究，我们会做的更好。 别。而且，虽然用户选择的保险核心业务系统提供 商所提供产品的模块可能相同，但是在相应实现方 法、数据库记录的表结构以及工作流程方面却是大 致谢: 在撰写本文的过程中，得到了导师汪小帆相径庭，因此，保险系统替换过程中的数据迁移不 的殷切指导，同时也得到了来自易保网络技术有限仅仅是数据的导入、导出问题，更是系统的更换、 公司数据迁移部门的经理的大力协助，在此向两位工作方式的改变。所以，必须结合新老系统之间的 表示感谢。 差异程度以及实现复杂性，并考虑投入成本和时间 问题，作出比较合理的决策。简单的说要导入所有 数据是不合适的，也是不实际的，最终只会导致项 参考文献: 目的失败。 [1] (美)项目管理协会. 项目管理知识体系指南.电子工业出2) 业务数据的迁移通常有哪些条件呢, 版社, 2005. 首先，并不是所有的数据都可以平滑过渡到新系统[2] JACK T. MARCHEWKA. Information Technology Project 之中，尤其是对不同厂商的保险系统替换，原有数Management: John Wiley & Sons, 2003. [3] ERP升级如何做好数据迁移.科技报告, 网易科技报道 据的利用率非常低。因此用户和实施顾问更应该关 [4] Parul Manek. Microsoft? CRM Data Migration Framework 注数据的有效性，即搞清到底哪些数据对于新系统White Paper, 2003. 功能模块来说是有用的。通常，数据分为两大类:[5] Soumendra Mohanty. Data Migration Strategies. DM Direct 一类是基础数据，一类是业务数据。其中，基础数Special Report, 2004. 据是指开展业务活动所需要的基础数据，如产品基 作者简介: 李建国(1981,),男,江苏徐州人,数据迁移工程师,本信息、客户、保单嘻嘻等等。基础数据的特点是 工程硕士,主要研究方向:IT项目管理;汪小帆(1967,),男,它在整个系统使用过程中会基本保持不变，同时它博士,教授, 博士生导师,主要研究方向:复杂网络控制.是业务数据的基础，用户所有业务人员通过调用基 础数据来保持同一数据在整个系统中的唯一性。所