Microsoft SQL Server&Windows Server成功案例——中国海关

微软云数据平台助力海关构建动态数据仓库 优化资源配置并提升关务处理效率 概况 国家或地区：中国 行业：政府 IT趋势：云计算 主要产品： Windows Server 2012 SQL Server PDW 2012 SQL Server 2012 客户资料 海关总署是中华人民共和国国务院下属的正部级直属机构，统一管理全国海关。是国家进出境监督管理机关，实行垂直领导体制。基本任务是出入境监管、征税、打私、统计，对外承担税收征管、通关监管、保税监管、进出口统计、海关稽查、知识产权海关保护、打击走私、口岸管理等主要职责。 业务情况 全国目前共有46个直属海关单位，600个隶属海关和办事处，通关监管点近4000个。分散的数据管理方式显然存在着不便于统一管控、资源得不到最佳配置等弊端。因此海关技术团队开始思考能否利用云计算，将数据按云的方式向用户提供服务，实现数据服务集中化、降本增效和真正意义上的动态可控。 解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 海关动态数据仓库项目组选择了微软产品与技术构建新一代海关动态数据仓库。在微软私有云基础架构的基础上，通过并行数据仓库实现对大型数据库表进行分区，并实现对数据请求的分级响应，最终实现以服务的形式提供数据，最终建成以北京、上海、广州云数据中心为基础的海关数据仓库云平台。 用户收益 ? 数据仓库云化 ? 以服务的方式提供数据 ? 统一管理各种平台 ? 实现资源的最优配置 “数据处理是一个很重要的能力。之前海关的数据都由各个部门分散去做，而我们想找到一个解决方案，将这些数据梳理并构建一个体系，从而提升海关整体的数据处理能力。微软的Windows Server 2012私有云平台加上最新的SQL Server 2012数据平台恰恰能够满足我们对灵活性、可管理性和成本效益的需求，使用微软的方案构建起的动态数据仓库，能够对各海关直属单位的业务需求进行分级化处理，从而实现资源的优化配置，实现关务工作效率的全面提升。“ ——中华人民共和国海关 动态数据仓库工程组 业务情况 海关体现了一个国家的国门形象，近年来中国海关通过努力不断优化通关模式、监管体系、管理机制和队伍素质。1.在通关模式方面，实行以企业守法管理为基础的分类通关，进一步提高通关效率；2.在监管体系方面，着眼提高海关监督管理整体效能，理顺三级事权，发挥一线监管、后续管理、打击走私等各方面力量的作用，加强与外部的沟通协作，建立起与“大通关”相适应的，综合性、整体性海关大监管体系；3. 在管理机制上，建立起 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 有序、运作顺畅、监督有效的工作运行机制，完善海关决策指挥、组织协调、督办落实、考核评估、监督检查、责任追究等管理 制度 关于办公室下班关闭电源制度矿山事故隐患举报和奖励制度制度下载人事管理制度doc盘点制度下载 。 业务效率的提升离不开IT系统的坚强支持，全国海关通过将早期的动态数据仓库升级部署到Microsoft SQL Server 2012云数据平台之上，实现了性能的大幅提升。例如，在全新的海关数据仓库云平台上，原先需要执行4个小时以上的一个复杂查询在SQL Server PDW上仅需2秒即可返回结果。原先最耗时的一个后台数据清洗转换导入ETL作业需要运行5-6个小时，在SQL Server PDW上仅用1分42秒就可以执行完毕。依托Windows Server 2012提供的云计算平台和SQL Server PDW (Parallel Data Warehouse) 带来的高性能数据仓库，海关的综合管理业务平台提供了即席查询、固定查询、多维分析、报表指标等各种数据处理功能。云计算与高性能，让海关各个部门高效联动审批成为可能。现在，业务人员可以几乎实时地通过指标分析发现业务中的风险点，能够立即通过发送联系处置单，要求相应部门进行处置。大幅提升关务处理效率，并为海关未来信息化的发展奠定坚实的基础。           业务背景 中华人民共和国海关目前共有46个直属海关单位（广东分署，天津、上海特派办，41个直属海关，2所海关院校），600个隶属海关和办事处，通关监管点近4000个。数万亿的进出口物流管控和繁杂的业务类型都离不开信息化的支持。 中国海关一向重视信息化对业务的支撑作用。多年前即建立起了用来支撑各直属海关业务的动态数据仓库系统平台。伴随着近年中国经济的飞速发展和与世界各地贸易往来的大幅增长，各种关务应用所采集的信息也呈现出爆发式增长的趋势。原有的架构和模式在新的形势下面临着一些问题和挑战，包括： 分布式的部署模式，后期运维成本较高 海关现有动态数据仓库采用了多年前较为流行的分布式部署方式，在各直属海关驻地部署数据库节点。目前已经部署的海关直属单位超过40家。早期的分布式的部署方式能够根据各地海关的业务进行定制，但随着全国海关业务系统的统一化和全新的海关关务处理模式，独立的分布式部署方式的弊端也开始显现出来。例如部署成本较高，设备重复投入造成硬件大幅增加，远端部署需要现场技术支持又带来了较高的后期运维成本。另外，由于各地存在信息技术水平发展和人员经验的差异，在部署过程中遇到问题后往往需要数周的时间进行协调和解决，会延误部署的正常进度。 用户需求多样化，难以全面满足 各个直属海关由于其所处的地理位置、货物运输方式和货物清关量的不同，其对数据的需求也各不相同。以报表时效为例，沿海地区的海关由于其需要处理的货物数量，货物的通关方式较多，因此需要为海关管理人员、报关员以及货主提供种类多样且详尽的业务报表，并且对报表的时效性要求较高。对于货物处理较少的地区，用户对报表的时效性需求相对较低。但由于现有的数据仓库缺乏分级处理的能力，无法根据报表的优先级进行自动化的处理，只能按照请求的“先进先出”进行队列化处理，在一定程度上会影响数据处理的速度，带来效率的降低。 IT环境复杂，管理难度大 全国海关系统运维着一个庞大且复杂的IT环境。整个IT环境中的业务应用基于海关关务的需求在比较长的历史时期中逐渐建立起来，业务系统所采用的底层基础架构和 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 方案存在着较大的差异。这种异构的系统给IT环境的管理带来了巨大的挑战，各直属海关的IT人员需要同时掌握不同系统的操作与运维技能。各地都需要将大量人员投入到日常的IT环境运维工作中。IT人员希望从繁重的运维工作中释放出来，可以将更多的精力放在IT的优化整合与发展规划上。。 资源投入与成本效益 经过数年的发展，海关信息化建设已经初具规模。全国海关在硬件与软件方面的投入希望取得较好的成本效益。但受到架构和技术条件的制约，现有的IT系统和数据仓库的配置不能实现最优化的配置。基于这一现状，海关希望采用目前IT业界最具前沿的云技术，将现有基础架构、数据平台、应用和数据进行全面的整合，优化资源配置，从而实现在利用IT方面的投资提升海关关务处理效率，为相关国家机构、国内外用户提供全面、高效的海关服务。 解决方案 针对以上各种问题和挑战，海关动态数据仓库工程组项目组决定重新设计和规划全国海关动态数据仓库平台，引入最新的云计算概念，为海关提供灵活、动态、高效、可管理的IT与数据服务。 整体解决方案的核心包括以下几个方面： 实现云数据中心集中化部署： 在北京、上海、广州等地设立数据中心，各海关直属机构以就近原则将IT系统与数据中心相连接。各数据中心的底层基础架构采用Windows Server 2012云操作系统进行搭建，通过微软最新的Hyper-V 3.0服务器虚拟化技术将所有硬件设备的计算能力整合到一起，形成资源池，以此为上层数据平台及应用提供灵活的高效的支持。通过System Center 2012对基础架构的进行全面的管理，包括虚拟机的分配、云计算管理以及应用程序监控。 图：通过自助服务门户配置海关动仓 构建并行数据仓库，实现分级处理： 在基础架构之上，通过Microsoft SQL Server 2012 PDW构建并行数据仓库。SQL Server 2012 PDW是可扩展的数据仓库平台，通过大规模并行处理提供高性能和可扩展性。SQL Server PDW 使用 大规模并行处理，即MPP的方式进行分布式处理和数据存储。PDW可跨多个物理节点对大型数据库表进行分区，每个节点运行自己的 SQL Server 2012 实例。当报表连接到 SQL Server PDW 以查询数据时，它将连接到 SQL Server PDW 中的控制节点，该节点负责管理查询，将查询分别发布到计算结点进行处理。建立连接后，无论是使用 SQL Server PDW 环境内部还是外部的 SQL Server 实例，都没有任何区别。 同时它还可以根据查询规模的不同，自动化设立分级响应机制： 1、对于高等级需求使用PDW 并行数据仓库解决方案予以满足； 2、对于中等级需求使用HPCC高性能计算集群解决方案予以满足； 3、对于普通等级的需求使用性能普通的SQL服务器予以满足。 同时，PDW中自带的PolyBase可以充分支持未来海关业务对关系型数据库和大数据的整合，可以灵活地从Hadoop或关系数据库中抽取并搭建与数据有关的业务应用，为业务发展提供更为坚实的数据支撑。 通过自助服务门户和自动化流程交付服务： 在微软中国云计算创新中心的帮助下，海关动态数据仓库项目组引入最新的Windows Azure Service for Windows Server 构建简单直观的自助服务门户。将用户所需的查询、程序代码进行预先定义，整合进自助门户的服务流程。不同的用户可以通过自服务门户，提交请求，系统将自动根据请求的类型、优先级进行处理，实现把数据库和数据仓库作为服务提供。根据未来业务发展的情况，用户还可以通过自服务门户从动态数据仓库中申请不同等级的数据服务。实现服务的自动化部署和交付。 图：通过基于Web的服务实现查询语句维护 用户收益 全国海关在采用微软私有云及数据平台解决方案构建动态数据仓库应用后，成功解决了早期部署架构与当前数据大幅增长对数据平台需求的矛盾，并取得了显著的收益，这些收益包括： 数据仓库云化 云计算是目前IT业界的发展趋势，海关动态数据仓库项目组选择微软虚拟化和私有云解决方案将现有的IT基础设施进行云化，形成统一的资源池。在此基础之上，采用微软并行数据仓库（Parallel Data Warehouse，简称PDW）进行高性能的数据存储与管理，将数据处理执行从原来的物理节点迁移到了在云引擎中，并重新设计应用，将其以服务的方式提供给用户。通过这种部署模式包括北京、上海、广州等多个云数据中心为基础的海关数据仓库云平台设计应运而生，它包括动态数据仓库云门户、动态数据仓库云引擎和最上层的Web应用云部署中心。得益于Windows Server 2012、Windows Azure和Microsoft SQL Server 2012对云的优化，海关成功建立起了以数据为核心的管理体系，为用户提供高水平、高效率的平台，并对海关应用提供全面有效的支持。 图：快速创建符合业务需求的云数据库 以服务的方式提供信息 数据处理能力是海关关务应用的重要指标，动态数据仓库的建立使全国海关系统可以更好地应对每日大量的结构化与非结构化数据。将海关动态数据仓库升级到Microsoft SQL Server 2012 PDW之后，性能得到了几百倍至上千倍的提升。例如，原先需要执行4个小时以上的一个复杂查询在PDW上仅需2秒即可返回结果。原先最耗时的一个后台数据清洗转换导入ETL作业需要运行5-6个小时，在PDW上仅用1分42秒就可以执行完毕。依托Windows Server 2012提供的云计算平台和PDW带来的高性能数据仓库，海关的综合管理业务平台提供了即席查询、固定查询、多维分析、报表指标等各种数据处理功能，为业务决策打下了坚实的数据基础。云计算与高性能，也让海关各个部门高效联动审批成为可能。采用微软云数据平台构建的动态数据仓库以服务的形式为海关各业务应用提供数据，让使用者无需关心数据的存储位置与方式，只需通过自助服务门户提交相应的请求，即可获得结果，从而有效的提升海关工作人员的效率。