基于数据仓库的银行监管报表系统研究

基于数据仓库的银行监管报表系统研究 摘要:为适合新形势下金融监管工作的要求，解决大数据、高并发、低时延情况下监管报表的填报、加工、展现等问题，构建了基于数据仓库的银行监管报表系统，提出了特色的报表数据建模方式，进一步探讨了智能化公式解析引擎、主从式报表填报、动态化作业调度等技术。实验结果表明，该 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 具有很好的应用效果。 关键词:监管报表;大数据;数据仓库;数据模型 0引言 面对当前错综复杂、各种因素相互交织、相互演变的国内外经济金融发展形势，商业银行进行战略转型、业务规划、风险管控需要依靠完备、持续性的数据体系才能进行科学决策，数据质量已成为银行可持续性发展的生命线。中国银监会在2011年下发了《银行监管统计数据质量管理良好 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 》[1]，督促各银行进一步提高监管统计数据质量，夯实监管基础，建立适应监管统计工作需要的、完善的监管统计系统。 随着监管部门对商业银行的监管要求不断提高，报表越来越多、数据内容越来越细、审核越来越严格，如银监会在2010年创立“腕骨”(CARPALs)监管指标体系，其中的资本充足率、流动性覆盖率、净稳定融资比例等指标，不仅需要专业解析，还涉及压力场景设置和对未来的判断，加工 规则 编码规则下载淘宝规则下载天猫规则下载麻将竞赛规则pdf麻将竞赛规则pdf 非常复杂。这些数据无法像以往一样依靠手工填报，或简单逐级汇总得来，必须采用全行监管数据大集中的模式 统一加工生成，否则就违背了指标的内在业务逻辑，其结果也必然经不起监管检查。 数据仓库是一个面向主题的、集成的、非易失的、随时间变化的用来支持管理人员决策的数据集合[2]。它为有效地支持企业经营管理决策提供了全局一致的数据环境，也为历史数据综合数据的处理提出了一种行之有效的解决 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 。数据仓库的兴起，使其成为了当前普遍流行的决策支持系统解决方案。它应用于决策支持系统中，能够增强决策的客观性和实用性、提高数据查询 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 的效率、具有强大的数据分析工具、具有动态扩展能力。许多学者对基于数据仓库的信息系统建设进行了研究。文献[3][4]讨论了数据仓库在银行绩效考核领域的应用，实现对全行考核对象的全面科学考核;文献[5]研究了银行数据仓库系统及非现场稽核监控平台和监控后分析的实现方式;文献[6][7][8]开展了数据仓库在银行个人信贷、银行卡、中间业务等不同业务领域中的应用研究。 这些研究虽然对数据仓库的应用进行了探讨，都没有讨论如何在银行信息披露领域应用，提出构建银行监管报表系统的完整解决方案。本文结合监管数据大集中模式的特点，不仅给出了全面的系统架构方案，还探讨了数据模型及关键技术，并测试验证了系统具备良好的可行性、可用性和可靠性，为银行落实数据标准、保证数据质量、固化管理流程提供了重要的科技支撑。 1问题描述与系统架构 1.1问题描述 为适应新形势下监管报送的工作要求，在监管数据大集中模式下建设监管报表系统，满足监管报表的时效性、准确性等要求，面临着架构、数据、功能等多个层面的巨大挑战。在架构层面，系统具有数据存储量大(年增量达数十TB)，数据加工任务繁重(数十亿条记录的加工)、处理时间有限(8h内完成)等特点。因此，架构设计需要考虑如何实现性能的提升，如何保证系统的安全可靠。在数据层面，由于数据自动加工率是衡量报表质量状况(完整、准确、一致)的重要指标，为提高监管报表自动化加工水平，需要考虑如何实现更全面的数据采集能力，更有效的数据清洗方法，更科学的数据模型设计，更准确的数据质量监测分析;在功能层面，为实现监管报表的统一开发、统一运行、统一展现、集中管理，需要提供完善的报表设计、生成、展现、管理功能，特别是要满足全国所有支行、分行、总行用户在月初2h内完成数十张报表的补录工作，支持用户高并发场景，实现监管报表的按时报送。 因此，银行监管报表系统的建设，既需要考虑功能性需求，实现各项业务功能，又需要数据需求，灵活响应监管报表需求，更需要关注非功能性需求，保证系统的高可用性、可靠性及可扩展性。 1.2系统架构 1.2.1逻辑架构 银行监管报表系统的逻辑架构如图1所示。整个架构由3部分组成:源系统、数据仓库和监管报表系统。其中，源系统是数据仓库的数据来源，包括银行的各类业务源系统;数据仓库是监管报表系统的 基础，全面采集银行的业务源数据，进行数据的集中加工处理、存储，形成全行级的统一数据视图，通过建立监管数据集市，支持系统进行数据查询、分析、监测等;监管报表系统则为满足外部监管报送的具体需求，提供了报表配置、报表填报、报表查询、报表生成、报表组装、监测预警及系统管理等功能。 1.2.2数据架构 为了建立全行统一的监管统计数据架构，实现客户、机构、账户等基础信息的口径一致，以及不同主题业务应用的数据共享，同时可灵活定制指标以应对报表需求变化，银行监管报表系统数据架构如图2所示。 (1)操作数据层:对于加载的源系统文件进行简单的清洗处理，尽量保持业务数据原貌，保留源系统的原始和历史数据，基本上直接按照源系统数据结构建模。 (2)基础数据层:基于第三范式规范，按客户、产品等主题进行数据建模，形成企业级的统一数据视图。 (3)汇总数据层:对来自操作数据层和基础数据层的基础明细数据进行预关联、预计算、预汇总，形成数据元模型，同时提炼不同应用的共性需求，形成标准统一、口径一致、可复用的基础指标。 (4)数据集市层:面向具体应用需求，按需进行模型设计，形成应用指标模型。 (5)报表数据层:针对不同的报表需求，解析报表维度、度量及包含的指标项，形成报表数据模型。 1.2.3物理架构 银行监管报表系统物理架构如图3所示。其中，数据仓库的组成主要包括ETL服务器、数据仓库处理服务器、备份服务器与磁带库、数据管控服务器和调度服务器;监管报表系统自身包括数据库服务器、Web应用服务器集群和负载均衡设备。在此架构方案中，充分考虑系统的高可用性，监管报表系统与数据仓库所使用的数据库服务器互相独立，由此保证二者在加工处理时不会相互影响。各数据库服务器均采取双机热备份机制，Web应用服务器采取集群架构，确保系统稳定运行，关键数据不丢失。为应对全行用户高并发访问的压力，使用负载均衡设备，将用户访问压力均匀分配到每台应用服务器上，提高系统整体并发能力及平均响应时间。此外，在可扩展性方面，可以通过增加系统的CPU、内存提升处理能力，通过增加服务节点扩充Web应用服务器集群架构。2数据仓库及报表数据模型 2.1多维数据模型 数据仓库的数据主要有两种组织方式:一是基于关系数据库的维表-事实表结构的多维表形式;另外一种是基于多维数据库的超立方体结构形式[9]。考虑数据处理的性能及数据集成的方便，这里采用维表-事实表结构来实现多维数据模型。多维数据模型由事实表和维表组成[10]，事实表存储实际的数据，维表存储事实表中对象的属性，事实表和维表的关联关系，呈星型结构。一个多维数据模型的事实表数据是经过机构、币种等维度汇总之后的标准数据，具有通用性。而维度通常分为固定维度和自定义维度，时间、机构和币种是固定维度， 其它如贷款分类等维度是自定义维度。在数据仓库中，数据是面向主题进行组织的。主题是在较高层次上将企业信息源中的数据综合、归类并分析利用的抽象。在监管报表系统中，共建立了总账类、存款类、贷款类、流动性风险类、假币类、支付结算类、最大类等七大类业务主题的多维数据模型。以贷款余额为例，其多维数据模型如图4所示。 2.2监管报表数据模型 银监会、人民银行、外汇管理局等监管部门的报表需求各异、表样不一，例如按展现方式可分为行列固定报表、行固定列不固定报表、列固定行不固定报表等。对于这些纷繁复杂的报表需求，通过建立报表数据模型，对报表进行层层解析，从而明确报表含义、加工规划及数据来源，最终完成报表的加工实现。 在报表数据建模过程中，报表可视为由一个个应用指标组成。应用指标一般是指对一类统计对象，按照一定维度进行分类之后的计算加工结果。在指标定义过程中，业务人员可以根据业务相似或应用相同数据字典等因素，选择报表表样填报区中的一项、一列、一行，或者一个矩形框范围内的所有项定义为一个指标，该指标是用户想最终应用的数据，即应用指标。典型的监管报表数据模型如图5所示。 在明确应用指标后，可以进一步进行应用指标解析。每个应用指标由基本指标和基本维度组合而成，基本指标是最小的业务含义度量单位，不包含信息的类别、类型、状态、标识、分层等性质的描述性语言，例如贷款余额。基本维度是最小的业务加工和汇总规则，例如风险分类、资产类别等。 通过对报表及应用指标的解析，可以获得应用指标的编号、名称、定义等基本属性，以及应用指标所包含的基本指标、基础维度在银行信息系统中所对应的信息项(字段)及信息项取值规则，最终完成报表的加工实现。报表数据建模流程如图6所示。 3系统关键技术 3.1智能化公式解析引擎 监管报表中普遍存在勾稽关系。所谓勾稽关系，是指某个报表和另一报表之间以及本报表项目的内在逻辑对应关系，一般通过设置报表公式来体现。由于监管报表规则的复杂性，公式类型十分繁多，可分为计算公式、校验公式、预警公式，还可分为行公式、列公式、单元格公式、要素公式等。为此，通过体系化地提炼不同公式的语法规则，构建了监管报表公式体系。公式体系由标识符、运算符和函数库组成。例如，公式C1=C2,C4，其中，C是列标识符，“=”是运算符，“,”是连加函数，该公式表示将报表的第2、3、4列分别汇总后相加并赋值到第1列。对用户定义的公式，利用词法分析器Lex、语法解析器Yacc等技术开发了智能化公式解析引擎，可实现对公式的词法、语法、语义的自动化分析，并最终生成数据库可执行的SQL代码。例如，公式C1=C2,C4，经解析之后得到的数据库SQL语句为:UPDATE目标表SET列1=SUM(列2)+SUM(列3)+SUM(列4)。在此过程中，整个报表的加工处理实现了自动化、无人工干预，从而也提高了报表数据的准确性。图7所示是公式解析引擎技术架构。 公式引擎主要由4部分组成:?词法分析:主要负责接收用户输入的公式字符串，通过定义正则表达式的切分规则，将公式拆解成若干个子token，通过Lex和Yacc的接口共用体，将词法分析的结果返回给语法分析器，再做进一步的语法解析;?语法分析:主要负责接收词法分析处理之后的token标识符，通过定义语法的归约移入规则，完成公式的语法检查，最终为语义分析程序生成语法分析树;?语义分析:主要负责接收语法分析以及性能优化之后的语法分析树，自顶向下递归地遍历整棵语法分析树，获取各分支节点以及叶子节点的信息，形成存储语义信息的结构体，语义信息结构体中包含了拼接SQL语句中各组成部分的基本信息;?目标代码生成:主要是以语义分析阶段的语义信息结构体作为输入，生成最终数据库中可以执行的SQL语句。 3.2主从式报表填报模式 根据监管部门要求，每月月初会集中开展监管报表报送工作。因此，月初报表手工填报和报表展现查询的用户数量庞大，要求系统能够在用户高并发访问时，仍然保证所有功能均能流畅、正常使用。面对全行用户集中填报的压力，系统采用了基于C/S的主从式报表分布式处理方案，利用ActiveX控件技术及轻量级嵌入式数据库SQLite，开发了一个可安装于客户端浏览器的报表填报插件。通过该插件，可以将监管报表系统数据库服务器(主数据库)中已加工完成的报表铺底数据下载到用户主机，用户在铺底数据的基础上开展报表补录、调整等操作，之后利用用户本地的数据库资源(从属数据库)完成补录 调整数据的计算、校验、折算等功能。Web应用服务器主要提供版本验证、报表信息下载、文件上传等服务。该方案减少了用户客户端与应用服务器、应用服务器与数据库服务器之间的数据交互，极大减轻了数据库服务器的资源消耗，提高了用户补录的效率。图8所示是报表填报插件技术框架。 3.3动态化作业调度管理 在监管报表数据加工过程中，为提高报表处理性能，缩短报表加工时间，通过对报表数据的依赖关系分析，即以公式为处理单元，利用公式拆分、字符串匹配、去重等方法确定公式之间报表之间的依赖关系，再采用层次化拓扑排序算法，构建公式的依赖关系图，自适应地调整公式计算顺序，实现动态化作业调度管理。该模式下，系统能够自动判断作业之间的依赖关系，并行执行公式计算任务，改变了以往公式只能串行计算、很多公式都在盲目等待的模式，极大提高了作业链的处理效率以及资源利用率，使报表总加工时间缩短了约1/3，为后续的报表填报工作争取了更多宝贵的时间。图9示意了以9个公式为例子的公式计算在串行及并行计算模式下的时间对比情况。4系统实证分析 为验证系统性能，采取实验模拟实际业务处理情况的方法，选取交易量最大、最集中的高峰时间段支行填报场景进行测试。具体测试场景为:模拟系统访问总用户数为10 000人，用户数总并发为500人，在1h内完成登陆、报表填报、报表查询、报表汇总等所有交易。测试采用专业负载测试工具LoadRunner，测试环境包括4台PC服务 器作为Web应用服务器集群、1台小型机作为数据库服务器。测试结果如图10所示，该图记录了支行填报场景下系统各交易的TPS(Transaction Per Second)。从图10中可看出，所有的交易跑完用时55min左右，符合业务提出的在1h之内完成所有支行填报交易的性能要求。在约20min左右，一部分交易的TPS降下来，经分析系统处理没有出现异常，是有些处理速度快的交易先完成所致。 为验证系统的稳定性，仍然选取高峰时间段支行填报场景进行测试:系统持续运行8h。测试结果如图11所示。从图中可以看出在系统持续运行期间，各业务TPS曲线波动不大，TPS数值比较稳定，系统运行8h期间无宕机和内存泄露等现象。 5结语 监管报表内容广泛，涵盖财务、会计、风险等银行经营管理 各方面信息，需要及时、准确、真实地报送给外部监管单位。 本文提出了基于数据仓库技术的银行监管报表系统，通过合理的架构设计、科学的数据建模，实现对监管数据的集中存储、加工，以及监管报表的生成、组装、审核、报送。实验结果表明，该系统能够有效满足新形势下的业务发展需求，对于促进银行监管报送和数据集约化管理水平的提升，搭建数据统筹管理和决策支持服务的长效机制框架具有十分重要的意义。 参考文献: [1]中国银监会.银行监管统计数据质量管理良好标准[EB/OL]. f643b.html，2012. [2]William H. 数据仓库 [M].第4版.王志海，等，译.北京:机械工业出版社，2006. [3]仇焕之.基于数据仓库的银行绩效考核系统的研究及应用[D].广州:中山大学，2010. [4]姜亦忠.基于数据仓库的银行绩效考核系统[D].大连:大连海事大学，2009. [5]余宝娟，潘维民，赵峻岭，等.基于数据仓库的银行非现场稽核监控系统设计与实现[J].计算机与现代化，2006(8). [6]宋培钟，陆敬筠.基于数据仓库的银行个人信贷系统的分析与设计[J].金融理论与实践，2011(1). [7]熊齐，潘梅森.基于数据仓库的银行卡统计系统[J].微计算机信息，2006(12). [8]李佳航.基于数据仓库的银行中间业务系统研究[D].厦门:厦门大学，2008. [9]王珊.数据仓库技术与联机分析处理[M].北京:科学出版社，1998. [10]RALPH KIMBALL. The data warehouse lifecycle toolkit， second edition.数据仓库生命周期工具箱 [M].第2版.唐富年，孙媛媛，译.北京:清华大学出版社，2009.