首页 金融大数据中心建设规划

金融大数据中心建设规划

举报
开通vip

金融大数据中心建设规划金融大数据中心建设规划目录TOC\o"1-5"\h\zHYPERLINK\l"bookmark4"\o"CurrentDocument"数据中心核心信息数据情况3HYPERLINK\l"bookmark2"\o"CurrentDocument"数据中心与外部系统信息交互情况4HYPERLINK\l"bookmark6"\o"CurrentDocument"数据中心目前的数据存储情况42、数据中心系统现状5系统架构5HYPERLINK\l"bookmark8"\o"CurrentDocumen...

金融大数据中心建设规划
金融大数据中心建设规划目录TOC\o"1-5"\h\zHYPERLINK\l"bookmark4"\o"CurrentDocument"数据中心核心信息数据情况3HYPERLINK\l"bookmark2"\o"CurrentDocument"数据中心与外部系统信息交互情况4HYPERLINK\l"bookmark6"\o"CurrentDocument"数据中心目前的数据存储情况42、数据中心系统现状5系统架构5HYPERLINK\l"bookmark8"\o"CurrentDocument"功能描述5HYPERLINK\l"bookmark10"\o"CurrentDocument"面临的问题63、项目建设目标6HYPERLINK\l"bookmark12"\o"CurrentDocument"业务目标6HYPERLINK\l"bookmark14"\o"CurrentDocument"建立数据模型分析平台,开展持卡人交易行为分析6HYPERLINK\l"bookmark16"\o"CurrentDocument"建立基于大数据平台的海量数据统计平台7HYPERLINK\l"bookmark18"\o"CurrentDocument"能满足对海量历史数据进行快速查询的要求7HYPERLINK\l"bookmark20"\o"CurrentDocument"技术目标7数据模型类商户交易汇总 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 奧塔交易汇总表全民忖、联通、实名支讨二狀己上线传舷易流水™151、数据中心数据现状数据中心核心信息数据情况银联全療水清分慕境涼水结算系统潦水新一代増值涼水二代潦水躱舎滝水預忖卡系统潦水分玄机构本地埴值潦水手机平台交易滝水谁实时茨冰=数据中心对外展示功能主要基于业务数据查询平台,其主要功能包括:关键指标展示、多维分析、专题明细查询、常用数据浏览、静态报表下载以及部分业务参数管理和维护。数据中心保存的数据主要包含三大类:交易流水类数据、商户档案类数据和汇总统计类数据,均为结构化数据。1.2据中心与外部系统信息交互情况UI屮k交易壷水异入/■实时谎水同步资金信息导入£L!-:新一代交易疽水矣入侯时抿丈导人Ulink^h资登泵统1.3数据中心目前的数据存储情况数据中心目前数据量情况为全库18T,其中流水类数据为10T包括综合流水(90亿条 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 ),新一代增值流水(FJNL),清分流水。每日增量流水约1200万条记录。商户信息数据按天保存,商户数约为300万,终端数约为480万。每天数据量约为10G。2、数据中心系统现状系统架构功能描述新一代流水、清分流水、结算流水和BMS商户数据分别以文本和oracledmp格式通过ftp方式传输到数据中心服务器上每天定时由批处理服务器通过批量框架:C++)调用批量过程按分支机构并发地将文件或DMP包导入数据库中。并通过调用存储过程完成数据的清洗、关联、数据补齐工作。批量过程完成元数据加工工作后,按各种业务维度按天、按月汇总交易数交易金额和收益等数据并生成关键指标数据。目前数据中有各种维度的汇总统计表80余张。完成汇总后批量框架服务会根据关键指标数据生成cognoscube并刷新cognos服务;同时报表生成程序会根据中间汇总表生成预定的报表文件。终端用户以web访问方式通过查询平台可以查询定制的报表或者通过cognos组件以仪表盘方式查询各动态报表。用户亦可通过拖拉拽方式自由组合维度和度量生成报表 表格 关于规范使用各类表格的通知入职表格免费下载关于主播时间做一个表格详细英语字母大小写表格下载简历表格模板下载 ,通过cube可以实现数据的多维分析和动态钻取。2.3面临的问题1.单库查询方式的数据存储容量有限,很难做到数据的长期保存和查询。2.新增中间统计汇总需求或者中间统计汇总口径发生变化时,对存量数据的重新汇总需要耗费很漫长的时间。3.无法满足海量历史数据随机查询的需求。4.数据备份困难,超大容量数据库在备份和恢复方面存在很大困难,成本极高。5.数据分析处理能力有限,仅能按日进行数据统计,无法进行海量数据抽取运算。3、项目建设目标业务目标大数据建设工作主要包括:3.1.1.建立数据模型分析平台,开展持卡人交易行为分析持卡人交易行为分析是已交易流水中的卡号为对象,根据持卡人历史消费情况进行数据拟合,根据一笔实际消费信息快速计算出该持卡人下一笔可能的消费目的,为精准营销提供支持。持卡人行为分析除了分析模型建立外,还包含了商圈的识别,目前我们已对部分商户地址进行了坐标化(百度坐标)。该行为分析的时限要求是1秒内且在1000TPS的情况下延时不超过5秒。3.1.2.建立基于大数据平台的海量数据统计平台海量历史数据统计要求是非实时的,是针对一定统计口径进行汇总的批处理要求例如一定统计口径下针对90亿条流水按天生成汇总的中间结果,速度要求是小时级。能满足对海量历史数据进行快速查询的要求海量历史数据快速查询要求对海量历史流水按一定条件进行快速查询,需实现分页技术。此需求要求搜索的数据量大,响应速度快,要求能在分钟级内从大数据平台返回数据集给前端应用。技术目标1.具备强大计算处理能力和存储能力。2•采用X86框架服务器,无需采购高端机器(小型机)节省硬件投入。3•尽可能保持现有基于SQL92 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 的使用习惯,也不排除对应用进行适当修改以适应新的数据库层架构。4•提供使用灵活方便的数据接口,供各类业务系统对数据进行快速查询。5•节点扩展快捷,不影响现有节点工作。
本文档为【金融大数据中心建设规划】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
is_072127
暂无简介~
格式:doc
大小:199KB
软件:Word
页数:9
分类:
上传时间:2020-07-18
浏览量:1