大数据平台数据管理解决方案

大数据平台数据管理解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 数据保护现状与挑战解决方案应用场景1234销售 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 和竞争分析大数据平台数据保护现状与挑战大数据平台的特点5节点数量多分布式架构，由几个到几十个，甚至成百上千节点组成。数据增长快初始规模较小，但增长迅速，数据总量可达几十TB甚至PB级别高可用机制自身提供多副本机制，应对硬件故障大数据平台的数据保护现状很多用户对大数据平台并不进行数据备份6“还有原始数据存在”“自身副本机制已经足够”覆盖范围和保护方法存在局限数据保护通常只覆盖以下数据：未采用冗余机制的数据数据分析结果生产数据依赖大量手工或脚本操作只能备份每日增量大数据平台数据管理面临的挑战副本变孤本大数据平台运行一段时期后，原本是副本的业务数据在大数据平台成了孤本防范逻辑错误“内置的多副本机制”无法防范逻辑和人为故障，也无法实现多版本数据保留。数据激增庞大的数据规模和快速的增长速度使得数据保护和长期保留成为难题重要性提升越来越多的业务依赖大数据平台，系统重要程度不断提升，手工和脚本已经无法满足需求。7保护大数据的方法大数据平台数据保护解决方案性能驱动新的分布式架构，多节点并行备份/恢复，支持LAN-Free、全备、增量及合成。备份及恢复性能可达30TB/H。应用感知与大数据环境集成，优化性能，简化管理。一个管理策略即可实现多节点并发备份及恢复。降低成本内嵌扩展重复数据删除、数据压缩、加密功能、数据归档和软件定义存储，能有效降低多版本保留的费用。编排恢复简便的数据恢复、跨集群及开放文件系统恢复，提供灾难恢复保护，以及安全共享访问。\\Namespace分布式App数据保护技术实现新建分布式应用策略应用集成性能(multistream)分级保存/Cloud分布式文件系统服务器（重定向文件I/O）集群文件系统管理器(命名空间)文件系统命名空间SAN交换机SANVolume卷文件访问集中管理/编排协调行动/搬迁数据MasterClient建立集中保护策略与主服务器集成选择应用环境(无需脚本)安全规则，告警和作业管理Workerroles在数据节点安装客户端，Master服务器协调整个保护策略多数据访问节点传输数据，负载均衡源端去重，数据压缩和加密，包括LAN-FREE选项集中管理并行备份和恢复数据保护整体架构BigDataClusterNameNodeCommServeMediaAgentsTieredStorageCloudTapeDiskHyper-scale软件定义存储Hyper-scale弹性扩展的存储方式内嵌分布式的软件定义存储作为备份或归档存储设备降低传统存储投资和品牌锁定NFS接口允许直接访问备份存储库超过80%的使用率，将硬件价值最大化12SoftwareDefinedHyper-ScaleStoragePoolControlNodeInternalDisksDataNodeInternalNetworkDynamicExpansion应用场景应用场景HDFSHadoopHadoop是一个开源的分布式平台，可在通用硬件上构建互联网规模的处理能力内置复制和自修复机制，可防范硬件故障，但不提供时间点（PIT）恢复功能多副本机制使得Hadoop平台上的存储空间占用增长迅速（三倍空间占用）15BigDataMAPREDUCECopyFromLocalUsefulDataUsefulDataCopyFromLocal保护Hadoop数据降低风险：为Hadoop用户提供时间点恢复功能，消除逻辑错误和误操作风险。高效灵活：利用Hadoop自身的API实现多流并发备份，提高备份性能的同时也实现了数据保护架构的高度弹性。分层管理：基于对数据的理解，可将过期数据迁移至长期存储库，实现数据分层。16IBMGPFSIBM的大规模扩展文件系统，专为在全局命名空间中运行高性能计算 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 在航空航天，政府，医学研究，图像处理、建筑等成熟的大数据环境中得到广泛应用基于Linux系统，需要大量定制化，管理复杂。TheIBMGeneralParallelFileSystemTM(GPFSTM)Shippingsince1998ExtremeScalabilityFilesystem263filesperfilesystemMaximumfilesystemsize:299bytesProduction19PBfilesystemNumberofnodes1to8192ProvenReliabilityNospecialnodesAdd/removenodesandstorageontheflyRollingupgradesAdministerfromanynodeDatareplicationSnapshotsFilesystemjournalingManageabilityIntegratedtieredstorageStoragepoolsQuotasPolicy-drivenautomationClusteredNFSSNMPmonitoringTSM/HPSS(DMAPI)©2012IBMCorporation17保护GPFS数据简便：策略驱动的保护机制，帮助用户管理复杂和高度定制化的环境。先进：支持永久增量，大幅缩减备份窗口，优化SLA自助：基于web的自服务界面，帮助最终用户自助式的进行数据恢复，降低IT部门的工作量。18Greenplum高性能大规模并行集群数据库，分布式部署在PostgreSQL数据库节点上用于大型的数据库深度运算，如股市预测，天气预报，航空遥测等数据库规模通常过于庞大，难以有效进行数据保护19保护Greenplum数据解锁：中立的数据保护软件，赋予用户对数据的控制能力，降低对于供应商服务的依赖。高速：多流并行的数据备份机制，大幅度提升数据保护的速度和效率编排：通过工作流引擎进行编排，使得数据和灾难恢复不再成为难题20Cassandra开源的分布式NoSQL数据库系统最初由Facebook开发，用于储存收件箱等简单格式数据，集GoogleBigTable的数据模型与AmazonDynamo的完全分布式架构于一身良好的可扩展能力和性能，在众多知名网站有大规模应用21保护Cassandra数据专用的数据保护代理模块单一界面管理整个Cassandra环境支持全备和增量备份支持细颗粒度数据恢复支持故障节点的更换恢复支持跨集群和跨版本备份恢复22CassaniDataAdragentBackupStreamCassandralogicalsnapshot 案例 全员育人导师制案例信息技术应用案例心得信息技术教学案例综合实践活动案例我余额宝案例 分享用户案例:非结构化数据湖保护27需求与挑战:使用Hadoop作为辅助的非结构化数据存储环境内置复制机制无法满足数据保护需求越来越多的部门开始依赖这个辅助存储环境，而它并没有得到有效保护数据保护选项比生产存储更昂贵解决方案支持分布式部署的客户端软件，允许用户保护Hadoop中的全部数据在相同的数据湖中，允许使用不同的策略保护数据，实现数据保护的SLA分级采用软件定义存储作为备份数据存储（SoftwareDefinedDataServices）有效节省后端存储成本通过统一的数据管理平台，同时满足数据备份、归档和安全需求。用户收益降低风险：完善的数据保护方案，降低数据风险节约成本：自服务和软件定义存储，降低服务和存储的资源投入提高效率：多流多节点并发备份恢复，提高数据保护效率简化管理：全图形化一体化管理