存储能力详细
方案
气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载
参考12020年4月19日文档仅供参考1.1.1.1.1.1Hadoop存储能力详细方案Hadoop采用HDFS作为其底层文件存储方式。HDFS是分布式文件系统,适合于存储大数据文件,经过将大数据文件切分成多个小数据文件,而且分散存放在多台DataNode服务器,同时提供数据冗余机制保证数据安全。本次Hadoop存储节点为:300台DataNode服务节点。存储数据安全及分配机制:采用3备份机制保证数据安全,同时为系统保留10%的临时数据交换空间,当数据量超过集群总容量的90%时,建议增加节点。存储总容量:300台数据节点,每个节点36T的磁盘容量,除去10%的临时数据交换空间,同时HDFS中一份数据存放着3份备份;最终存储容量公式如下可用存储容量=节点数*单节点磁盘容量*(1-临时数据交换空间比例)÷HDFS文件备份数量;即:可用存储容量=300×36×(1-10%)÷3=3240T;目录规划:针对不同的数据用途和支撑方式进行存储容量划分,存放在HDFS中的数据分为接口层,处理层,共享层。接口层主要为原始数据,处理层为存放在HDFS中数据经Hive映射之后数据,共享层为经数据深度沉淀之后存放在HBase中。接口层:总容量*50%处理层:总容量*30%22020年4月19日文档仅供参考共享层:总容量*20%1.1.1.1.1.2Storm存储能力详细方案Storm流数据处理采用linux文件系统作为其存储,数据盘采用raid5保证数据安全。存储总容量为:30台服务器,每台36T,采用Raid5磁盘阵列之后,数据容量为原来的75%,并建议预留10%的空间;最终可用存储计算公式如下:可用存储容量=节点数*单节点磁盘容量*Raid5后的磁盘容量比例*(1-临时数据交换空间比例);即:可用存储容量=30×36×75%×(1-10%)=729T;1.1.1.1.1.3Redis存储能力详细方案Redis包含平台Redis内存数据库和前置Redis内存数据库,平台Redis内存数据库集群用于存放Storm处理后数据,对外提供低延迟数据服务;前置Redis内存数据库存放应用级数据对外提供服务。平台Redis内存数据库集群:集群经过一台路由服务器根据一套算法将
表
关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf
的Key值打算后分散存放到7个RedisMaster服务器中,同时每一个Master节点对应一个Slave节点保证数据安全,经过路由服务器实现高可用。存储容量为:14台数据服务器,7个Master节点,对应7个32020年4月19日文档仅供参考Slave节点,每一节点内存为512G,为保证KV查询的高效性,建议预留30%的空间;最终可用存储计算公式如下:可用存储容量=节点数÷热备*单节点内存容量*(1-预留空间比例);即:可用存储容量=14÷2×512×(1-30%)=2508.8G;前置Redis内存数据库:前置Redis内存数据库中,数据表分别分别存放在不同的节点,同时内存中数据定期备份到本地和远程磁盘,经过该方式在保证了数据安全的同时针对多租户的场景实现了资源隔离。存储容量为:前置数据服务器,每一节点内存为512G,为保证KV查询的高效性,建议预留30%的空间,最终可用存储计算公式如下:可用存储容量=节点数÷热备*单节点内存容量*(1-预留空间比例);即:可用存储容量=4×512×(1-30%)=1433.6;1.1.1.1.1.4Mysql存储能力详细方案Mysql关系型数据库存储放深度汇总模型数据,支撑能力封装组件,为上层应用提供数据服务器;其中支撑业务数据节点数为8台,管控数据节点数为2台。业务数据MySql数据库:Mysql服务器的数据存储将采用Raid5磁盘阵列划分,以满足数据安全及高可用性。42020年4月19日文档仅供参考服务器存储容量:8台MySql服务器,每台24T,采用Raid5磁盘阵列,存储量变为原来的75%;最终可用存储计算公式如下:可用存储容量=节点数*单节点存储容量*Raid5后的磁盘容量比例;即:可用存储容量=8×24×75%单位/T管控数据MySql数据库:Mysql服务器的数据存储将采用Raid5磁盘阵列划分,以满足数据安全及高可用性。服务器存储容量:2台MySql服务器,每台24T,采用Raid5磁盘阵列,存储量变为原来的75%;最终可用存储计算公式如下:可用存储容量=节点数*单节点存储容量*Raid5后的磁盘容量比例;即:可用存储容量=2×24×75%单位/T52020年4月19日