大数据产品能力评测介绍

大数据产品能力评测赋能企业大数据能力建设中国信息通信研究院数据中心联盟大数据技术与产品工作组组长2017年7月25日提纲大数据产品能力评测实践2下一步 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 3背景1MPP数据库NoSQL数据库Hadoop生态大数据时代三架马车大数据时代技术架构的特点•以开源技术为主导•Hadoop生态（HDFS、Hive、HBase等）•NoSQL数据库生态（MongoDB、Cassandra等）•多种技术和架构并存•传统数据仓库•MPP架构•Hadoop架构（多种SQLonHadoop解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ）•Spark、Flink、Storm等计算引擎•ElasticSearch、Splunk等技术Onesizedoesn’tfitall大数据技术带来的挑战•大数据技术厂商–技术跟进和选型难–难以实现差异化发展–竞争无序，没有基本的门槛，劣币驱逐良币–底层平台离用户太远，无法引起用户重视•用户–技术和产品选型困难–技术体系复杂、人才储备不足–使用和运维的门槛提升 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 化和评测的意义用户方便用户选型供应商解决供应商和用户之间巨大的信息鸿沟共性的评估体系和标准将复杂的产品转化为容易理解的指标•保证厂商之间有序竞争•建立行业门槛，提升供应商服务能力提纲大数据产品能力评测实践2下一步计划3背景1大数据产品能力评测发展历程20163-4月底20156-8月底16年10月-17年3月20166-8月底第一批评测华为、移动、星环、中兴、Ucloud5家企业通过了大数据基准测试第二批评测腾讯云、新华三、星环、明略数据、东方金信、博易智软6家企业通过了Hadoop基础能力评测第三批评测2家厂商通过了Hadoop基础能力评测，5家厂商参加了性能专项评测第四批评测9家厂商参加本次Hadoop基础能力评测，5家MPP数据库厂商参加了MPP数据库基础能力评测已经有24家的25个产品通过评测，其中包括21款Hadoop产品，5款MPP数据库产品第五批测试正在进行中，目前有10家企业参与性能评测，有10家参与基础能力评测国内首个大数据产品评测体系评测体系基础能力指标导向Hadoop平台性能场景导向MPP数据库NoSQL数据库大数据产品基础能力认证包括八大项：功能、运维、多租户、可用性、安全、兼容性、易用性、扩展性，总共44项测试用例可用性运维管理兼容性功能安全多租户易用性扩展性Namenode主节点失效恢复自动化部署ODBC兼容性数据导入认证租户管理工作流创建集群动态扩展Datenode节点失效恢复资源监控JDBC兼容性SQL任务能力授权资源管理工作流管理集群动态收缩HMaster节点失效恢复作业监控SQL支持度NoSQL数据库加密资源隔离工作流监控RegionServer节点失效恢复集群操作传统数据库同步机器学习审计资源监控ResouceManager节点失效恢复故障管理跨不同数据库表关联操作流处理能力HiveServer失效恢复日志管理异构硬件兼容性HDFS备份恢复配置管理操作系统兼容性HBase备份恢复权限管理双集群互备无宕机升级运维管理节点失效及恢复Hadoop基础能力测试2.0MPP数据库基础能力认证包括六大项：功能、运维、安全、扩展性、可用性、兼容性总共48项测试用例功能运维安全扩展性可用性兼容性数据类型安装部署身份认证动态扩展测试关闭进程访问接口兼容性操作符资源监控加密快速扩展测试网络故障CPU兼容性函数服务管理审计扩容不中断业务整机宕机大数据体系兼容性DML操作会话管理权限缩容表连接查询作业管理备份子查询故障管理集群灾备表空间锁管理临时表动态诊断事件索引缓存管理事务支持用户管理自定义函数节点组管理存储过程存储分配管理查询工具分布及分区管理导入导出工具资源负载管理系统表/视图支持升级外部表集群间DblinkMPP数据库基础能力测试Hadoop性能测试 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 2.0用例分布Hadoop平台性能专项认证包括SQL任务、NoSQL任务、机器学习和批处理四类任务，总共15个测试用例pSQL测试覆盖30TB数据规模pNoSQL测试有20亿条数据的读写SQL任务NoSQL任务机器学习I/O密集型任务数据并发导入Kmeans无监督聚类CPU密集型95%的读，5%的写SVM报表任务50%的读和50%的写分析型任务交互式查询公司全称大数据产品基础能力评测大数据产品性能评测Hadoop平台基础能力评测MPP数据库基础能力评测Hadoop平台性能华为技术有限公司第一批（2015年）星环信息科技（上海）有限公司第二批（2016年）第一批（2015年）、第三批（2016年）中兴通讯技术有限公司第四批（2017年）第一批（2015年）中移（苏州）软件技术有限公司第四批（2017年）第一批（2015年）上海优刻得信息有限公司第一批（2015年）新华三集团第二批（2016年）第三批（2016年）腾讯云计算（北京）有限 责任 安全质量包保责任状安全管理目标责任状8安全事故责任追究制幼儿园安全责任状占有损害赔偿请求权 公司第二批（2016年）第三批（2016年）北京东方金信科技有限公司第二批（2016年）第三批（2016年）北京明略软件系统有限公司第二批（2016年）博易智软（北京）技术股份有限公司第二批（2016年）北京百分点信息科技有限公司第三批（2016年）第三批（2016年）北京国双科技有限公司第三批（2016年）深圳前海信息技术有限公司第四批（2017年）中国电子科技集团公司第二十八研究所第四批（2017年）航天信息股份有限公司第四批（2017年）联想（北京）有限公司第四批（2017年）成都四方伟业软件股份有限公司第四批（2017年）杭州泰一指尚科技有限公司第四批（2017年）北京中联润通信息技术有限公司第四批（2017年）中国华戎控股有限公司第四批（2017年）天津南大通用数据技术股份有限公司第四批（2017年）天津神舟通用技术有限公司第四批（2017年）贵州易鲸捷信息技术有限公司第四批（2017年）北京酷克数据科技有限公司第四批（2017年）通过企业名单测试实验室环境组件配置台数CPU2*英特尔至强E5-2620v32.4GHz,15M缓存32内存4*16GBRDIMM,2133MT/s318*16GBRDIMM,2133MT/s1硬盘10*1.2TB10KRPMSAS6Gbps2.5英寸热插拔硬盘2210*1.2TB10KRPMSAS12Gbps2.5英寸热插拔硬盘10网卡单口万兆网卡32交换机锐捷RG-S6220-48XS4QXS万兆交换机1检查软件版本•检查组件版本•是否使用测试工具•组件列表明。数据检查•数据大小•对于表检查行数、列数•数据内容•建表语句•副本数•执行脚本。执行过程•清除缓存•任务正常执行•集群的资源使用情况结果检查•记录测试时间•检查结果是否执行正确。文件留存•关键jar包•执行脚本•执行日志。审核方法与步骤认证流程：认证报名，提交材料企业准备测试环境，测试专家现场审核，给出测试结论企业互评，客户专家与学术专家评审颁发通过证书评审流程：邀请评审专家用户方专家+学术专家+企业专家测试专家通报本次测试综述企业答辩企业互评，评审专家给出评审结论自愿参加、公开公正的认证流程•权威性：数据中心联盟联合国内20多家大数据企业一起制定大数据产品评测标准，得到•全面性：从功能完备性和性能两个角度来衡量大数据产品•严谨性：完善的现场测试流程，企业互评和专家评审流程•高认可度：24家25个产品通过评测，企业覆盖互联网和IT领域各类巨头，评测证书作为加分项多次写入大数据平台招标书•领先性•性能是在统一平台（32台集群）、统一测试数据、统一测试工具、统一测试周期、统一测试规则下进行的•业界领先的测试集群规模和集群配置（32台集群规模）•10项以上用例使用TB级别的数据规模大数据产品能力评测总结衡量大数据产品的维度•功能完备性•功能、运维、可用性、安全、扩展、兼容性、多租户、易用性等8大维度•性能•产品本身的易部署性稳定性、易运维性、性能•考察参测团队综合使用大数据平台的能力•环境部署与集群规划•测试工具的使用•多任务调优能力•时间进度安排•集群的故障处理与运行维护•稳定性提纲大数据产品能力评测实践2下一步计划3背景1未来评测体系规划基础平台层：支持数据的存储、计算等能力数据管理：数据的粗加工大数据产品体系数据分析和可视化：对数据进行深入分析并可视化Hadoop平台MPP数据库元数据管理数据质量管理BI工具主数据管理云化产品数据分析挖掘平台NoSQL内存/时序数据库谢谢！请各位专家批评指正中国信息通信研究院标准所移动与大数据研究部