大数据性能测试方案-V1.0(DOC)

编号：   密级：     XXX大数据平台 性能测试 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 [V1-1.0] 拟 制 人：    审 核 人：    批 准 人：      [2016年01月08日] 文件变更记录 *A - 增加  M - 修订  D - 删除 版本号 日期 变更类型（A*M*D） 修改人 摘要 审核人 备注 V1.0 2016-01-08 A   新建性能测试方案                                                                                                       目  录 目  录    I 1 引言    1 1.1    编写目的    1 1.2    测试目标    1 1.3    读者对象    1 1.4 术语定义    1 2 环境搭建    1 2.1 测试硬件环境    1 2.2 软件环境    2 3 测试范围    2 3.1 测试功能点    2 3.2 测试类型    2 3.3性能需求    3 3.4准备工作    3 3.5 测试流程    3 4.业务模型    4 4.1 基准测试    4 4.1.1 Hadoop/ Spark读取算法的基准测试    4 4.1.2 Hadoop/ Spark写入算法的基准测试    5 4.1.3 Hadoop/ Spark导入算法的基准测试    6 4.1.4 Hadoop/ Spark导出算法的基准测试    7 4.2 负载测试    8 4.2.1 Hadoop/ Spark并行读取/写入算法的负载测试    8 4.2.2 Hadoop/ Spark并行导入/导出算法的负载测试    9 4.3 稳定性测试    10 4.3.1 Hadoop/ Spark并行读取/写入/导入/导出算法，7*24小时稳定性测试    10 5 测试交付项    12 6 测试执行准则    12 6.1 测试启动    12 6.2 测试执行    12 6.3 测试完成    13 7 角色和 职责 岗位职责下载项目部各岗位职责下载项目部各岗位职责下载建筑公司岗位职责下载社工督导职责.docx     13 8 时间及任务安排    13 9 风险和应急    14 9.1影响方案的潜在风险    14 9.2应急措施    14 1 引言 1.1 编写目的 本测试方案将对XXX大数据平台的测试方案、测试范围，测试的软件硬件环境、测试进度、测试人员的分工和职责以及测试流程进行详细的定义和整体的描述。 1.2 测试目标 本次性能测试的目标是检测《XXX大数据平台》在服务器上运行时，了解该服务器的各项性能情况。 1.3 读者对象 本方案的预期读者是：项目负责人、测试人员、运维人员和其他相关人员。 1.4 术语定义 术语 定义 性能测试 通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试 场景 用于根据性能要求定义在每一个测试会话进行期间发生的事件 事务 表示要度量的最终指定的某个特定业务     2 环境搭建 2.1 测试硬件环境 服务器名 数量 期望到位阶段 备注 服务器 1 开发提测前           2.2 软件环境 资源名称 配置                 3 测试范围 3.1 测试功能点 编号 测试点 对应算法 备注 1 Hadoop读取     2 Hadoop写入     3 Hadoop导入     4 Hadoop导出     5 Spark读取     6 Spark写入     7 Spark导入     8 Spark导出             3.2 测试类型 类型 定义 备注 基准测试 单事物单用户测试，目的是对选择的单用户在无压力情况下（无额外进程运行并占用系统资源）情况下，获取系统处理单请求的情况   负载测试 通过逐步增加系统负载，测试系统性能的变化   稳定性测试 通过给系统加载一定业务压力，运行7*24小时，以此检测系统是否稳定运行。         3.3性能需求 名称 指标 备注 CPU 使用率不高于80%   内存 使用率不高于80%   I/O 使用率不高于80%   响应时间     Network 使用率不高于80%         3.4准备工作 1. 测试功能点全部通过功能测试，确保功能上没有问题； 2. 测试环境服务器已搭建，被测项目已部署； 3. 准备测试客户机； 4. 准备好测试数据； 5. 创建测试场景，并配置好每个场景的设置； 6. 测试过程中保存好测试数据和 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 结果，并 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 对执行结果进行命名 3.5 测试流程 4.测试策略 4.1 基准测试 4.1.1 Hadoop/ Spark读取算法的基准测试 场景1：数据容量100G时，进行读取算法的基准测试 用例名称 数据量100G，读取功能的基准测试 算法 读取 验证功能 Hadoop/ Spark的读取测试 测试目的 对比Hadoop/ Spark的读取算法，进行数据容量100G读取操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量100G 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的读取代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景2：数据容量500G时，进行读取算法的基准测试 用例名称 数据量500G，读取功能的基准测试 算法 读取 验证功能 Hadoop/ Spark的读取测试 测试目的 对比Hadoop/ Spark的读取算法，进行数据容量500G读取操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量500G 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的读取代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景3：数据容量1T时，进行读取算法的基准测试 用例名称 数据量1T，读取功能的基准测试 算法 读取 验证功能 Hadoop/ Spark的读取测试 测试目的 对比Hadoop/ Spark的读取算法，进行数据容量1T读取操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量1T 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的读取代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             4.1.2 Hadoop/ Spark写入算法的基准测试 场景1：数据容量100G时，进行写入算法的基准测试 用例名称 数据量100G，写入功能的基准测试 算法 写入 验证功能 Hadoop/ Spark的写入测试 测试目的 对比Hadoop/ Spark的写入算法，进行数据容量100G写入操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量100G 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的写入代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景2：数据容量500G时，进行写入算法的基准测试 用例名称 数据量500G，写入功能的基准测试 算法 写入 验证功能 Hadoop/ Spark的写入测试 测试目的 对比Hadoop/ Spark的写入算法，进行数据容量500G写入操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量500G 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的写入代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景3：数据容量1T时，进行写入算法的基准测试 用例名称 数据量1T，写入功能的基准测试 算法 写入 验证功能 Hadoop/ Spark的写入测试 测试目的 对比Hadoop/ Spark的写入算法，进行数据容量1T写入操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量1T 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的写入代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             4.1.3 Hadoop/ Spark导入算法的基准测试 场景1：数据容量100G时，进行导入算法，查看服务器的相关性能指标 用例名称 数据量100G，导入功能的基准测试 算法 导入 验证功能 Hadoop/ Spark的导入测试 测试目的 对比Hadoop/ Spark的导入算法，进行数据容量100G导入操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量100G 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的导入代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景2：数据容量500G时，进行导入算法，查看服务器的相关性能指标 用例名称 数据量500G，导入功能的基准测试 算法 导入 验证功能 Hadoop/ Spark的导入测试 测试目的 对比Hadoop/ Spark的导入算法，进行数据容量500G导入操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量500G 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的导入代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景3：数据容量1T时，进行导入算法，查看服务器的相关性能指标 用例名称 数据量1T，导入功能的基准测试 算法 导入 验证功能 Hadoop/ Spark的导入测试 测试目的 对比Hadoop/ Spark的导入算法，进行数据容量1T导入操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量1T 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的导入代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             4.1.4 Hadoop/ Spark导出算法的基准测试 场景1：数据容量100G时，进行导出算法，查看服务器的相关性能指标 用例名称 数据量100G，导出功能的基准测试 算法 导出 验证功能 Hadoop/ Spark的导出测试 测试目的 对比Hadoop/ Spark的导出算法，进行数据容量100G导出操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量100G 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的导出代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景2：数据容量500G时，进行导出算法，查看服务器的相关性能指标 用例名称 数据量500G，导出功能的基准测试 算法 导出算法 验证功能 Hadoop/ Spark的导出测试 测试目的 对比Hadoop/ Spark的导出算法，进行数据容量500G导出操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量500G 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的导出代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景3：数据容量1T时，进行导出算法，查看服务器的相关性能指标 用例名称 数据量1T，导出功能的基准测试 算法 导出 验证功能 Hadoop/ Spark的导出测试 测试目的 对比Hadoop/ Spark的导出算法，进行数据容量1T导出操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量1T 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的导出代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             4.2 负载测试 4.2.1 Hadoop/ Spark并行读取/写入算法的负载测试 场景1：数据容量100G时，并行读取/写入算法的混合测试场景 用例名称 数据量100G，并行读取/写入的负载测试 算法 读取/写入 验证功能 Hadoop/ Spark并行读取/写入测试 测试目的 对比Hadoop/ Spark的并行读取/写入，进行数据容量100G操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量100G 2. 对redpower服务器进行资源监控 3. 客户端并行执行Hadoop/ Spark的读取/写入算法 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景2：数据容量500G时，并行读取/写入算法的混合测试场景 用例名称 数据量500G，并行读取/写入的负载测试 算法 读取/写入 验证功能 Hadoop/ Spark并行读取/写入测试 测试目的 对比Hadoop/ Spark的并行读取/写入，进行数据容量500G操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量500G 2. 对redpower服务器进行资源监控 3. 客户端并行执行Hadoop/ Spark的读取/写入算法 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景3：数据容量1T时，并行读取/写入算法的混合测试场景 用例名称 数据量1T，并行读取/写入的负载测试 算法 读取/写入 验证功能 Hadoop/ Spark并行读取/写入测试 测试目的 对比Hadoop/ Spark的并行读取/写入，进行数据容量1T操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量1T 2. 对redpower服务器进行资源监控 3. 客户端并行执行Hadoop/ Spark的读取/写入算法 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             4.2.2 Hadoop/ Spark并行导入/导出算法的负载测试 场景1：数据容量100G时，并行导入/导出算法的混合场景测试 用例名称 数据量100G，并行导入/导出的负载测试 算法 导入/导出 验证功能 Hadoop/ Spark并行导入/导出测试 测试目的 对比Hadoop/ Spark的并行导入/导出，进行数据容量100G操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量100G 2. 对redpower服务器进行资源监控 3. 客户端并行执行Hadoop/ Spark的导入/导出算法 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景2：数据容量500G时，并行读取/写入算法的混合场景测试 用例名称 数据量500G，并行导入/导出的负载测试 算法 导入/导出 验证功能 Hadoop/ Spark并行导入/导出测试 测试目的 对比Hadoop/ Spark的并行导入/导出，进行数据容量500G操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量500G 2. 对redpower服务器进行资源监控 3. 客户端并行执行Hadoop/ Spark的导入/导出算法 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景3：数据容量1T时，并行读取/写入算法的混合场景测试 用例名称 数据量1T，并行导入/导出的负载测试 算法 导入/导出 验证功能 Hadoop/ Spark并行导入/导出测试 测试目的 对比Hadoop/ Spark的并行导入/导出，进行数据容量1T操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量1T 2. 对redpower服务器进行资源监控 3. 客户端并行执行Hadoop/ Spark的导入/导出算法 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             4.3 稳定性测试 4.3.1 Hadoop/ Spark并行读取/写入/导入/导出算法，7*24小时稳定性测试 场景1：数据容量100G时，并行读取/写入/导入/导出稳定性测试 用例名称 数据量100G，并行读取/写入/导入/导出稳定性测试 算法 读取/写入/导入/导出 验证功能 Hadoop/ Spark并行读取/写入/导入/导出稳定性测试 测试目的 对比Hadoop/ Spark的并行读取/写入/导入/导出，进行数据容量100G操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量100G 2. 对redpower服务器进行资源监控 3. 客户端并行执行Hadoop/ Spark的读取/写入/导入/导出算法，运行时长7*24小时 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景2：数据容量500G时，并行读取/写入/导入/导出稳定性测试 用例名称 数据量500G，并行读取/写入/导入/导出稳定性测试 算法 读取/写入/导入/导出 验证功能 Hadoop/ Spark并行读取/写入/导入/导出稳定性测试 测试目的 对比Hadoop/ Spark的并行读取/写入/导入/导出，进行数据容量500G操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量500G 2. 对redpower服务器进行资源监控 3. 客户端并行执行Hadoop/ Spark的读取/写入/导入/导出算法，运行时长7*24小时 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             场景3：数据容量1T时，并行读取/写入/导入/导出稳定性测试 用例名称 数据量1T，并行读取/写入/导入/导出稳定性测试 算法 读取/写入/导入/导出 验证功能 Hadoop/ Spark并行读取/写入/导入/导出稳定性测试 测试目的 对比Hadoop/ Spark的并行读取/写入/导入/导出，进行数据容量1T操作时，redpower服务器运行情况 前置条件   操作步骤 1.准备数据容量1T 2. 对redpower服务器进行资源监控 3. 客户端并行执行Hadoop/ Spark的读取/写入/导入/导出算法，运行时长7*24小时 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间 备注 Hadoop             Spark             Spark                             5 测试交付项 测试阶段 提交文档 文档要求 测试方案 《XXX大数据平台-性能测试方案》 1、测试经理制定项目的测试计划 测试 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 及实现 《XXX大数据平台-性能测试用例》 1、测试人员编写项目所有测试用例 2、评审通过后导入到禅道中，并上传至SVN服务器 测试报告 《XXX大数据平台-性能测试报告》 1、主导测试完成测试报告 2、包括性能指标分析图       6 测试执行准则 6.1 测试启动 在开始进行测试时必需满足的条件。这些条件涉及： 1. 《开发提测checklist》内容符合要求，已提交至测试部门。 2. 系统功能测试已通过。 3. 性能测试方案、测试流程、测试进度的制订已完成，并经过严格评审。 4. 性能测试所需的资源已经到位。 5. 测试组人员配置合理，测试人员的工作技能符合测试要求。 6. 性能测试所需的软、硬件和操作系统等测试环境准备完毕。 6.2 测试执行 1. 根据测试方案相关测试环境的内容，检查测试环境（包括硬件及软件），确保测试环境符合要求。 2. 对于测试用例的描述信息，按测试意图对每一个测试用例设计操作流程中重要环节的动作、输入数据和预期的反映（注：此流程可不必详细到每一个具体的步骤，但应确保测试执行人员可以据此信息顺利执行，而不必询问测试用例的开发人员）。 3. 执行测试活动，并记录执行日期，对于每个测试用例还应记录关键操作步骤、输入数据以及任何与测试人员预期结果不符的系统响应。 4. 每个测试用例执行完毕后，视具体情况对系统进行备份或根据备份数据对系统进行恢复。 6.3 测试完成 1.达到性能要求。即在指定的负载下，系统的性能指标达到测试标准；  2.在长时间运行后，系统不崩溃，各功能正常；服务器CPU，内存，响应时间等参数保持稳定；场景运行停止后，一段时间内占用的资源可以正常释放。   7 角色和职责 人员名称 角色 数量需求 职责   性能测试经理 1 部门经理   性能测试设计员 1 性能测试工程师   测试开发人员 3 性能测试工程师、开发工程师   测试环境准备人员 3 性能测试工程师、开发工程师   测试数据准备人员 3 相关项目配合人员   脚本场景准备人员 2 性能测试工程师、开发工程师   性能调优准备人员 2 性能测试工程师、开发工程师         8 时间及任务安排