软件测试过程改进模型入门介绍

软件测试过程改进模型入门介绍转自51testing摘要：测试常被看作是一个昂贵且不可控的过程。测试花费太多的时间，耗费的比计划投入的多，无法提供充分的关于测试过程本身的质量情况。因此，信息系统的质量和商务风险难以判断。很多组织意识到改进测试过程可以解决这些问题。但是，实际上为了改进和控制测试过程到底应该采取什么步骤以及什么次序是困难的。基于实践知识和测试过程开发经验，测试过程改进模型（以下简称）被开发出来。丁尸/提出了一个组织内测试过程成熟度的观点。在这份文件里将介绍了尸/的内容和结构。同时，测试过程改进的一些方面及面临的挑战也将做些讨论。1、概述测试常被看作是一个昂贵且不可控的过程。测试花费太多的时间，耗费的比计划投入的多，无法提供充分的关于测试过程本身的质量情况。因此，信息系统的质量和商务风险难以判断。很多组织意识到改进测试过程可以解决这些问题。但是，实际上为了改进和控制测试过程到底应该采取什么步骤以及什么次序是困难的。基于实践知识和测试过程开发经验，测试过程改进模型（以下简称TPI）被开发出来。TPI提出了一个组织内测试过程成熟度的观点。在这份文件里将介绍TPI的内容和结构。同时，测试过程改进的一些方面及面临的挑战也将做些讨论。2、软件测试的目的一个信息系统开发阶段的测试活动可以这样来加以 说明 关于失联党员情况说明岗位说明总经理岗位说明书会计岗位说明书行政主管岗位说明书 ：测试活动是从测试计划、测试准备到测试执行、测试分析这样一个过程，测试的目标是对信息系统（泛指软件）的特性进行确认，以发现该系统应有状态与实际状态的差异。测试计划和测试准备活动用以定义测试过程何时开始。在任何测试方法应用前（即测试执行阶段前），测试过程要求有明确的计划和准备阶段。测试可以降低系统质量的不确定度级别，但是测试效果的好坏依赖于系统发布所带来的风险，还有我们愿意花费在降低不确定度等级上的时间和资金。3、测试等级为了有效地组织测试，不同的测试等级需要加以应用。每一个测试等级对应某一组需求、功能或者技术说明。本章内容主要基于［KoP99］和［ISEO4］。低级测试低级测试陷于系统的各个组成部分的测试中，例如程序单元，单独的或者关联的。从系统开发开始，即开始单元，程序和模块的测试。如上面所述这种分离性依赖于程序下部结构和所使用的编程语言。这类测试的执行者多数时候是开发人员。当众多的系统基本单元确认已经符合他们的技术规格时，作为系统构成的稍大些的模块在集成测试中进行测试。集成测试主要关注与数据流和程序间的接口部分。高级测试高级测试全面、彻底的测试产品。在低级测试已经完成并且缺陷已得到纠正后，要进行系统测试以检验系统是否满足了功能和技术规格说明书中定义的要求。系统测试完成后，向客户提交产品进行验收。验收测试需要模拟搭建一个产品环境。高级测试尤其应该被作为一个单独的过程来执行。过去的经验显示高级测试过程的 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 远比低级测试过程的设计更重要。于测试的几个问题本章指出测试中的一些常见问题以及测试过程改进的一些必要方面，本章内容基于［KoP99］。测试的原始形式在系统进入产品阶段即将被发布前，测试工作短暂的开展一段时间，并且执行测试工作的人员是非专业的，而是随机的，谁有空闲谁来做。这就是测试的最初形式和状态。这类测试往往在系统进入产品发布阶段后或者近期没有发现新的缺陷即宣告终止，结果就是系统带着一些隐含的缺陷即被发布，导致在后续的因为这些缺陷而引发的软件重做、重测上付出高昂的代价。当前情势现在，在很多单位或者组织中间对于一个可管理的测试过程的重要性已经有了越来越多的共识。测试在执行前应首先进行计划制定和准备工作，计划和准备的内容应该建立于开发文档上。组织内应该清楚地知道哪些测试过，哪些未被测试过。但是，不管怎样，测试始终面要面对时间短、人员少、资源短缺以及技术支持度低等现状。测试处在开发周期的末端，并且往往陷入一个反复开发、反复测试的无休止的死循环中。即便测试停止之后，对于系统的质量等级依然是一个不确定的答案。最新发展要想能够面对当前市场的激烈竞争，组织必须要缩短新产品投向市场的时间。尽管开发过程正在不断加快，但是在开发过程的任何一环节都有可能引入的错误却没有丝毫迹象显示正在减少。相关经验的缺乏和不断上升的技术复杂度佐证了上述现象是正常的。即使现在的测试过程对于当前情势来说看起来是相当令人满意的，但是有一点很明显这不是软件测试的未来模式。进测试过程测试过程改进的必要性前一章提及的那些问题的产生原因可以归结于不可控的或者准备不足的测试过程。消除这些原因就是测试过程改进的原动力。参考Koomen和Pol关于测试过程改进的论述，TPI可以定义如下：从信息服务整体出发，统筹与优化测试过程的质量、成本和周期的过程。这里的质量是指测试过程关于被测对象质量方面的度量程度，即测试质量，系统或者程序等具体测试对象的质量不在此范畴。当然，一个质量上改良的测试过程并不能给被测系统带来更好的质量。测试本身不会提高系统的质量。事实上，它能做到的是确认系统已具有的质量特征，并试图通过所提供的这些质量信息驱使组织去改善产品质量。在整个信息服务来看，测试过程并不是孤立的。低成本、高效率的追求，不是测试的本质目的，测试应该为信息服务更高的效能（信息服务的整体水平）做出更多贡献。测试过程改进的一个目标应该是尽可能多地发现缺陷、降低改正成本、更早的报告系统质量情况。所有的评测 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 要谨慎地相互兼容，以此取得一个能够尽可能早的发现更过重要缺陷的总体策略。测试要朝着更加专业化的方向发展，提高专业测试技能，职能分工细化，如测试管理、测试技术专家、测试工程师。整个测试过程的进步和质量可以被度量，其度量结果在将来可以作为测试过程改进的输入项加以利用。测试过程改进步骤改进测试过程类似于任何其他过程的改进。测试过程的改进，通常遵循以下步骤:.确定目标和需要考虑的域。要确定测试的质量特性：是使测试速度更快、费用更低还是覆盖率更高？什么样的测试过程最需要改进，改进过程需要持续多长时间，具有什么效果？.确定当前的条件。评估当前情势的优缺点。.确定需要的条件。基于对当前条件的分析结果和改进目标，确定需要的条件和行动步骤。.实施改革。根据预先拟制的改进计划，按照建议的改进操作步骤实施改革，同时跟踪改进信息，填写条件检查项，用以验证是否达到了改进目标。.通过一个参照系，使测试过程的优缺点呈现出来。这个参照系可以是测试方法论或者是一个测试过程改进模型。依照Koomen和Pol的通用软件过程改进模型（如SPICE和CMM），它为测试过程的逐步改进提供了一个不是很充分的参照体系。因为是个更高层次的抽象，在这个参照体系中测试过程的改进往往是作为一个步骤来处理。当然，有些专门针对测试过程改进而设计的模型，如测试能力度量模型，测试改进模型以及测试度量模型等，这些模型都不包含足够的可应用的改进步骤、详细的描述和使用说明。、TPI模型TPI模型综述测试过程改进模型必须从多个视角观测测试过程，例如测试工具的使用，测试技术以及报告。在TPI模型中，这些观测点叫作关键域。每一个关键域可以归类到成熟度中。对于整个测试过程的效能来说，并不是所有的关键域都是同等的，在不同的关键域和等级之间存在着一些关系。确认在各个层级上的归类是客观的，在每个层级上设置一个或多个检查点。一个检查点是一个需求。如果一个测试过程符合某个层级的所有检查点，那么这个过程就属于这个层级。除了评估测试过程的当前情势外，关键域和层级同样可以用于定义需要的条件和为达到这些条件而需要实施的中间步骤。在这个模型中附有改进建议，给出了如何达到某一特定水平的说明和建议。TMap模型TMap，组织测试的方法体系以及第5.2章中所提到的模型的其他方面构成TPI模型的基础。TMap方法体系包括4个环节，这四个环节组成开发周期中所有测试活动的一个生命周期，好的组织体系，正确的测试框架和测试工具以及为执行测试活动可用的技术。这些环节是通用的，并且在每一个测试过程中必须给予每一个环节一定的关注度。要有一个和谐的测试过程，则这些环节上的测试开发应该要保持和谐。关键域和等级通过查看一个结构化测试过程的每一环节的不同方面，总计20个关键域在TPI模型中得到公认。通过测试过程中关键域的应用来判断过程的成熟度。但是无论如何，每一个关键域在使用期间不会是均等的彻底的，因为每个测试过程有它自己的优势和弱势。为了能够更深入的观察这些关键域的状态，模型给每个关键域设置了一个上升的等级（通常为从A到D）。一般地说，每个关键域有3至4级。每个高一点的等级在效率、成本和（或）质量方面要优于它前面的层级。每个层级由适用于这个关键域的一定的需求组成。这些一定层级的要求（即检查点）同样包含低层的需求：一个B级的测试过程应该同时完全满足A级和B级的要求。如果一个B级的测试过程不能够满足A级的要求，那么它应该被视作在低一级的层级上或者是针对那个特别的关键域尚未定义的层级上。LevelKeyareaCornerstone关键域层级里程碑ABCDTeststrategyL测试策略Strategyforsinglehigh-leveltest针对单一的高级测试的策略Combinedstrategyforhigh-leveltests针对高级测试的组合策略Combinedstrategyforhigh-leveltestsandlow-leveltestsorevaluation针对高级测试、低级测试和 评价 LEC评价法下载LEC评价法下载评价量规免费下载学院评价表文档下载学院评价表文档下载 的组Combinedstrategyforalltestandevaluationlevels针对所有层次的测试和评价的组合策略不同层级的关键域的描述详见表1。表1中关键域的不同级别中都包含里程碑，例如，测试过程每周报一次，周报包含发现的缺陷和花费的小时数的概述。因为缺陷没有指出优先级，测试进度也未在报告中提及，所以这个过程应在这个关键域中归类为A级。合策略Life-cyclemodelL生命周期模型Planning,Specifica-tion,Execution计划、 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 、执行Planning,Preparation,Specification,Execu-tion,Completion计划、准备、方案、执行、完成MomentofinvolvementL参与时机Completionofsistest完成主要部分测试Startoftestbasis从主要部分测试开始Startofrequirementsdefinition从需求定义开始Projectinitiation项目启动EstimatingandplanningT评估和计划Substantiatedestimatingandplanning评估和计划的案例Statisticallysubstanti-atedestimatingandplanning可统计的评估和计划的案例TestspecificationtechniquesInformaltechniques不正式的技术Formaltechniques正式的技术T测试设计技术StatictesttechniquesT静态测试技术Inspectionoftestbasis测试的基本项目检查Checklists检查单MetricsT度量Projectmetrics(product)项目度量［侧重产品］Projectmetrics(process)项目度量［侧重过程］Systemmetrics度量体系Organisationmetrics(>1system)组织度量TesttoolsI测试工具Planningandcontroltools规划和控制工具Executionandanalysistools执行和分析工具Extensiveautomationofthetestprocess测试过程的广泛自动化TestenvironmentI测试环境Managedandcon-trolledenvironment可管理可控制的环境Testinginmostsuitableenvironment在最适合的环境进行测试Environmentoncall基于需求的环境OfficeenvironmentI办公环境Adequateandtimelyofficeenvironment充分和及时的办公环境CommitmentandmotivationO承诺和动机Assignmentofbudgetandtime预算和时间上的分配Testingintegratedinprojectorganisation测试整合在项目组中Test-engineering测试工程化、独立化TestTest(Formal)FormalfunctionsmanagerandMethodical,internalandtesterstechnicalQualitytrainingO测试主管和andAssurance测试技能和培训测试人员functionalsupport,management有方法的技术和技能支持管理正式的内部质量保证ScopeofProjectOrganisatioOrganisationmethodologyspecificngenericoptimisingO方法适用范围具体项目组织通用(R&D)组织优化CommunicatiInternalProjectCommunicationonOcommunicaticommunicatiwithinthe交流ononorganisation内部交流(defects,changecontrol)项目组交流(如缺陷、变aboutthequalityofthetestprocesses有组织地进行关于测试过程质量更控制）的交流ReportingO报告Defects缺陷Progress(statusoftestsandproducts),activities(costsandtime,milestones),defectswithpriorities进度(测试和产品的状态)，活动(成本和时间，里程碑)，带优先级的缺陷Risksandrecommendations,substantiatedwithmetrics风险和建议，度量案例RecommendationshaveaSoftwareProcessImprove-mentcharacter具有软件过程改进性质的建议DefectmanagementO缺陷管理Internaldefectmanagement内部缺陷管理Extendeddefectmanagementwithflexiblereportingfacilities基于灵活的报告工具的扩展缺陷管理Projectdefectmanagement项目缺陷管理TestwaremanagementInternaltestwareExternalmanagementReusabletestwareTraceabilityO测试工件管理management内部测试工件管理oftestbasisandtestobject测试主要部分和测试对象扩展管理可复用测试工件systemrequirementstotestcases测试用例可追溯到系统需求TestprocessmanagementO测试过程管理Planningandexecution规划和执行Planning,execution,monitoring,andadjusting规划，执行，控制，和调整Monitoringandadjust-ingwithinorganisation有组织的控制和调整Evaluation(all)评价Evaluationtechniques评价技术Evaluationstrategy评价策略Low-leveltesting(all)低级测试Low-leveltestlife-cycle:planning,specificationandexecution低级测试生命周期：规戈U，方案和执行White-boxtechniques白盒测试技术Low-levelteststrategy低级测试策略6.4检查点我们要使用检查点以确定某一层级的要求。这些要求以问题的形式加以定义，它们是为了判断是否达到某一层级而必须要严肃回答的。基于这些检查点，我们能够评估一个测试过程，并为每一个关键域建立正确的所处层级。每个关键域的下一个层级对应一个改进。这些检查点也是累积的：为了给等级B归类，测试过程需要同时满足等级B和等级A两个等级的检查点。例子：测试工具这个关键域的检查点规划和控制工具（等级A）检查点：•在缺陷管理和至少其他两项规划、控制活动中应用自动化工具（字处理等办公类软件不算）执行和分析工具（等级B）检查点：至少两类自动化工具应用于测试执行阶段，如录制回放工具、测试覆盖率分析工具等。测试团队借助于这些工具对于测试的费效比有个大概的了解。测试过程的自动化扩展（等级C）检查点：自动化工具（标准字处理软件除外）应用在测试计划阶段（主要是活动评估、计划编制、进度追踪、配置管理和缺陷管理）、测试准备、方案和执行（总计不少于5种工具得到应用）。测试成熟度矩阵在各个关键域的层级确定后，注意力应集中在采取哪一个改进步骤上，因为不是所有的关键域和层级都是同等重要的。举例来说，一个好的测试策略（测试策略关键域的A级）就比测试技术应用的描述更加重要（方法适用范围关键域的A级）。除了上述的优先级外，在不同关键域的层级之间也存在着依赖性。例如，在缺陷发现情况统计报表（度量关键域A级）出来之前，测试过程不得不在缺陷管理域中向B级努力。同样，在很多关键域和层级间都存在着依赖性，这样的例子不再一一枚举。因此，层级和关键域在测试成熟度矩阵中相互间是紧密联系的。这个矩阵的纵轴是关键域，横轴表示成熟度。在矩阵里每一个等级对应一定成熟度。这样，在测试成熟度上共有13级。不同层级间的单元不再表示它们原有的意义，而是表示：一个关键域达到更高的成熟度与其它关键域的成熟度的关系。不同的层级没有顺序。只要测试过程没有完全达到B级标准，那它就始终是A级。测试成熟度矩阵结构绘制如表2。Table2TestMaturityMatrix[Sog04]ScaleKey0f2945.-7.S'910111213'TeststrategyA,BCDLifbc71cLemodelABKojaentofinvolvenentABdDEstimatingandplanningA.B.TeStspecificationtechniques-ABSta+ictestteclitiiquesAItetiicsA:日c.DTes-tautoniatioiiA-BcTes-tenvixonjTLt=ii+AB..cOf-ficeenviionmeiitACommitmentandmotivaticm.AcTestfunctionsandtraining,A-ECSjopeofm.ethodol&gyAECCojununicationA茸.cReporting：AECDDefectMarag已mEiitACTes-tw：3reJTL：dJl：ELgeJTLeil+A，b,CDTestprocessULaxi曰gum曰ntABCEvaluatian.ALotw-level+esting-ABC测试成熟度的数值域通常可以划分为3各类别：一、受控的从1到5主要是为测试过程的可控性设置的。测试过程按照预先定义的策略执行。在测试过程中，测试设计技术得到应用，缺陷被记录下来，并形成缺陷报告。测试工件和测试环境得到很好的控制并且测试人员得到有效培训。二、有效的第6至10级目标更关注于测试过程的效率。效率可以得到保证，比如测试过程的自动化，手工测试过程与系统开发的其他过程更好的整合等。三、优化的在当前情势下有效的测试过程并不意味着在将来也是有效的。第11至13级为不断优化测试过程而设置的，并且它们更倾向于确保测试过程持续改进要作为测试组织工作方法中的组成部分。这个成熟度矩阵的主要目的就是让当前的测试过程的优势和弱势展现出来，并支持优先的建议和行动用以改进。在这个矩阵下可以清楚地看到当前的测试过程。这个矩阵使用时从左到右，所以低成熟度的关键域应首先得到改进。在表3的这个例子里，测试过程对于测试策略关键域的最低的级别没有归类（低于A级），测试组织遵循处于A级水平上的生命周期，测试人员在规格说明完成后介入。Table3Currentsituation[Sog04]ScaleKey；Eirea123.45678g10111213TeststiategyAncDLife-cyclejtlude1ABItoment口fABCDetc.基于这些层级，改进措施可以拿出来讨论。例如，对于高级测试（达到B级）和完整的生命周期模型（也是达到B级），需要做出组合测试策略的选择。Table4Requiredsituation[Sog04]ScaleKey12345S789.io11It13TeststrategyA)cLife-cycleITiOdelABMomen-tofinvolvementABc.Detc.改进建议在向更高级别发展的强烈意愿下，测试组织可以定义出改进措施。为了达到一个更高的层次，检查点可以提供很多辅助。另外，为了测试过程改进，TPI模型包含改进建议。这些是几种不同的提示和想法以帮助组织达到测试成熟度的一定层次。例如：改进建议测试策略关键域，A级，对于单一的高级测试的测试策略。改进建议：.召集各类感兴趣的角色如最终用户、系统管理员和项目经理共同制定测试策略。.通过指出当前工作方法的风险或者提出如何测试能够测得更快、花费的更低已达成共识不像检查点的使用，改进建议的使用不是必须的。但无论如何，每一个层级都提供了几条改进建议。、结论当前软件开发已非常高的速度进行。软件开发过程的生产能力不断上升，客户对产品质量的要求更高。这使得存在这样一个非常大的可能性，即现在看来比较满意的测试过程将来或许需要改进。TPI模型提供了一个客观的过程，通过这个过程可以归类测试过程的当前形势。另外，这个模型以关键域、层级和改进建议的形式提供测试过程改进的帮助。过程改进通过带有优先级的可控制的改进步骤循序进行。TPI模型来源于实践，遵循结构化测试方法体系。TPI被认为是客观的。通过检查点的方式，使得确定正在使用的测试过程的关键域的层级成为可能。不同的成熟等级和关键域以及他们的关联性在测试成熟度矩阵中得以呈现。同样，改进建议可以在改进措施中加以应用。当然，测试组织必须注意这个事实：TPI模型的使用并不能自动地形成当前和需要的情势的好的分析，也不能改进测试过程。这个模型应该视为一个结构化测试过程改进的工具，一个在组织内进行更好的交流的工具。先撇开模型应用不谈，测试过程改进要求有深厚的知识和所从事职业的丰富经验。