绩效审计方法之一 ——评价综合方法

绩效审计方法之一 ——评价综合方法 第5期 ,总第262期, 审计署审计科研所 2011年4月6日 编者按:在绩效审计方面～除了制定绩效审计准则和指南外～美国、英国、加拿大、瑞典等国家的审计机关还十分重视绩效审计方法的开发和应用～并编制有专门的绩效审计方法指引或者手册。审计署审计科研所在承担审计署2009至2010年度重点研究课题《绩效审计指南研究》过程中～组织编译了美国和加拿大审计署开发的共计六种绩效审计方法～即评价综合方法、内容分析方法、调查方法、结构化访谈方法、案例研究方法和前瞻性评价综合方法。现将这些方法在《国外审计动态》分六期予以印发～以飨广大审计工作者～期望对大家开展绩效审计能有所启发和借鉴。 绩效审计方法之一 ——评价综合方法 — 1 — 一、评价综合方法概述 在美国国会决策者的议事过程中～美国审计署通过提供有关问题的分析信息来为国会决策者服务。国会决策者针对讨论中的事项和面临的各种选择～通常会向美国审计署提出一些需要回答的问题。美国审计署为了及时找出国会所提问题的合理答案～通常需要采用各种各样的方法～其中评价综合方法很好地适应了这一要求。评价综合方法的内容包括～如何与国会委员会职员协商以确定某个联邦项目存在的问题～如何识别和收集解决有关这些问题的现有研究～以及如何依据这些研究的质量和依据证据支持研究发现的效力对这些研究进行评价。评价综合方法的最终目的～旨在提供有关问题的研究状况方面的信息。如～1984年美国国会通过了《最低饮酒年龄法案》～规定21岁以下的年轻人一般情况下不准许饮酒。该法案颁布后～围绕最低饮酒年龄的界定和该法案对高速公路交通安全的影响效果～引起了广泛而激烈的争论～而且争论双方都以大量的实证研究来支持他们各自的论点。国会需要知道该法案的执行效果究竟如何。在这种背景下～国会要求美国审计署对有关该法案的各种实证研究进行审查～审查这些研究所使用的技术和方法是否健全、结论是否可靠～并 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 国会这些研究在多大程度上能够为启动 — 2 — 修改该法案提供实证支持。1987年美国审计署向国会提交了一份报告《饮酒年龄法:关于它们对高速路安全影响的评价综合》。该报告运用评价综合方法～回答了国会提出的问题～满足了国会的需要。 评价综合方法能够满足国会对快速提供特定项目相关信息的需要～并且能够满足国会对分析大量的、有时相互矛盾的信息的需要。信息的相互矛盾往往难以迅速解决～除非有时能够表明一项研究的设计、执行和报告是健全的～而另一项研究的设计对要回答的问题来说是不恰当的。除了满足这些需要外～评价综合方法还能够清楚地揭示出～相对于信息需求者来说哪些方面还需要进一步加强研究～而且还能够为进一步的审计评价工作奠定基础。 ,一,评价综合方法的定义。 为了向国会适时提供某项目进展情况的综合性和完整性信息～美国审计署开发了一种评价综合方法。评价综合方法～是指从一些彼此分离的研究出发～把它们的研究发现组织起来的系统性步骤。简而言之～就是对某个项目的各种评价性研究成果的综合。该方法通过使用现有的研究成果来解决审计时效性方面的难题～是一种无需收集原始数据就能够满意地回答问题的方法。然而～它不是对那些通过收集原始数据来回答问题方法的替代。它能够使审计人 — 3 — 员收集不同的研究者在不同的时间和地点得出的不同研究报告的结论～并且对这些研究报告提出问题～包括一般性的问题和特定的问题。 利用评价综合方法可以回答几种不同的问题——关于整个项目的效果问题～关于项目的一些具体做法～哪些特别好～哪些特别差的问题～以及关于如何组织评价研究以提供有关项目更加有用的信息方面的问题。 评价综合方法与其他许多含有评价内容的文献评论和文献分析不同～作为总体战略的一部分～它是从最终用途回溯过来而被设计的。也就是说～推动评价综合的动力～不是对增加知识的要求～而是对一定信息的特定要求或者需要。这意味着这项工作必须总是从一个与该工作有内在逻辑联系的问题框架开始。在这些问题中～有些问题通过可获取的信息可以回答～其他问题则不能回答。那些剩下的没有回答的问题～则可以用来确定现有研究与期望的研究之间所存在的差距。 ,二,评价综合方法的程序步骤。 评价综合方法的程序步骤如下图: — 4 — 选择要解决的问题 收集相关资料 筛选出相关研究 对相关研究进行严格审查 确定开展评价综合的适当性 实施评价综合 报告发现的情况 , 详细说明问题:如何陈述问题决定了如何组织评价综合, , 收集资料:收集期刊论文、电子数据库图书、未出版的评价报告和研究报告～请教该领域的专家以确定关键性的研究, , 制定筛选研究的标准:说明把那些重要研究包括在内的合理性, , 组织和实施审查战略:依据研究设计、实施、分析和报告的基本准则～对那些研究进行评价, , 重新确定综合方法的适当性:这一步骤发生在对可获得证据的初步审查之后, — 5 — , 实施评价综合和查找问题:可以利用数量和质量方面的证据来综合考虑～预测可能发生的问题并提前采取措施以避免它们是非常有帮助的, , 提交发现:阐述目标～描述范围和方法～对所提问题给予清楚和准确的回应。 二、评价综合方法的重要性和适用条件 评价综合方法是一种格式化的把某些实证研究成果结合起来的技术性步骤。使用“格式化的”这个词语～旨在说明评价综合方法不是针对某个特定评价者或者某些特定研究的特定方法～而是一种具有普遍性的方法。它所具有的系统性特征～能够使两个使用相同综合程序步骤的评价者得出相同的统计结果～尽管两者对统计结果的解释可能不同。 评价综合方法之所以重要～这是因为～面对关于某个主题的数十甚至数百项研究～一个不使用系统性程序步骤的评价者将被迫使用主观标准决定如何来综合。该评价者可能会选取一些他所喜欢的研究～选择从经典实验设计的观点看可能做得比较好的研究。或者评价者可能喜欢他们所尊重的人开展的研究。在这种情况下～他们凭印象得出的结论～与那些认真思考的其他评价者所得出的结论～通常将不会相同。 评价综合方法适用于解决那些无需收集原始数据就能够满意回答的问题。这意味着～运用评价综合方法必须满足两个基本条件:一是回答的问题不需要收集原始数据,二是已经存在大量的相关研 — 6 — 究。作为一种绩效审计方法～利用评价综合方法能够回答项目执行情况方面问题～也能够回答项目运行效果方面的问题～此外～利用评价综合方法还能够比较两个或者多个项目的绩效。 通过评价综合方法～把现有的研究收集在一起～对它们进行分析～能够建立起相关问题的知识库。在这个知识库中～评价综合方法能够使人们确定对于相关问题什么是确切知道的～哪些是还不清楚的。运用评价综合方法～还能够根据研究者使用的数据、运用的方法和获得的研究发现等来评价有关研究成果的可信度。 三、如何运用评价综合方法 运用评价综合方法通常要经过三个阶段:准备阶段、实施阶段和报告阶段。 ,一,准备阶段。 1(详细说明问题。 评价综合方法能够回答的最常见的三种问题是: ,1,对于任何一个项目而言～它的平均效果是什么, ,2,在哪里～对谁～该项目特别有效或者无效, ,3,在这里行吗,换句话说～在一个特定的地点执行该项目的实务指南是什么, 不同的审查者可能出于不同的目标来处理相同的一组研究。政策制定者面临的决策通常要求给出项目绩效的平均估计。如～蓝十字蓝盾医疗保险公司必须决定是否为癌症手术后的心理咨询而向第三方提供支付。目标是提高康复率和减少发病率。这里～政府 — 7 — 监管者可能只想知道一个问题的答案～“一般而言,或者平均而言,～癌症手术后的心理咨询对人们有帮助吗,”而研究者可能会认为这是一个太过宽泛的问题。但是～政策决策者主要关心的不是在心理医生和顾客之间做出完美匹配的安排～需要的是对癌后治疗服务是否应该支付作出决策。 研究者可能会以不同于政策决策者的方式对待这个问题。研究者可能会认为对不同类型客户的几种心理健康 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 进行平均化处理～偏离了主要目标。在这里～更重要的问题可能是“什么种类的咨询通常是最好的和什么类型的顾客从这种类型的咨询中获得了最大好处,”如果某个特定的治疗方案不是对每个人都有效果～研究者将不会感到惊讶。尽管有时会使人高兴地发现～一个新的治疗对每个人都有效。因此～一个研究人员通常要超出“平均”而言的问题来组织一项研究～具体检查什么是有效的～效果怎样～对谁有效。 当地的项目管理者则可能有另外的目的。尽管也对什么治疗方法对什么人效果最好感兴趣～他们的主要关注点则是适宜性。一个新的治疗乳腺癌的方法在具体的、真实世界的一些地方能够成功的实施吗,知道在一定的时间使用链激酶有帮助是一回事～把这样的发现运用于实践中取得好的效果是另外一回事。一个地方上的医院主任或者医生需要知道什么治疗方案最普遍有效～但是任何关于在特定环境中采取的成功执行一个治疗方案措施的具体证据～都将是特别有价值的。一项出于这种目的的审查～将会强调可获得的关 — 8 — 于在类似机构中执行措施方面的报告。 综上所述～设计用来回答“平均”问题的评价综合～强调对“主要影响”的研究。需要知道“谁从什么上面获得最大的好处”的综合～将关注对相互影响的研究。需要知道“它在这里实施的情况如何”的综合～会强调治疗方法的装备、现场和环境的数量细节。 评价综合能够用来回答广泛的问题～包括描述性的、 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 性的和影响,原因和结果,方面的问题。评价综合适合回答的问题的种类～对于提供服务的项目而言～可分为两类。这两类问题是项目运行和项目效果方面的问题～两者都是更广义的问题即项目是否起作用问题的组成部分。尽管对问题的具体文字表达不尽相同～在下列例子中～前三个是关于项目运行的问题: ,1,该项目为谁服务和 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 中的受益人获得服务的程度是什么, ,2,该项目的服务是什么～对谁提供什么服务～服务提供过程是什么～这些方面与项目的目标一致吗, ,3,执行了什么管理过程和步骤,该项目管理得怎样, 以下是四个问题是典型的关于项目效果的问题: ,4,对项目接受者的普遍结果是什么, ,5,项目结果是否因不同类型的服务或者不同类型的接受者而变化, ,6,该项目对项目接受者以外其他人的影响是什么, ,7,根据成本、可选择的项目或者该项目的不同类型来分析～ — 9 — 该项目的有效性如何, 这些一般性问题中的一个或者多个可以作为回应有关方面关于项目信息所需要的带有限制条件的综合性问题的基础。这些问题～不仅是对开展评价综合～而且对报告发现～提供了一个框架。 选择精确的问题和识别真正的研究问题的过程～是评价综合方法的开始。这一步尤为重要～因为评价综合只能回答已经存在研究信息的那些问题。即使这样～也仅能回答在一定程度上研究已经解决过的问题～并且如同研究一样处理的都是当时的事情。 在对问题的详细说明过程中～开展对可获得数据种类的初步审查是重要的。在决定研究话题和问题之前～审计人员必须熟悉有关提议话题可获得的评价信息。对真正问题的调查必须谨慎～不能太宽泛也不能太狭义。 2(收集研究资料。 一旦详细的问题被开发出来——不要忘记只有在至少具有关于话题领域和现有评价研究文献的一些知识指导下才能开发出健全的问题——就应收集汇编相关的评价信息。虽然负责管理一项政策或者项目的相关机构是开始收集资料的自然起点～评价综合方法要求调查要超出这样的信息来源～并且把非主管机构创办的文献资料包括在内。如果不包括非主管机构创办的文献资料～很可能是仅仅获得了相关文献总体的一部分～并且不清楚获得的这部分到底有多大～或者它的代表性或者片面性如何。非主管机构创办的文献资料包括主管项目或者政策的相关机构以外的所有文献～包括其他行 — 10 — 政机构的研究文献、立法机构的研究文献和地方政府机构的研究文献～全国性学会、学术界的成员～以及国外对该话题的研究文献等。 3(开发选择研究资料的标准。 在完成了对相关资料的识别和收集后～接下来的问题是:什么类型的研究资料应包括在评价综合之内,在技术上识别和控制潜在的偏误来源是评价综合的目标之一。假如评价综合所采用的研究资料中包含通常是未知的偏误来源～该评价综合在总体上将具有那样的偏误。 当决定哪些研究资料应包括在评价综合之内时～审计人员也必须运用相关的审计证据准则。该研究是否充分,即它是否有充分的事实上的和有说服力的证据以支持其研究发现和结论,这将包括对统计方法是否适当的评价。该研究中运用的证据是相关的吗,如果证据与指定问题间有逻辑联系它就是相关的。评价人员还必须决定在研究中运用的证据是否有效和可靠。根据这一标准～审计人员应独立地评价被包括在内的研究资料。如果没有进行这样的评价～必须在报告中予以说明。 识别和控制偏误在一定程度上要求理解研究方法上的偏差如何影响研究结果。如～Wortman和Yeaton,1983,在他们关于冠状旁路的评价综合中十分谨慎的把随机研究和准实验研究两种都包括在内。这两种研究对手术效果得出了明显不同的结论。通过调查解释了两类研究发现之间的差距。他们的结论是～尽管随机研究导致了不同于准实验研究的估计～两种估计之间的差距的一小部分是 — 11 — 随机研究中的偏误造成的。有些患者被随机地分配成使用了药物而 ?不是手术治疗～并且评价人员能够说明偏误的来源。 如上面的例子所示～无论什么时候～评价人员应尽可能找到运用不同方法的研究资料。使用不同的研究类型可以控制偏误～并且证明这种做法在解释研究发现的差异方面是有用的～因而能够更加准确地回答顾客的问题。 对一个范围较窄研究概述的通常批评是～它们缺乏客观性或者太凭印象了。相比之下～努力获得的研究资料数量越多就越能客观地对可获得的证据进行综合。但是～如果相关研究资料太多～就必须决定包括哪些研究。最简单的方法是都包括在内～但是面临一定的困难～因为没有信息要比错误信息好～有些研究存在明显的缺陷～另外～有些研究虽然很健全～但是研究对象现在发生了很多变化～这些研究已经显得过时了～那么这些就不应该包括在内。另一种方法是～利用一个专家小组给出一个应该包括在内的研究资料清单。但是～应当注意的是～有时专家们过于关注大型的质量中等的研究～而忽视小型的高质量的研究资料。 4(组织和执行审查战略。 当某个相关话题存在大量评价研究的时候～有些研究可能只关注该话题～而其他研究则仅仅把该话题作为第二研究目的对待。有些研究可能具有相似的设计类型～而其他研究的研究设计类型则不同～因而数据类型和来源也不相同。总的来说～这些研究的健全 ? Wortman, P.M.,and W.H.Yeaton. “Synthesis of Result in Controlled Trial of Coronary Artery Bypass Graft Surgery. ” Evaluation Studies Review Annual,8. Beverly Hills, Calif.: Sage Publications, Inc., 1983. — 12 — 程度有可能是不一样的～或者程序与执行程序的严格程度不同～甚至设计的适当性也有所差异。 尽管把不同类型的研究包括在评价综合之内是至关重要的～那么面对质量不同的研究～审计人员应当做些什么呢,这个问题存在不同的看法～争论的一个关键问题是～一个“好的研究”是由什么构成的。看来应该对包括在评价综合内的全部研究按照基本准则对它们的研究设计、执行、分析和报告进行评价。 在使用某研究并信任其研究发现的过程中～在研究设计、执行、分析或者报告等方面～那些影响每个研究发现的主要缺陷必须被识别出来和加以考虑。 不管是实验研究、案例研究、统计调查还是内容分析～对于每个研究都要问一问它的可靠性和有效性。下述问题决定了某个研究对评价综合的有用性。 , 是否陈述了研究目标,这些目标是否适合于项目开发阶段的目标, , 研究设计是否清晰,对于研究目标而言该设计是否恰当,指出的设计被如实执行了吗, , 测量的变量是否与研究目标相关并且能够充分地转换成研究目标,它们能否适当的回答顾客的问题, , 抽样程序和研究样本是否详尽地描述了,它们是充分的吗, , 如此的抽样程序是否使决策者能够推广用于他们感兴趣的 — 13 — 其他的人、环境和时间, , 是否制定了分析计划并且该计划是否合适, , 对数据收集人的选择和培训是否充分, , 对于数据收集人是否存在保障可靠性的程序, , 数据收集程序是否存在任何缺陷, , 收集数据过程中遇到的难题是否影响数据的质量, , 对于统计程序是否作了详细说明并且对完成任务来说是否适当, , 结论是否能够获得数据和分析的支持, , 是否发现了研究的缺陷,什么有可能曲解研究发现, 以上是审查研究资料时应当提出的一些问题。根据对这些问题的回答～可以得出对某个研究有用性的总体判断。然而～这并不意味着有设计或者其他缺点的研究自动地被排除在评价综合之外。而是～如果把这些研究包括在内～应该对该研究发现与其他研究发现相关性的信度作出判断。 然而～应当特别注意关于研究质量判断的一致性或者可靠性。如～在一个评价综合中～评价人员让编码者对30种原始研究资料的随机抽样进行判断。在编码决策所需的事项中～有一项是综合性的～叫做研究质量。在编码者中间相关系数平均水平是0.52的将不被接受。这意味着～改善可靠性的战略～应包括对方法变量的加总评级、编码者的培训和再培训～以及对质量的总体判断而非个别判断。至少～在评价综合中～应当提出编码者的可靠性问题。把处 — 14 — 理可靠性问题所采取的步骤描述出来是合理的～可以把对每个研究的实际检查作为评价综合报告的技术附录～使得每个读者能够获得判断依据并作出评价。 5(重新确定综合方法的适当性。 某项可获得的研究是否足以回答顾客的问题,在准备评价综合的过程中～对将要包括在评价综合中的每一项研究或者数据库～根据研究框架中针对的问题和根据研究设计进行分类是有用的。这一步骤能够确保被包括在评价综合中的所有研究都具有相关性～况且～它不但能够快速揭示共性而且还能揭示信息差距。 有时～尽管原始证据看起来是充足的～但是事实上却不能够运用评价综合回答顾客的问题。如～美国审计署的一份报告收集了许多研究资料试图估计出美国非法外来移民的数量。然而～估计所涉及的范围非常广泛。在一些案例中无法识别偏误因素。如～在墨西哥开展的一些家庭调查～十分清楚地低估了非法移居美国的墨西哥公民的数量。在这项研究给出真实值下限的同时～其他剩余研究的质量问题十分明显～它们的结论差异之大～并且与这些研究有关的潜在的解释因素非常之多～以至于评价人员得出这样的结论～即要回答该问题～必须开展新的研究～而不是进行评价综合。在这种情况下～综合的主要用途是帮助识别是否需要和需要什么研究来揭示设计该研究所必须的重要特征。 有一种风险是～某种在应用研究中能够解决一定棘手问题的方法却应许了比它能够提供的更多的东西。评价综合方法也不例 — 15 — 外。重新确定评价综合方法适当性的目的如下: ,1,在评价人员开始评价综合的具体细节之前～澄清信息使用者的期望是什么。 ,2,在应对工作中可能遇到的困难方面～征求有关方面的合作。 ,3,当评价综合不可能满足国会的信息需要时～防止浪费几个月的劳动。 ,4,当发现综合不具有适当性的时候～在过去知识差距的基础上正式系统地提出开展新的研究的建议。 ,5,如果发现综合具有适当性～在深入开展具体工作之前增强对所研究问题的理解。 ,二,实施阶段。 在拥有了被认为对综合有用的一组研究的条件下～下一步就是实施评价综合～查找问题～并报告发现。关键的问题是:如何比较不同的研究,虽然没有标准的方法～但是有两个主要因素会影响如何对这些研究进行对比。首先～不同的评价问题可能需要不同的综合信息的方法。其次～研究设计的性质将会限制可用的分析方法。 如前文所述～启动该评价综合的问题在很大程度上决定了该评价综合的具体步骤。如～在检查一个项目是如何工作的过程中～目标问题可能会是～在理想的情况下该项目为谁服务,或者平均而言该项目为谁服务,在第一种情况下～评价人员可能会需要调查许多案例研究～并且提供一个叙述性的关于发现的描述。在第二种情 — 16 — 况下～评价人员可能对可获得的各个研究给出的答案进行平均～或者给出从最高到最低估计的范围。这里的问题是～由于评价综合是在现有给定信息的条件下来回答问题～评价人员通常找不到理想的可能的定量分析方法。 在这部分我们讨论定量和非定量两种评价综合的分析方法。定量分析方法对于有些问题是理想的～但是当对政策推动的问题进行回应时～评价人员不得不斟酌非定量分析方法。 1(定量分析方法。 有关文献描述了用于实验或者准实验研究发现综合的两种基本的定量分析方法。一是计算平均效应量,二是进行联合显著性检验。由于所提问题的特点和现有评价完全不同的性质～在审计工作中很少用到这些具体的技术。然而～在满足基本前提条件的情况下～定量分析方法是一种强有力的工具。 2(非定量分析方法。 许多评价研究并不满足前提条件或者包含足够的信息～以便运用上述统计分析方法。案例研究和其他种类的信息通常是评价综合可获得的信息。至少有五种类型的信息对评价综合具有价值～而它们不能够运用上述的统计分析方法。下面将描述这种信息应该被综合的一般情形～并且概述一些利用这种信息的指南。 对于评价综合具有潜在价值而不适用于统计分析的五种类型的信息是:,1,单一个案设计～案例研究是对单一事件的研究～或者对多个事件不加区分的研究。即使案例研究运用定量性的结果～ — 17 — 也不可能按照传统的方式计算效应量,,2,非定量总体研究,,3,定量研究中的非定量信息,,4,专家判断,,5,研究汇编的述评。 在有些情况下～非定量分析对于评价综合是特别有效的。需要非定量分析的四种常见的情况:,1,项目处理方案是针对个体的或者更加关注过程而不是结果,,2,对项目效应的评价包含多个层次的效应水平,,3,把没有控制的小组与控制下的小组进行对比,,4,对“错误”做法的研究。 ,三,报告阶段。 把评价综合过程产生的信息认真地编写成报告～对该评价综合的要求者提出的问题做出回应。在报告的介绍部分～应简单地描述该评价综合及其所讨论的特定项目两者的历史～并且应当给出该评价综合的目标、范围和方法。 接下来的部分应当包括一个说明评价研究和数据库的框架、一个说明评价问题与可获得的研究之间关系的表格～以及一个关于所采取的分析步骤的描述。然而～至少在该部分应当描述出关于评价研究的识别和收集～包括收集资料的限制条件,如～要求所有的研究都必须有实验设计,。该部分应回答下列类型的问题:信息是如何获得的,从什么来源,该努力受到什么限制,调查者对全部相关信息的信任度如何～或者是否对这些信息进行了代表性的抽样, 如果可能～报告的其他部分应该与国会的问题对应起来。报告的内容～当然要包括对回应特定问题的可获得数据充分性的讨 — 18 — 论。可以用一个技术附录系统地描述每一项研究～包括标题、报告参考资料、研究目的、数据收集期间、抽样、数据收集和数据分析等方面。数据库也应当予以描述～尽管描述的那些方面与研究有所不同。 出于几种理由～应当慎重地从综合数据得出结论和形成建议。评价综合不能代替精心设计收集原始数据的针对相关问题的研究。评价综合的资料来源可能过时了,另外～对特定问题可能还没有进行全方位的彻底探讨。确定从过去研究中得出的结论仍然可用～需要得到所审查项目的相关主管部门的确认。 研究报告中最常见的结论性句子是“需要进一步研究”。这种说法～什么时候是基于对可获得证据的系统性评价的,并且什么时候它是总结一个评价研究时只是不经意说的一句话,评价综合有助于回答这一问题。如～美国审计署关于“妇女、婴儿和儿童特殊食品供应项目”发现的综合得出结论说～尽管有证据表明该项目导致为数不多的出生时低重力婴儿变得强壮～但是没有相比之下充分说服力的证据显示它对儿童心理迟缓产生了效果。这样的结论能够帮助政策制定者准确理解～关于他们提出的问题～什么是知道的和什么是不知道的。这样的结论还指出～在什么地方～好的、新的信息将特别有价值。 四、评价综合方法的优缺点 ,一,优点。 首先～评价综合的主要优点是它能够提供相对低成本的、综 — 19 — 合的和适时的信息。它被设计成由一两个具备方法技能的人来开展～能够提供某个特定领域的知识状态的概述。所需的精确时间依赖于研究话题的宽泛程度～可获得的数据库的规模～以及评价人员对该话题和数据库的熟悉程度。通过整合已经完成的研究发现～评价综合能够在比较短的时间内满足国会对评价信息的需要。而且～评价综合的焦点能够随着具体的关注点而调整。 其次～评价综合能够增强研究发现的说服力。与单个健全的研究相比～人们更有信心相信多个健全的研究所得出的同样的结论。 再次～通过把来自于多个分离研究的关于某个具体问题的信息汇集起来～评价综合还产生了一个关于该特定话题的共同的知识库。它清楚地展示了对于该话题～知道什么,及其可信程度,和不知道什么～因此使项目经理和评价主体能够确定他们将来可能会在哪些方面提供最好的评价资源。所以～评价综合的特别有价值还在于能够辨别出剩余的未回答的问题。评价综合方法至少可以通过两种方式对未来的研究提供指导。一是通过对现有研究的审查可以减少未来研究选取的变量的个数～选取其中重要的变量～增强统计数据的说服力～从而节约资源,二是可以帮助新的研究者在同一地点做一个大规模的实验～还是在不同的地点做多个小实验两种之间进行选择。如果以往的研究表明～地点不影响～就可以选择在一定地点做大实验～反之则应在不同的地点做小实验。 最后～评价综合在一定程度上可作为对某个特定项目评价的 — 20 — 质量检查。对每个研究的技术进行审查～找出其方法的优缺点～将影响未来研究的开展。如～美国审计署对特殊教育的评价综合～发现许多研究报告没有充分描述他们使用的方法。美国教育部在对美国审计署报告的评论中指出～它对美国审计署报告所使用的研究进行了审查～同意美国审计署的批评是正确的。因为大多数研究都是按照 合同 劳动合同范本免费下载装修合同范本免费下载租赁合同免费下载房屋买卖合同下载劳务合同范本下载 进行的～教育部指出～经教育部采购和管理办公室的批准～在最终报告中对方法描述的要求将会写入未来的协议要求中。 ,二,缺点。 首先～评价综合方法的主要缺点产生于它对现存数据的依赖性。该方法最好运用于有评价信息库的领域。对于很少或者不具有现存研究信息的政策问题不能进行满意地调查。因此～该方法对于还没有做过评价研究及不存在可用信息库的新项目不适合。 其次～即使有大量信息库可用时～评价综合也会因为它只能回答现有研究已解决过的问题而受到限制。 再次～质量低劣的报告也限制了使用评价综合方法。对研究程序步骤过于简单的描述～导致不能作出其研究技术充分可靠的判断。另外～在实验或者准实验研究中～对处理方法描述可能太少～以至于不能够对各种研究的共性和差异作出判断～或者感兴趣的变量可能没有被各种研究一致地报告。如～有些研究可能报告了性别、年龄和教育等方面的人口统计数据～而关于针对同样问题的研究可能就没有这些数据。评价综合受到其使用报告的形式和质量的限制。 — 21 — 最后～评价综合方法只能使用当时的研究。如果是几年以前旧的研究～其研究发现可能已经不再是该项目的特征～项目管理者可能已经针对这些发现采取了应对措施。 五、应当注意交叉作用问题 在项目评价中～我们可以提出两个问题:首先～该项目对一定的人群运行得好而对其他人不那么好吗,其次～该项目在一定环境条件下运行得好而在其他情况下不那么好吗,这两类问题都是关于交叉作用的。单一的研究能够发现一定种类的交叉作用～但是对几种研究的综合则能够找到更丰富的更有用的信息。 单个的评价研究都是在一定环境条件下进行的。综合的优点是通过了解研究发现是如何与环境条件相联系的～可以更好地认识交叉作用。 为什么说交叉作用的效应是重要的,通常～评价社会、教育和医疗项目是看它们运行的如何。好的评价还检查怎样的项目方式变化能够有助于改善项目的效果。一种问某个项目是否有效发挥作用的方式是问它平均而言运行的如何。另一种方式是问对人群中的某个亚群或者在特定环境条件下运行得如何。对于政策目的来说～交叉作用问题与主要效果问题同等重要。假定早期教育项目一般来说对于4岁以下的儿童效果好～对5岁及以上的儿童效果差。这将是有价值的知识。如果该项目的资源受到限制～该知识能够告诉我们应该把它集中到什么地方。如果可获得大量的资源～这一交叉作 — 22 — 用的发现将暗示早期教育课程对年龄较大的孩子应该修改。因此～不管某个评价的主要目的是节约资源还是改善项目的效果～发现一种交叉作用能够指导决策。 为什么说评价综合方法在识别交叉作用方面是有用的,单个的研究通常是在不同的环境下进行的～评价综合的优点是能够从研究发现与环境的联系中获得关于交叉作用方面的更多信息～具体而言～使用评价综合方法能够比任何单个研究更好地解决如下六种评价问题:一是项目处理类型与接受者类型的匹配,二是项目重要处理方案的解释,三是相互冲突项目成果的解释,四是项目绩效相对性或者绝对性的确定,五是项目处理方案效果稳定性的评估,六是研究设计重要性的评估。 总而言之～从评价综合中得出的发现有助于我们利用现有研究成果～更加有力地回答具体的政策问题或者解决政策的两难问题。在一个资源稀缺的世界上～这种目标是有价值的。尽管任何一项研究都具有它的重要性～评价综合的一个最大的优点是～它系统地运用现有的数据帮助回答单个研究所不能回答的问题。 资料来源:GAO～ The Evaluations Synthesis, revised March 1992. 编译:审计署审计科研所 崔孟修 校对:审计署审计科研所 叶君鳌 — 23 — 主题词:国外 绩效审计 评价综合 方法 报:署领导。 送:各省、自治区、直辖市和计划单列市审计厅,局,及科研 所～南京审计学院～署机关各单位～各特派员办事处～各 派出审计局。 发:本所所领导、各处～存档。 共印210份 编辑:罗伟芳 签发:王秀明 — 24 —