首页 荟萃分析入门

荟萃分析入门

举报
开通vip

荟萃分析入门 第 1 章 简介 近年来,由于临床医师和统计学家的持续关注,医学荟萃分析(Meta-分析)越 来越多见。 荟萃分析是将基于相同问题、采用相同方法的不同研究结果综合分析得出一个 结论的过程。 荟萃分析系一个有助于人们理解医学干预结果的工具,但并非唯一工具,也非 最佳工具。 为更好的服务于临床,发表医学综述和指南系一种更新某一临床问题常用且有效的方法。这 也反映了临床医生有实践“循证医学”的需求。 循证医学引入了明确的规则以严格评价医学文献。荟萃分析在确认和解释临床研究结果中作 用不容忽视。...

荟萃分析入门
第 1 章 简介 近年来,由于临床医师和统计学家的持续关注,医学荟萃分析(Meta-分析)越 来越多见。 荟萃分析是将基于相同问 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 、采用相同方法的不同研究结果综合分析得出一个 结论的过程。 荟萃分析系一个有助于人们理解医学干预结果的工具,但并非唯一工具,也非 最佳工具。 为更好的服务于临床,发表医学综述和指南系一种更新某一临床问题常用且有效的方法。这 也反映了临床医生有实践“循证医学”的需求。 循证医学引入了明确的规则以严格评价医学文献。荟萃分析在确认和解释临床研究结果中作 用不容忽视。换句话说,如果一项设计严谨荟萃分析表明 A 药优于 B 药,我们可以认为这 一结论是正确的,而且认为无需就这一问题作进一步研究。 报告研究结果对于学习至为重要,因为研究结果既是结论,又是进一步研究的起点。事实上, 临床试验是将理论付诸实践的过程,完成这一过程需严谨的实验设计来证实临床假说并获得 有意义的结果。这些结果构成新假说的基础,并需要新的临床试验的进一步证实。临床试验 结果对医学实践影响很大,特别是那些发表在著名杂志上的临床研究,或是通过大众传媒传 播广泛的临床研究。 在科学领域,新疗法影响巨大,带来 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 数量庞大。但确定每一项研究的质量和重要性并非 易事。同一问题的不同研究常出现不一致的结论,令读者困惑。为阐明一个问题,我们常需 要专家的帮助,从而获得不同研究结果的一个综合结论。 明显的例子在于专家述评和最新进展类讲座的与日俱增,说明对于极具争议的话题需要一个 明确的结论。 设计严谨的荟萃分析系获得综合结论的有力武器。荟萃分析将独立而不同的研究整合起来, 并获得一个相同结论。与逐一复习不同研究相比,荟萃分析优势明显,受作者主观影响小, 结论偏倚小。此外,荟萃分析报道了所有研究的不同结论,读者易于重新计算数据,并与作 者所得结论相比较。 荟萃分析一词始创于 1976 年,这是一个根据所能得到的已发表的文献就一个特定问题进行 回顾性分析的过程。 基于单组数据的分析叫做逐个病人的荟萃分析。基本的做法是,一旦选择了针对某一问题的 最有意义的已发表的临床试验,常与研究者直接取得联系以获得临床试验所有病人的资料, 而不是仅对发表的临床论文做荟萃分析。这样就会产生一组新数据,包括针对这一问题所有 或部分信息。逐个病人的荟萃分析有其自身评价技术,和有别于本书中所解释的研究目的, 在此不做详述。 认为荟萃分析是一个简单的统计学检验是一个普遍存在的误区。事实上,荟萃分析有其自身 的研究领域,按照所有必须的步骤,了解、理解并应用荟萃分析很重要,可规避研究偏倚。 这一系统研究产生的结论,意义不一般,因此值得去做。由于每年有大量科技论文发表,因 此,对这些发表的文献进行荟萃分析非常有用。1940 年仅有大约 2300 种生物医学期刊,1990 年已猛增至 23000 多种,各种论文、述评和来信更是不计其数。如此大量的信息常包含着许 多分散数据和相互不一致的结论,因此有必要进行文献整合。 正确地就某一问题进行系统回顾需要收集和分析所有已发表的文献,而不光是仅收集那些更 Administrator 高亮 能引起读者兴趣的,有临床意义的以及易于获得的文献。 荟萃分析有两步至为重要:第一步是全面收集已发表的文献,第二步是对所获文献进行整合。 这一整合可以是某一领域的专家写就的传统意义上的综述,也可以是应用荟萃分析的方法, 按照更有组织,更客观的方式写就的系统回顾。 一项研究的重要性在于其在某一特定领域所处的位置,也在于其给特定领域所带来的信息 量。每项研究均有其内在特征,其结论不具普遍性,也不能与其他研究类比。另一方面,有 些研究设计相似,其结论可整合为一个更具普遍意义的结论。因此,必须知道如何获知每一 项研究的信息以确保信息可靠,如何在荟萃分析中恰当使用这些信息。 系统回顾和荟萃分析可以证实单项研究的结果。给出的例子是几种药物干预研究,荟萃分析 有助于证实特定药物在治疗某些疾病的作用,释然单项研究可能带来的疑虑。此外,针对某 一问题的系统回顾要求严格检查不同研究中使用的研究方法,以便进一步评价研究数据。这 也有助于识别这些临床研究中方法学上的缺陷,从而有助于提高将来研究的质量。 荟萃分析及其在生物医学领域的应用正迅速引起人们的注意。简单检索一下 MEDLINE 数据 库就可见其一斑。图 1.1 显示了按年统计的文章数量,摘要中均引用了荟萃分析一词,提示 数据分析时采用了这一方法。 图 1.1 显示了按年统计的文章数量,摘要中均引用了荟萃分析一词,说明数据分析时采用 了这一方法 这清楚表明: 荟萃分析在生物医学研究领域的应用稳步提高; 生物医学杂志重视运用荟萃分析法写就的论文。 总之,知道如何阅读、理解、评价以及着手一项研究,研究人员想跟上现代医学研究的步伐, 荟萃分析是一个有用的工具。 简史 Pearson(1904 年)做了第一次荟萃分析,分析了肠热病疫苗接种与死亡率之间关系的五项研 究的结果。 1932 年,Fisher 注意到 P 值自然对数乘以-2 呈卡方分布,自由度为 2。由此,我们可以推测 m 个 lnP 之和也呈卡方分布,自由度为 2m: Administrator 高亮 Fisher 通过这一方法自多个研究中的多个 P 值得到一个 P 值。 这一方法也就是 Fisher 逆卡方法,该法系第一个旨在计算累及 P 值的方法。这一荟萃分析 法适用于有 P 值但不知道事件发生大小的研究,也适用于研究设计不同或治疗方法不同的 研究,这类研究可致错误的累及效果。 这一方法的不足在于: 不同研究未能根据研究特点进行加权。 无法知道事件多少:P 值仅说明了事件偶然发生率,但并未提供事件多少的任何信息,也未 提供临床意义的任何信息。 无法分析两个结论不同的研究,也就是说,如果我们评价两种不同方法 A 和 B 的效果,一 项研究发现 A 比 B 好,而另一项研究发现 B 比 A 好,很难将这两个研究进行合并,因为合 并后得到的结论会引起误导。 无法进一步评价研究之间的差异。因为仅有 P 值,并未评价研究质量及其采用的方法学。 1976 年,Glass 首次将荟萃分析定义为一项特殊技术。 目的 临床研究的主要目的之一是获得清晰而可靠的结论以应用于临床并可能指导临床指南的制 定。临床研究并非总能达此目的,而且经常得出上些相互矛盾的结论。运用正确的荟萃分析 有助于达此目的,可对临床研究做出苛刻的评价。 荟萃分析有助临床研究的方方面面: 增加比较的统计学效能; 有助于评估治疗效果; 整合结论相互矛盾的研究; 回答新问题; 不同研究中的亚组分析; 分析趋势; 明确需进一步研究的领域; 分析既往的研究是否以及如何影响了人们对某一问题的看法; 所有这些方面均可使用这一方法进行评价,荟萃分析法本质是客观的,而专家 意见 文理分科指导河道管理范围浙江建筑工程概算定额教材专家评审意见党员教师互相批评意见 是主观的。 而且,只要新发表的文献结论导致对某一问题看法不肯定时,总可以进行再次荟萃分析。 第 2 章 如何进行荟萃分析 研究设计 荟萃分析是系统回顾的根本部分。 荟萃分析需临床学家和生物医学统计学家的密切合作。 为便于理解,我们将荟萃分析按步骤分开来讲。每一步均有其苛刻的规则以避免分析时的偏 倚,进而准确评估事件以获得可靠的结论。 以临床试验为例,系统回顾需精心设计以规避可能影响结论的偏倚和错误。因此有必要确定 分析目的、规则以及方法。 确定结果 Administrator 高亮 首先要考虑的是确定荟萃分析的结论。最好要明确主要结论,但并非被选中的研究均要考虑 到这一问题。 选择所选临床试验的特征。 对于这一步,最好考虑大样本的研究,也就是在第 2 步时需需根据不同因素选择研究。 确定在哪儿和如何进行检索很重要。最准确的医学数据库是MEDLINE和EMBASE。仅在其 中一个数据库中检索某一问题可能仅获得三分之一的文献,因此,应该使用两个数据库以进 行准确而全面检索。事实上同时检索两个数据库用得很少,原因在于MEDLINE是免费的, 而EMBASE是需要花钱的,因此后者难以得到。手工检索很费时,但不失为一个替代办法, 譬如检索INDEX MDICUS,也可以获得这一领域主要专家的建议。 选择正确的关键词以精确确定研究的问题至关重要,这样可以提高检索效能。通常仅仅考虑 那些以英文发表的研究。尽管这一做法无可厚非,但其局限性很明显。实际上有些生物医学 领域或临床处理仅在一些非英语国家使用,譬如中国的中医学,再就是俄罗斯的高压疗法。 检索完成后,最后看看每篇论文所引用的参考文献,在此基础上进行新的检索。 两个人进行相同检索是有益的,一个人进行计算机检索,如 MEDLINE,另一个人进行传统 检索,如 INDEX MEDICUS,然后根据检索到的论文中的的参考文献做进一步检索。 检索完成后,应估计使用这两种方法未能检索到的论文数量。如果需要更高级的检索,检索 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 应该在检索之初就确定下来,研究设计也应该明确定义,并解释做这一选择的原因。 就详细描述这一完整过程,因为这是方法学中最重要的部分,并出现在最后的论文中。 灰色文献 灰色文献是指由政府、大学、商业机构以及企业发表的纸质和电子文献,这些文献发表不受 商业出版社控制,文献发表也非这些组织的主要目的。 大部分生物医学灰色文献包括大会报告、会议记要、通信、学位论文、内部期刊、委员会报 告等。然而最重要的,也是最易获得的可供荟萃分析的资料是些已发表的摘要和学术报告。 仔细考虑下列两个方面后,才可将所获资料纳入荟萃分析。 1 资料可靠性。摘要通常仅报告部分结果,而且会在不止一个会议上报告。而且,方法学和 副作用常未提及,仔细评价报告数据以避免重复纳入病例可解决这一问题。 2 出版偏倚。学术会议上报告的随机对照试验常未正式发表,检索不到。如所周知,超过一 半的摘要将在两年内发表,另有三分之一考虑发表。估计仅 16%的摘要检索不到。大会报 告和全文发表的时间差 1-5 年长短不等,中位数时间是 2.7 年。此外,阳性结果的论文比阴 性结果的论文发表的早,大会报告过的论文比未报告过的论文发表的早。 总之,我们建议: 检索应该达至在感兴趣的领域的高水平学术会议发表的论文摘要; 检索摘要应限定在 3-5 年内; 仔细评价摘要以避免重复纳入病例; 纳入摘要或排除摘要进行荟萃分析以评估对综合结论是否有影响,是如何产生影响的。 发现和评价论文 现在,寻找论文不难,大部分杂志均可在网上获得。但阅读、评估和得到必须的分析数据绝 非易事。 仔细阅读所有论文是必须的。还要特别注意根据同组病人或者其他研究中的亚组病人甑别论 文。非独立人群的荟萃分析可致选择偏倚。 可采用不同方法阅读科学论文:迅速阅读论文题目和摘要,有助于明确要点以做进一步考虑; 仔细阅读,可利用评分系统;正式阅读论文,仔细检查论文中提供的数据。每一个读者均有 其处理论文的自己方式,取决于读者的经验和你想要从中获得的信息。然而,如果要做荟萃 分析,需仔细阅读以获取有助于理解结果的不同方面,明确研究的多样性,并解释分析中出 Administrator 高亮 Administrator 高亮 Administrator 高亮 现的特别问题。 荟萃分析也是一个独特的学习经历,独特之处在于并不依赖于原论文的结果:反复阅读论文 后可以发现一些初次阅读时被忽视的新论点,可以体会科学语言的技巧,可以发现字里行间 作者未道明的涵义,甚至发现被作者为避免可能的结论歧义而故意遗漏掉的一些数据。换句 话说,荟萃分析可以帮助我们学到很多关于如何阅读、如何写作科学论文的知识。 阅读文献应遵循以下方法,有助于挑选必须的论文以供荟萃分析。图 2.1 是一基于计算机辅 助的收集医学论文以供荟萃分析的示例。表格供荟萃分析时输入数据。 下列信息特别要输入整理。 1、一般资料:第一作者的姓名,出版年,杂志名称以及出版类型(同行审阅论文或是摘要), 这些信息有助于获取原文献以供进一步评价。临床试验数目应该按顺序排列,论文中的参考 文献也应该出现在参考文献目录中,这是荟萃分析和论文写作所必须的。 2、试验设计:设计信息,如双盲,开放性试验,随机化,随访时间,以及所有关于设计的 特征均很重要,有助于详细理解不同研究的设计方法。收集这些信息应该非常仔细而精确, 因为常常是研究设计的不同导致了研究结果的不一致。 3、研究组和对照组处理:一个试验是两种处理之间的比较,如一种药与安慰剂的比较,一 种新药与老药的比较。此外,登记研究中的药物剂量和治疗时间也很重要。同样,药物剂量 或治疗时间或是对照组药物使用的不同均可产生不一致的结论。 4、两组事件数、高危患者数以及不同结果是荟萃分析计算的基础。收集不同研究的失访病 例数也很重要,以便进行逐个方案分析(per protocol)以及按精心选择的标准进行荟萃分析, 这是考虑到把失访病人看作治疗失败,亦即意向治疗分析。这样,分析事件类型(成功或失 败)将决定失访病人在研究中的权重:要么是事件数,要么是治疗病例数。 5、质量分析是评估荟萃分析中的文献的研究质量,证实文献高质量标志存在的一种方法。 如,双盲可评估为 2,单盲可评估为 1,等等。不同作者提出了不同的评分系统,各有优劣, Administrator 高亮 Administrator 高亮 因此,目前尚无一个评价标准。讨论这些评分系统超出了本书的范围,但我们仍需考虑下列 问题: 做荟萃分析时,最好不要使用评分系统,这是因为,一来对什么是一个标准的评价系统尚无 共识,二来使用某一个评分系统还会带来另外的偏倚; 如果要使用一个评分系统,我们应该按不同亚组中的分类将不同研究进行归类,然后进行敏 感性分析(亚组分析)以证实治疗效果在不同亚组间有无不同;这样使用评分系统是可以接受 的。 总之,需要指出的是荟萃分析本身已经能够精确而不带偏倚地评价研究质量了。使用评分系 统不可避免地会拒绝小样本研究,而偏爱大样本研究,这样会低估一些研究结论,也会高估 另一些研究结论。 6、小旗子:给每一个研究分配以不同的小旗子以对其特征进行标识以进行敏感性分析(亚组 分析)不失为一个好办法。例如,如果我们评估不同地区胃癌的所有研究,应将这些研究根 据不同地区普通人群胃癌风险进行区隔,有必要进行亚组分析以评估危险因子对不同地区的 胃癌的发生是否有不同的影响。可由于一项研究的多重危险因素可分配到多个不同小旗子。 这样一来我们可以轻而易举地进行亚组分析,根据这些亚组分析进一步行荟萃分析也非难事 了。 统计学过程 统计学方法将在第 4 章在详述。本手册将解释如何选择恰当的方法,简要描述这一过程。 临床试验结果可表达为比数比(OR)或风险差(RD),也就是流行病学中的绝对风险减少值 (ARR)。由于荟萃分析是将多个临床试验结果进行整合的一种方法,因此所获结果应表达为 综合比数比(ORp)或综合风险差(RDp)。 为荟萃不同研究的不同结果,我们假定,这些不同结果在评价所有试验的相同效应,所评价 效应应该是同一分布群体的一部分。这一假设需得到均一统计学检验。如果假定正确,我们 就可以基于这一假定使用固定效应模型做进一步分析。如果我们不想受到研究是否来自相同 群体的限制,因而,我们假定结果的不同取决于研究内和研究间的变异,需使用随机效应模 型做进一步分析。 其他统计学方法如出版偏倚检验、所须治疗例数检验以及累积荟萃分析将在下面的章节中讨 论。 结果解释 解释荟萃分析结果是一系列评价,具体包括汇总效应样本量大小评估、研究不均一性可能原 因评估、荟萃分析稳定性评估以及计算所须治疗例数的评估。 这些问题将在本手册的工作流程章节中讨论,因为对于研究人员而言,举一个实例要比单纯 理论讲解有用得多。 Administrator 高亮 Administrator 高亮 Administrator 注释 什么是固定效应模型和随机效应模型? 第 3 章 荟萃分析研究中的偏倚 多种偏倚可改变荟萃分析的结果。 知道这些可能的偏倚,对规避这些偏倚或者至少将其影响降至最低至关重要。 有多种偏倚可影响荟萃分析的结果。研究人员常仅考虑出版偏倚,而对于其他偏倚常常被低 估或忽视。 本章中,我们将列举出所有可能的偏倚并给出建议如何规避这些偏倚。 抽样偏倚 抽样偏倚是由于难以检索到某一问题的所有研究造成。 1 出版偏倚:通常仅那些有显著性意义的研究才会发表出来,这说明一些完成的研究未能发 表,也就不会被纳入荟萃分析。这些研究的结论不同于已发表的研究,因此,如如果纳入所 有研究的话,荟萃分析结果可能完全不同。然而,未能发表的研究常在学术大会上发表交流, 因此,包括摘要的分析是一个更全面的荟萃分析。 出版偏倚有两种形式:一致出版偏倚,即如果某一问题已有公认观点,那么与此问题观点一 致的论文易于出版,反之则不易出版。 与之相对应的是反一致出版偏倚,与现有观点一致的论文被认为冗余,而不一致的论文因结 论新颖而易于被录用。 出版偏倚有三个来源:作者、研究组织者、以及杂志社录用政策。 作者和出版社与不愿意发表阴性结果的论文。而研究组织者也不乐见未能证明其效果的一个 新药或一种新干预措施。 出版偏倚无法消除,有几种方法来评价其有无及其重要性。常用的有: A 漏斗图形法,由 Light 和 Pillemer 提出。计算每一项研究的效应和样本量,若不存在出版 偏倚,作出的图应该是一个倒置的漏斗。X 轴和 Y 轴也可以是一些其他参数,如 X 轴可以 是风险比、比数比或风险差等。Y 轴可以是样本量、试验精度、变异等。标准图应该是风险 比和样本量。其他图有其特定目的,超出了本书的范围。这一方法较为笼统,因为仅靠视觉 来判断数据。但这一方法很常用,因为图易作。这一方法仅适用于包含许多研究的荟萃分析, 对于仅有不多的几个研究则不宜应用此法。避免仅根据视觉判断来评价出版偏倚的一个好做 法是使用不对称检验。不对称检验下面将讨论到。 Administrator 高亮 Administrator 高亮 Administrator 高亮 Administrator 高亮 B Klein 法:基于以下假说,如果未发表的研究与已发表的研究相比,病例数一样,变异也 相同,那么需要多少阴性结果的研究才能影响荟萃分析结论?这一数量也就是上文中的研究 总数量。 其中,人 W 均系 K 个试验权重的均值。 该检验并未确切回答有无出版偏倚,但在处理出版偏倚这一问题时,间接检验了荟萃分析的 可靠性。此外,定量处理也比较好,META 程序中将使用这一检验来评价出版偏倚。 2 如果仅检索 INTER 网上的信息,还会有其他偏倚: 2.1 索引偏倚:这是由于许多研究未被 INTER 网数据库收录所致。刚发表的论文以及刚被 收录的论文尤其如此。在第二阶段,有必要进行核对,错误常常得到纠正。 2.2 检索偏倚:这是由于难以检索数据库中所有收录的论文。专业检索人员研究 INTER 网 研究检索率 32%-80%,但非专业检索人员的检出率远低于此。因此,重视检索策略至为重 要。请几个同时进行独立检索并比较检索所得大有裨益。 3 如果检索既基于 INTER 网也基于非 INTER 网数据库,也存在偏倚: 3.1 文献参考偏倚:一些研究被频繁引用,而另一些研究根本未被引用,这也会导致偏倚。 3.2 重复出版偏倚:不同文章发表相同内容也会导致偏倚。 3.3 病例重复计数偏倚:同一组人群的不同亚组分析结果的发表也会导致偏倚。 仔细阅读文献可避免这些偏倚。 选择偏倚 1 纳入标准偏倚:使用某一纳入标准进行检索文献以供荟萃分析可能排除掉上些有意义的研 究,从而造成偏倚。标准一旦建立,这上误差很难 检测 工程第三方检测合同工程防雷检测合同植筋拉拔检测方案传感器技术课后答案检测机构通用要求培训 、定量,因而很难避免。 2 选择者偏倚:如果研究的一开始未能定义出精确地选择标准,检索人员可能使用自己的检 索标准,从而得到不同结果。避免这些一偏倚的理想方法是精确确定选择标准,严格按照标 准而非结果评价不同研究。 研究内偏倚 论文选择好后,从研究结论中常常很难得到我们需要的数据。 1 荟萃分析所致的偏倚 1.1 抽样偏倚(extractor bias):这一偏倚由于结论记录不准确所致,很常见且又难避免。这一 偏倚可对分析结论产生很大影响。两个人进行独立阅读很有好处,可以解决评价不一致的情 形。 1.2 质量评分偏倚:如果评价论文质量的系统未能严格定义,阅读者的个人判断可以对分析 结果产生影响。不采用任何评分系统即可避免这一偏倚。 2 研究者研究结果不准确所致的偏倚: 2.1 报告偏倚:设计一个临床试验以评价不同结果,但仅仅那些有显著性意义结果才会报道 出来,就会产生报道偏倚。可与作者联系以获得所有研究的结果。在一项研究中包含未报道 的数据常常意味着研究质量不高。 2.2 记录误差偏倚:这一偏倚是由作者解释论文结果所致。发生率大概有 1%。这一偏倚在 荟萃分析中并不重要,因为这是一个随机误差,样本量足够大时尤其如此,对结果影响些微。 其他偏倚 下列偏倚考虑得少,但其重要性一点也不亚于上述的几种偏倚。 1 地理偏倚:最好不要把不同地区的研究结果汇总在一起,因为不同地区间疾病发生率和危 险因素可对结果产生重要影响。对所有研究结果进行荟萃分析以获得平均效应是不恰当的。 恰当的做法是进行敏感性分析,以评价同一地区研究的亚组情况,然后再决定能否将所有的 研究结果汇总在一起。 2 随访时间偏倚:如果结果呈时间依赖性,那么随访时间长短就有临床意义。若研究时间长 短不一样,那么使用相同药物相同剂量的不同研究可能得到不同结果。如果不考虑时间依赖 性效应,这在临床上很常见,会产生平均效应偏倚。 附录 附录部分描述了评价检索的完整性一个不错的技术。这一技术提出了可接受的未被检索到的 论文数量,尽管使用了两种不同检索方法。这是个纠正荟萃分析偏倚的重要方法。 这是一个“捕获-标记-再捕获”软件,生物学家用来计算某一地区单一动物种群总体数量的。 譬如,如果我们想知道地中海鲨鱼数量,我们可以在一段时间内标记所能捕获的所有鲨鱼, 然后将其释放。标记好的鲨鱼游回大海,我们可以计数一定时间内标记鲨鱼出现率,以此来 推断地中海中海鲨鱼总数。 假设一定时间内就某一特定问题基于 MEDLINE 进行检索获得论文 M 篇,基于 INDEX MEDICUS 和以及检索工具检索获得论文 n 篇,那么 m 篇文献肯定包括在上述两组获得的文 献中。我们现在可以建立表格了。 基于公式计算预测值,N,也就是论文总数(检索到和未检索到的)应该是(假定文献来源独立 的话): N=M(n/m) 最大似然估计对小样本部分会受到扭曲,应用 CHAPMAN 法可获得精确结果: Administrator 高亮 Administrator 高亮 Administrator 注释 这段是什么意思? N=(M+1)(n+1)/(m+1)-1 N 变异是: 具有 95%可信区间。 应用捕获和再捕获方法要求来源独立。 第 4 章 统计学 了解统计学过程对于选择何种检验,为什么选择这种检验至为重要。 不同软件包计算出来的不同结果是不同软件公式采用不同近似法计算的结果。 本章包括几个公式对于理解软件程序大有裨益。本章包括了荟萃分析的根本要素和重要概 念,因此,也有助于总体上理解荟萃分析。 前已述及,荟萃分析就是把不同研究结果进行汇总的过程。这一汇总过程并非简单将不同研 究结果相加,而是根据研究的精确程度权衡每一项研究结果的过程。事实上,如果依离散宽 度,也就是变异,来估计精确度,那么每一项研究的权重 i 可表示为变异的倒数: Wi 是权重,Vi 代表研究结果的变异。 换句话说,如果一项研究变异大,那么在最后分析结论中所占的权重就会小。而变异小的研 究权重就会大。 荟萃分析通用公式表示为总结论 D,这是一个平均权重。 可以是 n 个研究总和。 分子即上文所述概念,分母可将所用权重进行简单标准化。 每一项研究结果已根据其精确度进行了权重分析,旋即就要确定在公式中研究中需要怎样的 评价。 这要么是所研究的两组间事件发生率的差异要么是比数比。 计算中所用到的程序可分为两类:固定效应模型和随机效应模型。 固定效应模型 这一模型基于如下假说:所获得研究可看作一组,是在评价相同的治疗效应,因此,所评估 效应可看作相同人群分布的一部分。然而,这一假设需进行统计学“均一性检验”。 这一分析允许研究者评价所评估的研究是否是在处理相面参考。 “均一性检验”基于如下公式 : 如果均一性假设无效,上述方程近似呈卡方分布,自由度为 m-1, 是 j-n 研究中效应评 价值, 是累积效应估计值,Wj 是 j-n 项研究的权重。 分析结果可表示为下表: Administrator 高亮 Administrator 高亮 Administrator 高亮 A+B 是研究中接受某一治疗患者的总数,A 是研究组中有效例数,B 是未达预期效应的例 数。C+D 是依据目前标准治疗方案治疗患者的总数,C 是对照组中有效例数,D 是未达预 期效应的例数。 计算百分差不是一个困难的计算问题,可采用下列公式进行: 或者下面更为通用的公式: O 是观察到的事件数(死亡,并发症等),N 是研究中患者的数量,i 是新疗法,s 是标准疗法。 下面公式计算 95%可信区间: D 是百分差,SE(d)是百分差的标准误,可由下面公式计算出来: 计算出每一项研究的百分差和标准误后,应用荟萃分析的通用公式或获得荟萃结论(2),不 会与公式中的 D 相混淆(4)。D 的可信区间算法如下: (7) “均一性检验”算法如下: (8) D 是荟萃效应,di 和 wi 为百分差和 i-n 研究的权重。 比数比有必要做进一步详细解释。可根据不同方法计算比数比。Mantel-Haenszel, Peto 和 Gart 提出的几种方法最为常用。一些例子将逐步进行解释以便于大家理解。 A)Mantel-Haenszel 法 根据第 25 页表格中的数据,使用下列公式计算比数比: 比数比确定每一项研究间所比较获得的结论。 对一些特别罕见事件,比数比可看作相对风险估计值,提示暴露多少次可增加事件发生率。 Administrator 高亮 这一情况下,A+B 约等于 B,C+D 约等于 D。 据公式(9),显而易见的是,如果表中包括 0,那么估计值可以是 0 或者是无穷大。为避免 这一情形,程序中每一格总要填上 0.5。在与其他软件程序比较时,这会导致结果的些微差 别。 比数比 95%可信区间可用下列标准公式进行计算: (10) SE(Ln OR)为比数比自然对数的标准误、 举一个例子示之,两个关于女性被动吸烟与肺癌关系的研究,看表 4.1. 据公式(9)可计算这两个研究的比数比: 比数比接近 1 时,使用下列公式计算近似变异: 那么: 每一项研究的权重为(据公式(1)): 利用下列公式(Mantel-Haenszel)计算计算累积比数比估计值: ORM-H变异可根据一个复杂公式计算获得,本例中结果为 0.019。用公式(10)计算 95%可 信区间,其上下限分别为:1.14-1.95。 由于这一方法优点多,精度高,因而使用广泛,并频繁出现在计算机软件中。 B)Peto 法 Peto 法基于改良 Mantel-Haenszel 法。 第一步是计算每一组事件预测值,采用标准公式,边缘总数乘积除以 n,具体可见表 4.1, 于是我们会得到: 然后计算实际事件和预测事件之间的差值: 这些定量资料的变异为: 于是得到: 计算 ORp 自然对数值: 于是得到 ORp=exp(Ln ORp)=1.46 按下列方法计算 95%可信区间: 很容易得到上下限:1.13-1.90。 采用 Peto 法,某一格子中出现 0 不影响计算,因此也就无需进行近似处理。 均一性检验 Mantel-Haenszel 法: Peto 法: Q 呈卡方分布,自由度为 n-1 项研究,如果荟萃分析包括研究不多,其检验效能很低,因此 拒绝均一性假设常常并非总是一个有效的检验,很难证明我们正在检测相同分布人群。特别 值得注意地是,不同研究显而易见的临床异质性并不能总能得到统计学证实。需要进行敏感 性分析以证实临床资料的不同是否影响了荟萃分析结论。 随机效应模型 这些模型的分析方法无须每项研究假说均来自相同群体,因此,n 项研究可看作不同人群的 一个单独部分,各自有其自己的均值。因此,估计值变异有两个来源:研究内和研究间。 DerSimonian-Laird 法适用于 Ors,可进行下列计算: 其中 S 是研究数目, 且, 选用固定效应模型还是随机效应模型并无广泛共识。下一章节将在这方面做详细地理论说 明。 异质性定量 详细地理论探讨定量评价异质指标已非本文目的。 定量评价异质指标主要有三个: H 是异质性检验卡方值的平方根除以其自由度。H 描述了与自由度相比,Q 中相对剩余。 R 是随机效应荟萃分析所得均值与固定效应模型荟萃分析所得均值的比值。该值描述了随机 效应模型与固定效应模型相比,荟萃估计值可信区间的夸大程度。 I2 是 H 的转换值,该值描述了由于异质性获得的研究估计值总变异中的一部分。 这些指标的主要特征以及优势在于: 取决于异质性大小; 标准恒定; 样本恒定。 出版偏倚定量 计算截距和 B 系数的过程与回归分析相同。 Administrator 高亮 第 5 章 实例分析 荟萃分析的实质依赖仔细分析数据,依赖于数学方法,也依赖于标准又不失创造性图形处 理。 接受统计学专家的监督,或者至少将所获结果与其进行讨论对于全面理解荟萃分析以及更 好地使用统计软件至关重要。 本章按分析实例逐步解释如何成功处理荟萃分析过程中遇到的问题。 理解下列实用的指南有助于正确地进行荟萃分析,也有助于我们对别人荟萃分析作出正确地 评价。对于后一种情况,分解所有因素来解释研究人员如何进行荟萃分析至关重要。作为一 个新起动项目,我们可按照下列说明重复已发表的荟萃分析。 按前述的过程完成研究设计、文献检索和研究评估后,就可进行荟萃分析并对结果进行解释。 数据准确性 一旦录入数据,计算完成,就可进行结果评价。荟萃分析输出结果必须包括原始数据,以便 检测输入错误。 数据检索必须总是以论著的形式以便独立地进行分析和评价。荟萃分析中缺少原始数据意味 着可能的错误,表明作者可能不愿意让其他研究者再次检测其统计方法是否存在这样那样的 错误。 图 5.1 为例 1 的数据,系一系列临床试验研究西米替叮治疗 4 周后胃溃疡愈合情况。论文按 发表时间进行排序,这是软件中一个标准的数据排列方式。特定情况下可用不同表示方法, 如根据样本大小或者对照组事件频数评价某一效果。两组有两列数据:病人数和事件数。为 使表格易读,先输入对照组数据,再输入研究组数据。 资料收集齐后,就可按程序(PP)进行荟萃分析了,或者有必要进行意向性分析,做意向 性分析(ITT)时,失访病例看作治疗失败。程序(PP)分析时,失访病例未进入分析,病 人数自动从研究总人数中扣除。做意向性分析时,如果事件是好的,如溃疡愈合,病人数不 作修改,如果事件是坏的,如死亡,溃疡或得发等,失访病例应添加至观察到的事件人数中 去。这一程序目前应用在生物医学研究中,但问题在于将某一研究对像分配至所观察到的事 件组中去系一系统行为,而非随机方法,这与恰好与意向性分析过程所要求的背道而驰。 本文所给的例子中,数据未包括失访病例,在那个年头这是说得通的,西米替叮治疗胃溃疡 是一个不小的发明,病例数很少,随访时间也短,只有四周。除一篇摘要外,所以研究均为 论著。总之,该荟萃分析采用了 14 个研究,大多样本量小,共有 925 个病人,451 例服用 安慰剂,474 例服用西米替叮。 评价每一项研究的输出值 使用软件时,选择菜单中所显示的所有的选项评价输出值。 图 5.2 显示了“简化”输出结果,包括了每一项研究根据 Gart 和 Peto 法计算获得的风险差 和比数比。对于标准处理过程,这一方法已是绰绰有余。 本例中,我们可以发现,单个研究结果相互矛盾显而易见:事实上,7 项研究显示西米替叮 显著优于对照组,而另 7 项研究则未能显示这一优势。 图 5.2 考虑到 75%可信区间则更为显而易见,如果区间包括比数比或者包括 0(在风险差时),则 结果无统计学差异。 然而图 5.2 中,中间值,无论是比数比还是风险差,均支持西米替叮,与所纳入的研究结果 均一致。这表明无统计学意义的结果可能是由于样本量小所致。荟萃分析所获结果可证实一 怀疑。 图 5.3 图 5.4 如果需图 5.2 中的详细分析,可选择扩展结果选项,输出结果就会如图 5.3-5.5 所示。 图 5.3 为两组病例按列组织的风险差(RD)数据,列中还给出了病例数,事件发生率(治 愈率),百分差及其相对标准误,风险差(RD)95%可信区间。 图 5.5 图 5.4 是根据 Gart 法计算得到的比数比,而图 5.5 是根据 Peto 法计算得到的比数比。Peto 是基于研究中预测值与观察值之差,即使单元格包含 0 也不影响结果。 并非每一个荟萃分析均需要扩展结果选项,因为扩展结果选项仅是一些计算细节而已,对于 分析本身并不能增加额外信息。 评价累积效应 显示荟萃分析小结的打印页有两个不同部分。 第一部分是根据固定效应模型所做的分析。这一模型要求所有试验的治疗效应估计值来源于 相同分布人群,并需要一些程序的证实。首先是 Galbraith 图,将在下面的章节中讨论。其 次是检验统计学异质性,这很精确,因为没有图形所固有的任何近似。 本例中数据的累积效应见图 5.6。 Q 代表异质性检验的结果,为一卡方值,其下是自由度,假设为来自于均一总体。统计学意 义位于相同部分(p(Q))。有四种方法进行异质性检验,具体采用哪一种,与所选用的程 序,所评价的数据有关。这一方面将在下面讨论到。 一旦异质性检验无统计学意义(P=0.584),不同研究来自相同群体的假设即可成立,因此 就可继续使用表中信息(见图 5.6)。 图 5.6 如果我们注意列“百分差”,那么第一行表示平均效应。西米替叮组和安慰剂组平均效应差 为 23.3%,95%可信区间为 17.2-29.3(最下面一行)。这一效应具有显著意义,从可信区间 不包括 0 可以看出来,也可从第四行的 P 值看出来。 其他列为采用前已述及的过程计算获得的比数比。差别些微,是由于每项检验计算方法不同 所致,部分是由于采用了 Gart 和 Mantel-Haenszel 近似法所致。 表中第 1 行至最后一行分别为比数比自然对数值、标准误、Z 值及其相应 P 值、Q 值及其相 应 P 值、自由度、比数比以及可信区间。 异质性其他考虑 图 5.6 中给出的例子,异质性检验无统计学意义,荟萃分析时应仅使用前面所列呈的数据。 但是,如果异质性检验有统计学差异,必须使用随机效应模型。 值得注意地是,当异质性检验有统计学差异时,如何进行评价和解释目前尚无共识。 如果异质性检验有统计学差异,表明这些研究不是来自相同群体。需寻找异质性原因并评价 这些“异类”研究。还要进行包括和不包括这些“异类”研究的荟萃分析。然而,即使仔细 阅读文献也不能发现异质性的原因,还是可以应用随机效应模型,因为这一模型并不要求所 有的研究均来自相同群体分布。因此,可信区间较宽,模型也较为保守。 众多观点认为应该使用随机效应模型,因为(1)与固定效应模型相比,当异质性检验无统 计学差异时,结论非常接近,(2)随机效应模型所获得的结论相对保守,(3)生物学检测由 于个体变异而具有固有的异质性,而随机效应模型可表现这一变异。 荟萃分析的目的不仅仅限于计算平均效应,而是在于获得有意义的处理临床问题的证据,这 些问题目前尚无肯定答案。 基于此,需要再次阅读原文献以理解和解释数据中所包含的信息。研究者同时还要能形成自 己的观点,对输出结果存在可能的争论时显得尤其重要,譬如研究的异质性。 图 5.7 图 5.7 总结了推荐的流程,这一流程显示,如果无统计学异质性,首先考虑使用固定效应模 型。然而,由于前已述及原因,使用随机效应模型并不改变结论。出现异质性时,不可以忽 视它。反复阅读文献以识别譬如纳入标准、排除标准、研究对像特征等方面可能存在的差异, 进而把研究区别开来归入相同群体分布组。如果这一偿试成功的话,使用固定效应模型进行 亚组分析可解决异质性问题。另一方面,通过阅读文献,如果发现统计学异质性系研究样本 变异的一部分,并非由于研究组的不同或是治疗方法的不同而引起,在这一情况下(也只在 这一情况下),建议使用随机效应模型。 随机效应模型所获得的结论可使用前面所述的相同标准进行解释。 图 5.8 结果与采用固定效应模型所获得的结果非常相似,因其无统计学异质性。如果存在异 质性,有几个不同,特别是在比数比的可信区间大小方面。随机效应模型中用来计算比数比 的方法叫 DerSimonian-Laird method。 图 5.8 异质性定量分析:I2指数 如所周知,Cocharane 异质性 Q 检验当包括不多的研究时其统计效能低。这时,界值设定为 10%有统计学意义比较合理,即使犯 I 类错误的可能会增大(假阳性结论)。相反,当荟萃 分析包括许多研究,特别是大量研究时,该检验表现卓越工,可检出临床上不起眼的异质性。 此外,该检验可检测各种异质性,不光是由于研究的不同所致的真正的异质性。解决这一问 题的一个非常有用的办法就是将所有研究的总变异进行区别,即真异质性和偶然异质性。I2 指数为所有研究总变异中由于异质性变异所占的百分比。一些作者武断地将 I2 值 25%,50% 和 75%分别看作低,中和高异质性。然而,尽管 I2 指数和 95%可信区间有助定量评价异质 性,但这些值并未用于决策判断。 程序给出了四种方法计算 Cocharne 异质性 Q 检验的 I2 和其 95%可信区间。 出版偏倚检验 出版偏倚已在前面的章节中做了讨论。 当荟萃分析结果有统计学意义时,需检验出版偏倚。常用的有下面 3 种方法: 1 Kliein 公式法:这一方法未能回答有无出版偏倚,但回答了,如果存在出版偏倚,需要 多少无效研究或阴性结果的的研究才能使用荟萃分析结果无效。这一数据可自软件输出结果 中自动获得,类似于图 5.9 所示。这一情况下,检验表明 155 项无效研究可使荟萃分析结果 无效,因此,我们认为结果可靠。 尚无实际使用这一检验结果的指南,特别值得注意的是,尚无一个界值来证实荟萃分析结果, 这时靠的是常识和实践。 图 5.9 2 漏斗图法:这一方法见第 3 章和第 7 章。 3 漏斗图不对称检验:一旦获得了比数比(Y 轴)和精度(X 轴)估计值,可给每一项研 究画一条回归线。如果无出版偏倚,Y 轴截(α)距必然为 0。如果α的 95%可信区间经过 0, 我们可以说不存在出版偏倚。相反,如果α的 95%可信区间不经过 0,我们可以说存在出版 偏倚(见 53-54 页)。荟萃分析页给出了截距、95%可信区间及其 P 值(图 5.9)。 所需病例数(NNT) 另有一个重要而又有趣的计算是获得荟萃分析有意义的结论所需的病例数。比如,如果荟萃 分析的目的是为了评价一个药物对一年生存率或溃疡愈合的效果,那么 NNT 将给出需要治 疗多少病人才能看到两组间一个单位的差异。再比如,评价西米替叮和安慰剂治疗胃溃疡愈 合率,NNT=4 意味着与安慰剂比较,需用西米替叮治疗 4 个病人,并有一个额外愈合才能 获得最后的统计学差异。这一信息可用于药物经济学评价。 当我们评价临床试验或荟萃分析的某一个新药效果时,结果将引导我们得出结论新药是否显 著优于标准治疗方案。但我们并未获得两组治疗方案差别大小(采用率比较),NNT 可定量 检测治疗效果。 病例数为累积风险差到数,因此,依固定效应模型或随机效应模型可得出两个不同值,这两 个值均由程序计算获得,一并给出 95%可信区间(图 5.9)。 示图 这一部分介绍使用图示法给出荟萃分析的结果。数值可来自固定效应模型和随机效应模型。 本例中,因未发现异质性,因此使用固定效应模型计算值作图。 图 5.10 是一张标准森林图,荟萃分析的论文中很常见。每一项研究均示以比数比和其可信 区间,以小方盒和小方盒两端的两条线来表示。如果可信区间跨过垂线,提示结论无统计学 差异。 在左侧,方框外面,给出了每一项研究的参考文献。 尽管均使用自然对数计算 OR 值,但结果报道中使用 OR 值而非其自然对数值更为恰当,这样 易于理解。但刻度须是自然对数值,以便可信区间的两条线对称地分布在中央小方盒的两边。 图 5.10 所有的研究均显示了西米替叮疗效优于安慰剂组的趋势,尽管有些研究未达统计差异,部分 原因在于样本量小。 在底部,方框外面,累积 OR 值显示西米替叮显著优于安慰剂。 尽管此图已成为荟萃分析经典表示方法,但并未给出更多的信息。事实上,此图仅给出了每 一项研究的 OR 值及其相应的可信区间。 结果也可表示为风险差。图 5.11 基于上述相同数据面而做的。需要注意的是,此图中使用 了风险差(RD)、刻度为线性的而非对数值,垂线代表 0 而非 1。 图 5.11 Forest 法提供了更为详细的数据信息(图 5.12)。此图中,图形部分与图 5.9 和图 5.10 中的 一致,但提供了额外的信息:作者、出版时间、每一项研究的病例数。这种图也可使用 OR 或 RD 形式表示。 图 5.12 累积荟萃分析图系解决不同问题一个特殊的办法。示例见图 5?4.12。此图中,研究必须按出 版时间进行排列。以时间为序,第一个 OR 代表第一项试验,第二个 OR 代表第一和第二项 试验累积 OR 值,第三个 OR 代表前三个试验累积 OR 值,余类推。最后一个 OR 值为荟萃 了所有研究得到的数值。换句话说,此图表示每一项新研究进入以前的荟萃分析后如何影响 最新荟萃分析结果。图左边列出了每年加进来的病人数。 由此图可以看出,1977 年最初的两项研究结果已经肯定了西米替叮疗效,这一结论得到下 一年研究的证实。1978 年以后的研究可以看作是不必要的甚至是有害的,这是因为给已经 为荟萃分析所解决的问题增添了变数。后来的研究增加了更多的病人进行荟萃分析,获得了 更为精确的 OR 估计值,但依然未改变原有结论。 图 5.13 累及荟萃分析可以对发表的文献作回顾性评价,并可能使标准荟萃分析显得无必要。但最终 累积 OR 值,无论是采用标准法还是采用累积法,均是一致的。 采用百分差来表示时图形类似。解读数据相似,唯刻度是线性的。 Galbraith 图 Galbraith 图提供丰富信息,图中一个数字代表一项研究。图中 X 轴代表研究精度(图 5.14, a 线),可以是 OR 值比数比的倒数,也可以是离散度的倒数 Y 轴代表标准化 OR 值对数(图 5.14,b 线)为效应大小, 点靠近原点表明研究提供的信息量差,远离原点的点表明研究精度高,在荟萃分析中具有较 高权重。 图 5.14 对于每一项研究而言,通过原点画一条线指向对数刻度可获得 OR 值,经过点为该研究(图 5.15),c 线)。在原点和 Y±2 之间画两条线,对就刻度表上的值,即为近似可信区间(图 5.15, d 线和 e 线)。 图 5.15 Galbraith 图包括三条连续平等线(图 5.16,f 线, g 线, h 线)中间一条粗线指向刻度表上的 (f 线)累积 OR 值,可信区间为与刻度表相平行的一段弧(i 段)。程序自动计算出这三条 线、弧段,以及 OR 值及其 95%可信区间。 图 5.16 始于原点和 Y±2 的两条线(图 5.16 中 g 线和 h 线)为均一性区间。如果一个或更多点(即 试验)落在区间之外,说明这些研究存在异质性。 如果存在异质性,我们需按前述方法进行处理。 Gallbraith 图与传统方法相比包含了非常丰富的信息:研究精度、均一性区间等。 图 5.17 为西米替叮对安慰剂治疗胃溃疡愈合率的 Gallbraith 图。 可以发现:1)所有研究均处于均一性区间内;2)所有研究均处于图形上方;3)所有研究 均有利于西米替叮;4)几个研究的相对误很大,这几个研究的样本量都很小。 图 5.17 图 5.18 为为百分差 Gallbraith 图,等效线值为 0,刻度为线性值。 I’Abbe 图 图 5.19 为 I’Abbe 图。图中每一个数字代表一项研究。X-Y 轴对应值为对照组和治疗组实 际观察事件发生比例。 实线表示两组事件发生率相同。另两条线表示两组间 25%和 50%差异的两个点。 含有研究号的圆圈大小与研究样本量大小一致。 此图有助于理解某些异质性的原因,下面将给出上些具体的例子。 图 5.19 漏斗图 图 5.20 为一漏斗图,所有研究均绘在 X-Y 轴上。X 轴为对数刻度,代表 OR 值,Y 轴亦为 对数刻度,代表样本量。 漏斗图中包含的所有研究沿累积 OR 值呈对称分布。 图 5.20 图 5.21 为一荟萃分析图,研究了某种药物减少死亡的效果。漏斗图显示沿累积 OR 值呈明 显不对称分布。由图可知,大样本的研究效果差。这可能是由于这一不对称引起,也可能是 由于缺少小样本的以及阴性结果的的研究而造成的。 使用这一图形法,需注意结果非定量的,仅靠视觉来判断,有些情况下是显而易见的,有些 则不然。 图 5.21 漏斗图不对称检验 图 5.22 为图 5.20 的漏斗图不对称检验。由于截距的 95%可信区间经过 0 点,因此,无出版 偏倚。 图 5.22 图 5.23 为图 5.21 漏斗图不对称检验。由于截距的 95%可信区间不经过 0 点,因此,存在出 版偏倚。 图 5.23 亚组分析图 图 5.24 表明亚组分析如何有助于理解样本异质性的问题。 许多研究评价了生长抑素预防 ERCP 后胰腺炎作用。荟萃分析表明该药物没有显著疗效,但 试验中观察到存在巨大变异令人怀疑是否是因为试验设计中的问题导致了这一巨大差别。因 此,试验根据生长抑素给药方法进行了分类:三项研究为静脉弹丸注射给药,另三项研究为 缓慢静脉给药,还有五项研究为持续静脉滴注。
本文档为【荟萃分析入门】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
is_447620
暂无简介~
格式:pdf
大小:917KB
软件:PDF阅读器
页数:38
分类:
上传时间:2011-05-16
浏览量:47