调查问卷的信度与效度的评价方法研究

3 基金项目 :湖南省统计局科研课题 (编号 :2007A08) 与湖南省教育厅 课题 (编号 :06C474)的系列成果之一 11 中南财经政法大学信息学院 (410205) 21 湖南商学院信息系统计学教研室 ·学术讨论· 调查问卷的信度与效度的评价方法研究 3 　李 　灿1 ,2 　辛 　玲2 　 　　信度与效度的概念来源于心理测量中关于测验 (例如关于能能力、学绩、人格等测验)的可靠性和有效 性的研究。在市场调查、卫生服务、心理健康测试、健 康教育以及社会医学等领域研究中 ,为了从现象深入 地研究一些本质性的或理论性的问题 ,常常设计询问 有关意见或态度的问题 ,以测量某种较为抽象的“态 度”、“看法”、“观念”等等。这就产生了一个问题 :所测 得到的数值是否可靠、准确 ? 为了保证问卷调查结果 的准确性和科学性 ,有必要考察所设计的问卷是否符 合要求 ,调查的结果是否可信与有效。对调查问卷本 身进行信度 ( reliability) 与效度 (validity) 的评价分析 , 才能保证调查的准确性、统计分析结论的科学性甚至 研究成果的质量。 本文重点介绍调查问卷的信度和效度的内涵、评 价分析方法以及如何在 SPSS 软件 (针对 SPSS1310) 上实现等问题。 信度与效度的内涵 11 信度的内涵 信度即可靠性或可信度 ,指测量结果的一致性或 稳定性 ,即测量工具能否稳定地测量到它要测量的事 项。 21 效度的内涵 效度是指正确性程度 ,即测量工具确能测出其所 要测量的特质的程度。效度越高表示测量结果越能显 示出所要测量对象的真正特征。 31 信度与效度的关系 信度度量的是问卷测量结果是否一致的可靠程 度 ,而不涉及结果是否正确的问题 ;效度则针对问卷测 量的目的 ,重点考察测量结果的有效性 ,它们之间的差 别在于所涉及的误差不同 ,信度测量的是随机误差的 影响 ,效度是反映由于测量了与测量目的无关的变量 所引起的系统误差。 对调查问卷而言 ,效度是其首要条件 ,而信度是效 度的必要条件 ,有效的问卷必是可信的问卷 ,但可信的 问卷未必是有效的问卷。这其中的意义和两者的关 系 ,可以用射击过程并结合图 1 来说明。射手首先应 学习如何射中靶心 ,然后进行规定发次的射击 ,子弹平 均接近靶心的程度可比喻为测量的效度 ,而子弹相互 接近的程度可近似看成测量的信度。如图 1 所示 ,理 想的结果是一组射击的子弹相对集中于靶心附近 A 区域 ,这样的测量既可信又有效 ,即说明测量具有良好 的信度和效度。C 区域表示该组射击一致落在远离靶 心 ,说明测验结果是可信但无效的。B 区域表示该组 测验结果不可信但有效 ,这种情况在理论上是不存在 的 ,因为效度的必要条件是信度 ,一个不可信的测量工 具对任何测量主题都是无效的。而 D 区域表示该组 测验结果不可信且无效。对于调查者而言 ,当然期待 测量的结果属于 A 区域 ,具有良好的信度和效度。 图 1 　信度的评价方法 　　在调查研究中 ,所要测量的属性往往要比量体重 这一类属性复杂得多 ,因此它的信度问题也就更为复 杂。例如消费者对某种品牌汽车的态度 ,目前没有一 个显而易见的测量手段来测量它 ,其信度需要认真评 价。信度的评价指标是信度系数 ,理论上可以表达为 真实值方差和测量值方差的比值。若 X 为测量值 , T 表示真实值 , E 表示测量随机误差 ,真实值和测量值 之间关系为 X = T + E ,σ2X =σ2T +σ2E ,即测量值的方 差等于真实值的方差与随机误差的方差之和 ,所以信 ·145·　中国卫生统计 2008 年 10 月第 25 卷第 5 期 度系数为 : R X =σ2T/σ2X = 1 - (σ2E/σ2X) 。 11 度量信度的方法 调查在各类领域的研究中都必须是可信的 ,并且 经得起反复的检验 ,这样的调查才有价值。信度即指 测量工具的稳定性 ,它代表反复测量结果的接近程度。 理想的完全相同测量工具在实际工作中是不存在的。 为此 ,人们提出了几种近似的度量信度的方法 : (1) 再测信度 ( test2retest reliability) ,采用同一个 问卷在同一人群中先后测量两次 ,评价两次测量的相 关性。它考察的是经过一段时间后问卷测量结果的稳 定程度 ,重测信度越高 ,测量结果越一致 ,这也表明受 测环境中日常随机因素的影响越小。重复测量有两个 缺陷 :首先 ,研究对象的特征可能随时间发生变化 , 那 么两次测量的差异就不单纯由误差引起 ;其次 ,重复测 量受前一次测量的影响 ,会产生“记忆效应”,不一定能 真实反映研究对象的特征。因此 ,重复测量的间隔时 间不宜太长 ,也不宜太短 ,多数学者认为以 2～4 周较 为合适。对问卷再测信度的评价分析时 ,当评估的变 量是分类变量时 ,可用 Kappa 系数来评估再测信度 ; 当评估的变量是连续变量或等级变量 ,则用基于方差 分析的内部相关系数 ICC (intraclass correlation coeffi2 cient) 来评价问卷的再测信度。一般信度系数大于 0175 表示再测信度很好 ,而低于 014 表示较差。如果 结果表明某个问卷项目的信度系数低于 014 ,则要考 虑对该项目进行修改或者删除该项目。 (2)复本信度 (parallel2forms reliability) ,是在一个 测量中采用两个或两个以上的复本来对同一群研究对 象进行测量时所得到的结果的一致性程度。评估复本 信度要用两个复本对同一群受试者进行测量 ,然后计 算两种复本测量分数的相关系数。相关系数反映的是 测量分数的等值性程度 ,复本信度又称为等值性信度 (equivalence reliability) 。测定复本信度也应考虑复本 实施的时间间隔 ,一般来说 ,复本应几乎在同一时间实 施 ,以剔除时间的影响。 (3)折半信度 (split2half reliability) ,鉴于再测信度 中的“记忆效应”与复本信度中设计复本问卷非常困 难 ,心理学家斯皮尔曼 (C. E. Spearman) 使用了一种变 通的方法 ,只用一个测量工具对同一组受试者实施一 次测量 ,但将奇数题和偶数题分开计分 ,再计算奇数题 和偶数题分数之间的相关系数 ( roe) ,即为折半信度。 但这样只计算了一半的测量信度 ,整个测量的实际信 度需要用斯皮尔曼 - 布朗公式 ( Spearman2Brown for2 mula)校正后得出 : r = 2 roe1 + roe 。采用折半信度测量信 度的优点在于 :折半信度只在一个时点上进行 ;不受记 忆效应的影响 ;在重复测量法中容易出现的误差项之 间的相关在折半信度中不易出现 ;从实用的角度 ,折半 信度比较经济和简便。但是折半信度存在着内在的不 足之处 :首先没有一种理论推导严格证明其有效性 ;其 次对于同一组问题 ,可能会存在多种组合方式 ,从而导 致折半信度的计算带有一定的随机性。 (4)内部一致性信度 (internal consistency reliabili2 ty) ,问卷对每个概念的测量往往都要用一系列的条 目 ,因而根据这些条目之间的相关性可以评价信度。 假如将一个条目视为一个初始问卷的话 ,那么 k 条目 问卷就相当于将 k - 1 个平行问卷与初始问卷相连接 , 组成了长度为初始问卷 k 倍的新问卷 , k 条目问卷的 信度系数为 :α = kk - 1 1 - ∑ k i = 1 s 2 i s 2 T ( k 为量表中问题 条目数 , s2i 为第 i 题得分的方差 , s2T 为总得分的方 差) ,称为 Cronbach’sα系数 ,代表了问卷条目的内部 一致性。它等于所有可能组合的折半法信度系数的平 均值。值得注意的是 ,许多问卷测量的内容包括几个 领域 ,宜分别对其估算α系数 ,否则整个问卷的内部一 致性较低。一般要求问卷的α系数大于 0180。 (5)评分者信度 ( scorer reliability) ,有些问卷不是 根据客观的记分系统记分 ,而是由调查者给被测者打 分或评定等级 ,则这种测量的可靠性主要取决于调查 者评分的一致性和稳定性。对于这种标准化程度较低 的测量 ,就必须计算评分者信度 ,它分为评分者间信度 和评分者内信度。前者是用于度量不同调查者间的一 致性 ,后者是度量同一调查者在不同的场合下 (如不同 时间、地点等)的一致性。两名调查者的评分者间信度 和测量两次的评分者内信度可用 Pearson 相关系数或 Kendall、Spearman 等级相关系数表示。如果调查者在 三人以上或同一调查者测量三次以上 ,且采用等级记 分时可以采用 Kendall 和谐系数来确定评分者信度。 21 在 SPSS 软件信度测量的实现 在 SPSS 统计分析软件中 Analyze 分析菜单下有 专门的 Reliability Analysis 信度分析模块 ,通过对该模 块的部分选项的选择可以实现大部分的问卷信度分 析。其调用过程见表 1。如果通过排除单项总分相关 系数低的问项或变量来提高调查问卷的内部一致性信 度 ,在 Reliability Analysis 模块可以通过选择 Scale if item deleted 选项 ,然后根据运行结果中的 corrected item2total correlation 以及 Alpha if Item Deleted 两项数 据作为判断准则。 ·245· Chinese Journal of Health Statistics ,Oct 2008 ,Vol. 25 ,No. 5 表 1 　信度测量调用过程表 信度的测量方法 调用过程 分析结果 再测信度 Analyze →Scale →Reliability Statistics →Intraclass correlation co2 efficient 选项 内部相关 ICC 系数 (测量变量为连续变量和等级变 量) Analyze →Descriptive statistics →Crosstabs →Kappa 选项 Kappa 系数 (测量变量为分类变量) 复本信度 Analyze →Correlation →bivariate 根据需要可选择 Pearson、 Kendall’s tau2b 和 Spearman 选项 Spearson 相关系数、Kendall 等级相关系数和 Spearman等级相关系数 折半信度 Analyze →Scale →ReliabilityModel 中 Split2half 选项 Spearman2Brown 系数和 Guttman Split2Half 系数 内部一致性信度 Analyze →Scale →Reliabilitymodel 中 Alpha 选项 Cronbach’s Alpha 系数 评分者信度 Analyze →Scale →ReliabilityStatistics 中 Friedman chi2square 选项 Kendall 和谐系数 Analyze →Correlation →bivariate 根据需要可选择 Pearson、 Kendall’s tau2b 和 Spearman 选项 Spearson 相关系数、Kendall 等级相关系数和 Spearman等级相关系数 效度的评价方法 效度表示测量工具能够测出其所要测量的特征的 正确性 ,采用效度系数来衡量。效度系数一般规定为 与测量目标值的方差在总测量值方差中所占的比例 , 即效度系数为 : V x =σ2T x /σ2x = 1 - (σ2T0 +σ 2 E) /σ2x ,其 中 T = T X + T0 , T X 是想要测量的目标值 , T0 则是与 测量目的不相关的系统性偏差。信度的计算公式 R X = σ2T/σ2X = 1 - (σ2E/σ2X) , σ2T x 是σ2T 一部分 ,因此效度高时信度一定高 ,但反 过来就不一定了。 11 度量效度的方法 效度是个多层面的概念 ,可从不同角度来看 ,从而 提出了衡量效度的几种方法 : (1)表面效度 ( Face Validity) ,是指测量结果与人 们头脑中的印象或学术界形成的共识的吻合程度 ,如 果吻合度高 ,则表面效度高。表面效度属专家评价的 主观指标。有些问题的调查 ,直接提问得不到真实的 回答 ,须“牺牲”表面效度 ,以换取其他效度。 　　(2)内容效度 (content validity) ,是指测量内容的 适合性和相符性 ,即测量所选题目是否符合测量目的 和要求。如图 2 所示 , X1 中所得到的东西是否能代表 X 中的东西 ,也即实际测量工具是否抓住体现了 X 这 个概念的所有或主要特征 ,如果是的话 ,测量的效度就 高。内容效度也属于主观指标。 图 2 　内容效度示意图 (3) 效标效度 (criterion validity ,又称准则效度) , 是指测量结果与一些能够精确表示被测概念的标准之 间的一致性程度。根据比较标准与测量结果之间是否 在时间上有延迟 ,又分为 ①预测效度 (predictive validi2 ty) ,是指测量结果与测量对象在一段时间以后的表现 (预测标准)之间的相关程度 ,相关程度越高 ,预测效度 就越高。效度系数通常较低 ,多在 0120～0160 之间 , 很少超过 0170 ,一般以 014～018 之间比较理想。② 同时效度 (concurrent validity) ,是指测量结果与一个 已断定具有效度的现有指标之间的相关程度 ,相关程 度越高 ,同时效度就越高。一般认为相关系数在 014 ～018 比较理想。效标效度是用测量分数与效标分数 之间的相关系数来衡量的 ,减少了由于主观判断失误 而产生的偏差 ,是一种比较实用的效度 ,但不足之处在 于效标的选择靠主观判断。 (4)结构效度 (construct validity) ,指问卷所能衡量 到理论上期望的特征的程度 ,即问卷所要测量的概念 能显示出科学的意义并符合理论上的设想。它是通过 与理论假设相比较来检验的 ,根据理论推测的“结构” 与具体行为和现象间的关系 ,判断测量该“结构”的问 卷 ,能否反映此种联系。要确定一个问卷的结构效度 , 则该问卷不仅应与测量相同特质或构想等理论上有关 的变量有高的相关 ,也应与测量不同特质或构想等理 论上有关的变量有低的相关。前者称为会聚效度 (convergent validity) ,后者称为区别效度 (discriminate validity) 。评价某调查问卷的结构效度可分为两步 :首 先是提出结构假设 ,然后对结构假设进行验证。 评价结构效度常用的统计方法是因子分析 ,其目 的是想了解属于相同概念的不同问卷项目是否如理论 预测那样集中在同一公共因子里。所得公共因子的意 义类似于组成“结构”的领域。因子负荷反映了条目对 领域的贡献 ,因子负荷值越大说明与领域的关系越密 切。在进行分析以前 ,必须先进行因子分析适合性的 评估 ,以确定所获得的资料是否适合进行因子分析。 一般采用 KMO ( Kaiser2Meyer2Olkin) 检验来进行适合 性分析 , KMO 越大 ,则所有变量之间的简单相关系数 平方和远大于偏相关系数平方和 ,因此越适合于作因 子分析。Kaiser (1974) 指出当 KMO 值小于 015 时不 适合进行因子分析 ,而 KMO 值大于 019 时 ,则非常适 合进行因子分析。而以下三个标准可以用来判断问卷 的结构效度 : ①公共因子应与问卷设计时的结构假设 的组成领域相符 ,且公共因子的累积方差贡献率至少 ·345·　中国卫生统计 2008 年 10 月第 25 卷第 5 期 40 %以上 ; ②每个条目都应在其中一个公共因子上有 较高负荷值 (大于 014) ,而对其他公共因子的负荷值 则较低。如果一个条目在所有的因子上负荷值均较 低 ,说明其反映的意义不明确 ,应予以改变或删除 ; ③ 公因子方差均应大于 014 ,该指标表示每个条目的 40 %以上的方差都可以用公共因子解释。 21 在 SPSS 软件中效度测量的实现 在 SPSS 统计分析软件中没有专门的效度分析模 块 ,表面效度和内容效度属于主观指标 ,一般采取专家 评价法。效标效度和结构效度可以通过 Analyze 菜单 进行分析 ,其调用过程见表 2。 影响信度与效度的因素分析 由于测量的信度与效度是得出正确结论的基础 , 因此 ,在重要的市场研究中 ,对搜集到的资料进行信度 与效度评价已成为一个必不可少的步骤。一般来说 , 影响调查问卷信度与效度的因素有以下几方面 : 11 调查者 首先调查者没有严谨的工作作风和实事求是的科 表 2 　效度测量调用过程表 信度的测量方法 调用过程 分析结果 效标效度 Analyze →Correlation →bivariate 根据需要可选择 Pearson、 Kendall’s tau2b 和 Spearman 选项 Spearson 相关系数 (测量变量为连续变量 ) 、Kendall 或Spearman 等级相关系数 (测量变量为分类变量) 结构效度 Analyze →Data Reduction →Factor (一般在 Extraction 和 Rota2 tion 选项下选择 Principal components 和 Varimax 进行主成分 极大方差旋转因子分析法) 公共因子的累积方差贡献率、公因子方差值、每个条目公共 因子负荷值等 学研究态度会影响调查问卷信度与效度 ;其次调查者 在实地调查时没有使调查对象明了调查的目的和内 容 ,或者对调查对象给予一定的“启发”或暗示 ,同样会 影响调查问卷信度与效度。 21 测量工具 所设计的调查问题表述不清楚或语言不通俗 ,使 调查者模棱两可 ;或者问题的答案并不互相排斥 ,回答 则有可能做出前后不一致的回答 ;或者问题的答案数 目过少 ,不能清楚地区分各调查对象之间的差异 ;或者 问卷题目过多 ,造成调查对象的疲劳或厌倦等都会使 调查问卷信度与效度大打折扣。 31 调查对象 调查对象可能由于某种顾虑而抱着敷衍了事的态 度 ,或者将某些情况轻描淡写。 41 环境因素及其他偶然因素 调查时的环境、外界因素的干扰 ,在资料的编码、登录、录入计算机的过程中 ,每一步骤都可能出现疏忽或差错 ,都会降低影响调查问卷的信度与效度。所以要从调查 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 的拟定、调查问卷的设计、现场实施的监督以及资料汇总的管理等整个过程都应注意质量控制 ,保证调查结果的信度和效度。参 　考 　文 　献11吴增基等主编 ,现代社会调查方法. 上海 :上海人民出版社 , 2004 ,1922280.21 关信平主编 ,社会研究方法. 高等教育出版社 ,2000 ,2132258.31 宇传华主编 , SPSS 与统计分析. 电子工业出版社 ,2007 ,1682300.41Bailey KD. Methods of Social Research. 4th edition. New York : The FreePress ,1994 ,1152165.51 刘朝杰. 问卷的信度和效度. 中国慢性病预防与控制 ,1997 , (4) :1742177. ·445· Chinese Journal of Health Statistics ,Oct 2008 ,Vol. 25 ,No. 5