调查问卷的可信度和有效度分析

第 20 卷第 6 期 2005 年 11 月 统 计 与 信 息 论 坛 　　　　　　　　　 Vol. 20 No. 6 Nov. ,2005 收稿日期 :2005 - 09 - 02 　3 基金项目 :本文是国家社科基金项目 (01A TJ001)的系列成果之一。 作者简介 :曾五一 (1953 - ) ,男 ,福建省泉州市人 ,博士 ,教授 ,博士生导师 ,中国统计学会副会长 ,研究方向 :经济统计、经 济数量分析 ; 黄炳艺 (1977 - ) ,男 ,福建省厦门市人 ,博士 ,讲师 ,研究方向 :管理统计、金融计量经济学。 【名家走笔】 调查问卷的可信度和有效度分析 3 曾五一1 ,黄炳艺2 (11 厦门大学 经济学院 ;21 厦门大学 管理学院 ,福建 厦门 361005) 摘 　要 :关于调查问卷可信度和有效度的评价分析一直是国内进行问卷调查时被忽视的议题。文章对调 查问卷的可信度和有效度的内涵及其相互关系作一些研究 ,并对国际上常用的一些统计评价分析及如 何在 SPSS统计软件包上实现的问题作扼要的介绍。 关键词 :调查问卷 ;可信度 ;有效度 中图分类号 :C811 　　文献标识码 :A 　　文章编号 :1007 - 3116(2005) 06 - 0011 - 05 　　在我国的统计调查和科学研究中 ,问卷调查得 到了相当广泛的应用。为了保证问卷调查结果的准 确性和科学性 ,有必要考察所设计的问卷是否符合 要求 ,调查的结果是否可信与有效。但是 ,在实际工 作中 ,人们一般只是直接运用问卷调查的结果进行 分析和推断 ,而很少对调查问卷本身进行可信度 (Reliability) 、有效度 (Validity) 的评价分析 ,这就使 得调查的准确性、统计分析结论的科学性以至于研 究成果的质量不能不受到影响及质疑。本文对调查 问卷的可信度和有效度的内涵及其相互关系作一些 研究 ,并对国际上常用的一些统计评价分析方法及 如何在 SPSS统计软件包上实现的问题作扼要介绍。 一、可信度与有效度的概念 调查问卷的可信度 (亦称信度) 是指问卷调查 结果所具有的一致性或稳定性的程度。所谓一致性 , 是指同一调查项目调查结果的一致程度。较高的一 致性即意味着同一群受访者接受关于同一项目的各 种问卷调查所得到的各测量结果间显示出强烈的正 相关 ;所谓稳定性则是指在前后不同的时间内 ,对相 同受测者重复测量所得结果的相关程度 ,如果一群 受访者在不同时空下接受同样的问卷调查时 ,结果 的差异很小 ,则说明调查问卷具有较高的稳定性。以 笔记本电脑消费倾向调查问卷为例 ,如果设计的不 同问卷对同一群体的调查结果或者同样的问卷短期 内对同一群体进行调查的结果 ,如消费者的品牌倾 向、所能接受的价位等存在高度相似 ,则认为调查问 卷具有较高的可信度。可信度的评价指标是可信度 系数 ,理论上可以达为真实值方差和测量值方差 的比值。若 X 为测量值 , T 表示真实值 , E表示测量 随机误差 ,则真实值和测量值之间关系为 X = T + E ,σ2X = σ2T +σ2E ,即测量值的方差等于真实值的方 差与随机误差的方差之和 ,所以可信度系数为 : R X = σ2T/σ2X = 1 - (σ2E/σ2X) 有效度 (亦称效度) 通常是指测量结果的正确 程度 ,即测量结果与试图测量的目标之间的接近程 度。就调查问卷而言 ,有效度是指问卷能够在多大程 度上反映它所测量的理论概念。以关于居民收入的 调查问卷为例 ,如果问卷中的问项直接询问被调查 者的收入和缴纳所得税的情况 ,则该调查得到的收 入统计数据很可能会较大低于居民的真实收入 ,则 可以认为 ,该份问卷的效度较差。类似于可信度系数 的公式 ,有效度系数一般规定为与测量目标值的方 差在总测量值方差中所占的比例 ,即有效度系数为 : 11 V X = σ2TX /σ 2 X = 1 - (σ2T0 +σ 2 E) /σ2X 其中 T = T X + T0 , T X 是想要测量的目标值 , T0 则 是与测量目的不相关的系统性偏差。可信度和有效 度是问卷的两个基本特征 ,前者度量的是问卷测量 结果是否一致的可靠程度 ,而不涉及结果是否正确 的问题 ;后者则针对问卷测量的目的 ,重点考察测量 结果的有效性 ,它们之间的差别在于所涉及的误差 不同 ,可信度测量的是随机误差的影响 ,有效度则是 反映由于测量了与测量目的无关的变量所引起的系 统误差。对调查问卷而言 ,有效度是其首要条件 ,而 可信度是有效度不可缺少的辅助品。因此 ,有效的问 卷必是可信的问卷 ,但可信的问卷未必是有效的问 卷。这其中的意义和两者的关系 ,可以用射击过程并 结合附图来说明。射手首先应学习如何射中靶心 ,然 后进行规定发次的射击 ,子弹平均接近靶心的程度 可比喻为测量的有效度 ,而子弹相互接近的程度可 近似看成测量的可信度。理想的结果是一组射击的 子弹相对集中于靶心附近 (如 A 组) ,这样的测验既 可信又有效 ,即说明测验具有良好的可信度和有效 度。如果一组 (如 C 组) 射击一致落在远离靶心的某 个区域也说明测验结果是可信但无效的 ,这是由于 测验产生了误差。B 组表示该组测验结果不可信但 有效 ,而 D 组表示该组测验结果不可信且无效。 附图 　可信度和有效度的意义图 也可以从数理的方面来理解可信度和有效度的 关系 :由于σ2X =σ2T +σ2E ,σ2E是系统误差的方差 ,σ2T 大并不能保证σ2TX 也大 ,也就是可信度高不能说明 有效度高。但σ2TX 相对于σ 2 X 来说很大的话 ,即有效 度高 ,那么 ,σ2T/σ2X 也较大 ,所以说可信度是有效度 的必要条件而非充分条件。 二、可信度的评价分析方法 对于一个调查问卷的可信度进行评价分析 ,可 从以下几个角度[1 ] 进行 : (一) 重测可信度 ( Test - retest Reliability) 用同一调查问卷在同一人群中先后测量两次 , 其测量结果的相关程度为重测可信度 ,它考察的是 经过一段时间后问卷测量结果的稳定程度 ,重测可 信度越高 ,测量结果越一致 ,这也表明受测验环境中 日常随机因素的影响越小。计算重测可信度需要注 意两个问题 : (1) 如果被测者的特征随时间发生变 化 ,那么两次测量的差异就不单纯由随机误差引起。 除非每个被测者都发生了同样的变化。(2) 受前一 次测量的影响 ,重复测量不一定能真实反映研究对 象的特征。因此 ,重复测量间隔时间不宜过长 ,应根 据具体的调查内容而定 ,一般以 2 ～ 4 周较为合适。 对问卷重测可信度的评价分析 ,其具体评价方 法要视问卷资料的性质和评估变量而定。 11当评估的变量是分类变量时 ,可用 Kappa 系 数来评估重测可信度。该系数是 Cohen (1960) 提出 的一种判断一致性程度的指标。以某新产品顾客满 意度的调查问卷为例 ,若对 50 个受访者的调查结果 为 33 个满意 ,17 个不满意 ,而 2 周后的重测结果为 32 个满意 ,18 个不满意 ,具体重测结果如表 1 所示。 表 1 　顾客满意度问卷重测结果表 测量 Ⅱ 满意 + 不满意 - 合计 测量 Ⅰ 满意 + (30) a (3) b (33) a + b 不满意 - (2) c (15) d (17) c + d 合计 (32) a + c (18) b + d (50) n 可以根据表 1 中资料计算 Kappa 系数 k : k = ( Pa - Pe) / (1 - Pe) = (0 . 90 - 0 . 54) / (1 - 0 . 54) = 0 . 78 Pa = ( a + d) / n = 45/ 50 = 0 . 90 Pe = 1 n 2 [ ( a + c) ( a + b) + ( b + d) ( c + d) ] = 1 502 (32 ×33 + 18 ×17) = 0 . 54 式中 Pa 为实际符合率 , Pe 为期望符合率 , k 值越大 , 问卷的重测可信度越高。 一般来说 , 对于调查问卷 , Kappa 系数大于 0 . 75 表示重测可信度很好 , 在 0 . 4 ～ 0 . 75 表示较 好 ,而低于 0 . 4 表示较差。如果结果表明某个问卷项 目的 Kappa 系数低于 0 . 4 ,则要考虑对该项目进行 修改或者删除该项目。 21 当评估的变量是连续变量或等级变量 ,则用 基于方差分析的内部相关系数 ICC ( Intraclass Correlation Coefficient) 来评价问卷的重测可信度。 内部相关系数最先由 Bartko (1966 年) 用于测量和 评价可信度的大小 ,其值等于个体的变异度除以总 21 统计与信息论坛 ZHU 高亮 的变异度 ,即 : ICC = ( M S区组 - M S误差) / [ M S区组 + ( m - 1) M S误差 + m ( M S处理 - M S误差) / n ] 其中 M S区组、M S处理 和 M S误差 分别为随机区组 (即 被观察对象) 间的方差、处理组 (即重复次数间) 的 方差和误差的方差 , m 为重复次数 (即处理组数) ; n 为被观察对象的例数。由于 ICC 是一个通过样本 资料算得的统计量 ,因而存在抽样误差。为说明问卷 总体的 ICC 是否等于 0 ,需对样本的 ICC 进行假设 检验 ,检验使用以下检验公式 : F = M S区组/ M S误差～ F[ ( n - 1) , ( n - 1) ( k - 1) ] 一般来说 , ICC 大于 0 . 75 表示极好 , ICC 在 0 . 6 ～0 . 75 表示较好。 (二) 内部一致性可信度 ( Internal Consistency Reliability) 内部一致性可信度反映的是调查问卷各个项目 (问项) 间相关的程度 ,这些项目应该反映同一独立 概念的不同侧面。当一份调查问卷包括几个互不相 关的内容 ,即几个不同的子问卷 ,则还应分别计算每 个子问卷的内部一致性可信度 ,否则会降低整个问 卷的内部一致性可信度。要想提高问卷的内部一致 性可信度 ,则在问卷设计时 ,可以采取的做法有 : (1) 增加问卷中反映同一独立概念的问项题数。(2) 舍 弃受访者回答计分平均分数趋近回答选项范围两极 端点值的问项 ,如极不同意 (1 分) 或极同意 (7 分) 。 (3) 舍弃受访者回答计分方差偏低的问项。(4) 排除 单项总分相关系数低的问项。 内部一致性可信度通常用 Cronbach’sα系数测 量 ,α系数表示问卷调查结果总变异中由不同被试 者导致的比例占多少 ,即 : α = kk - 1 (1 - ρ S 2i S 2X ) 其中 S 2i 为所有受访者第 i 问项答案的方差 ; S 2X 为所 有受访者、所有问项答案的方差 ; k 为问项题目数。 Cronbach’sα系数值介于 0 与 1 之间 ,α值越大 表示问卷项目间相关性越好 , 内部一致性可信度越 高。一般而言 ,α大于 0 . 8 表示内部一致性极好 ,α在 0 . 6 ～ 0 . 8 表示较好 ,而低于 0 . 6 表示内部一致性较 差。在实际应用上 , Cronbach’sα值至少要大于0 . 5 , 最好能大于 0 . 7 (Nunnally ,1978) 。 (三) 复本可信度 (Alternate - form Reliability) 问卷的复本是针对原本而言的 ,它是原本的复 制品 ,两者在形式、内容及难度上高度类似。对一项 调查的问题 ,让被调查者接受问卷测量 ,并同时接受 调查问卷复本的调查 ,然后根据调查结果计算原本 和复本的相关系数 ,就得到复本可信度。测定复本可 信度也应考虑复本实施的时间间隔 ,一般来说 ,复本 应几乎在同一时间实施 ,以剔除时间的影响 ,同时要 注意选择复本即题目或内容的取样问题 ,尽量减少 由于问卷内容的选择而引起的偏倚以及调查结果依 赖于问卷项目选择的程度。调查问卷的复本可信度 通常通过计算原本和复本测量结果间的积矩相关系 数或秩相关系数来加以度量。 (四) 折半可信度 将问卷中的所有项目随机分为数量相同的两 半 ,分别作为各自的复本 ,两半问卷的测量结果的积 矩相关系数或秩相关系数为折半可信度 ,对问卷进 行分拆时通常采用随机分半法或奇偶分半法。举例 来说 ,如果有一份问卷 ,其中有 10 个问题涉及到女 性歧视现象。利用折半可信度时 ,可将 10 个问题随 机或按奇偶数分成两组 ,每组有 5 个问题 ,然后根据 每组的测量结果来计算两组的相关系数 ,就是折半 可信度。折半可信度只是半个问卷的可信度 ,整个问 卷的可信度须进行校正 ,如两个分半问卷的方差齐 , 则用 Spearman - Brown 预测公式校正 : R w = 2 ×R h/ (1 + R h) 其中 R h 为折半可信度。 如果两方差不齐 ,则利用以下公式进行校正 : Flanagan 校正公式 : R w = 2 ×[1 - ( S 2a + S 2b) / S 2 ] Rulon 校正公式 : R w = 1 - S 2d/ S 2 其中 S 2a、S 2b、S 2 分别为两个分半问卷和整个问卷的 方差 , S 2d 两个分半问卷测量值之差的方差。 (五)评分者可信度 (Scorer Reliability) 有些问卷不是根据客观的记分系统记分 ,而是 由调查者给被测者打分或评定等级 ,则这种测量的 可靠性主要取决于调查者评分的一致性和稳定性。 对于这种标准化程度较低的测量 ,就必须计算评分 者信度 ,它分为评分者间信度和评分者内信度。前 者是用于度量不同调查者间的一致性 ,后者是度量 同一调查者在不同的场合下 (如不同时间、地点等) 的一致性。两名调查者的评分者间信度和测量两次 的评分者内信度可用 Pearson 相关系数或 Kendall、 Spearman 等级相关系数表示。如果调查者在三人 以上或同一调查者测量三次以上 ,且采用等级记分 时可以采用 Kendall 和谐系数来确定评分者信度。 (六)利用 SPSS 进行可信度分析 31 曾五一 ,黄炳艺 :调查问卷的可信度和有效度分析 在 SPSS 统计软件包中 ,设有专门的信度分析 模块 Reliability Analysis ,其调用过程为 : Analyze ϖ Scale ϖReliability Analysis。通过对该模块的部分选 项的选择可以实现大部分的问卷信度分析。例如 , 通过选择 model 选项中 Split - half 和 Alpha 可以直 接度量分析折半信度和内部一致性信度 ;而选择 Statistics 选项 Intraclass correlation coefficient 和 Friedman chi - square 可以分别利用内部相关系数 ICC 和 Kendall 和谐系数分析重测信度和评分者信 度。若需用 Kappa 系数来评估重测信度则可以调 用列联表。其实现过程 :Analyze ϖDescriptive statis2 tics ϖCrosstabs ,再选择 Kappa 选项。至于复本信度 和评分者信度 ,只需调用相同的过程 : Analyze ϖ Correlation ϖbivariate 并根据问卷内容的特点 ,选择 Pearson 、Kendall’s tau - b 和 Spearman 等不同选项 来计算问卷测量结果之间的 Pearson 相关系数、 Kendall 等级相关系数和 Spearman 等级相关系数 , 从而得到相应的复本信度和评分者信度。另外 ,若 想排除单项总分相关系数低的问项或变量来提高调 查问卷的内部一致性信度 ,在 SPSS 的 Reliability Analysis 模块可以通过选择 Scale if item deleted 的 选项 ,然后根据运行结果中的 corrected item - total correlation 以及 Alpha if Item Deleted 两项数据作为 判断准则。 三、有效度的评价分析方法 依据问卷调查的研究目的 ,调查问卷的有效度 可以分为以下三类 : (一)内容有效度 (Content Validity) [2 ] 内容有效度是指衡量调查问卷的内容是否反映 出切合研究主题的程度。考察内容有效度旨在系统 地检查测量内容的适当性 ,并根据对所研究概念的 了解去鉴别测量内容是否反映了这一概念的基本内 容。它 主 要 包 括 : ( 1 ) 抽 样 有 效 度 ( Sampling Validity)用来确定问卷所包含的项目是否为所要测 量内容的代表性取样。我们知道 ,编制调查问卷不 可能包含所要测量行为领域的全部可能的材料和情 境 ,只能选择其中有代表性样本 ,通过观察被调查者 对个别题目的反映来推测其在总体中的表现。因此 取样的恰当性就显得非常重要 ,可以说 ,内容有效度 的高低很大程度上取决于抽样效应的大小。(2) 表 面有效度 ( Face Validity) 是指问卷在项目和形式上 给人的主观印象 ,如果问卷从表面上来看似乎确实 可适当地测量到研究者想了解的问题 ,便称它具有 表面有效度。 从以上分析可知 ,检验内容有效度其实是检验 由概念到指标的经验推演是否符合逻辑 ,是否有效 , 其实质上是一个判断问题。所以 ,问卷的内容有效 度是个主观性很强的指标 ,其分析评价一般采用专 家判断法 ,由专家评阅确定。Bailey , K. D. (1994) 在 《社会研究方法》中指出 ,内容有效度必须考虑两个 主要问题 : (1)测量工具所测量的是否正是调查人员 所想要测量的那种行为。(2) 测量工具是否提供了 有关的那种行为的适当样品。因此 ,为了建立具有 内容有效度的问卷 ,研究者必须依循理论架构 ,搜集 所有相关的问题与变量 ,并从中选择能够完整涵盖 所界定的研究范围的问题 ,如此才能使问卷具备充 分的内容有效度。 (二 ) 效标关联有效度 ( Criterion - Related Validity) 效标关联有效度是指问卷测量结果和有效度标 准 (被假设或定义为有效的某种外在标准)之间的一 致程度 ,根据有效度标准获取的时间可分为 : (1) 同 时有效度 (Concurrent Validity) ,即同时在研究对象 中进行问卷和有效度标准测量得到的结果之间的相 关程度 ,其有效度系数通常较低 ,多在 0. 20～0. 60 之间 ,很少超过 0. 70 ,一般以 0. 4～0. 8 之间比较理 想 ; (2) 预测有效度 ( Predictive Validity) ,它是指问 卷测量结果经过一段时间后与未来实际结果加以比 较 ,两者之间的吻合程度。同时有效度和预测有效 度的大小直接反映了问卷效标关联有效度的高低。 例如 ,从一项轿车消费者的购买行为调查中发现 ,调 查结果与目前市场的品牌占有率有相当高的关联性 (具有同时有效度) ,亦与未来消费者会购买哪一种 品牌有显著的相关 (具有预测有效度) 时 ,则显示此 调查问卷具有相当高的效标关联有效度。分析效标 关联有效度的通常作法是对问卷测量结果与有效度 标准进行相关分析 ,相关系数越大表示问卷的效标 关联有效度越好 ,一般认为相关系数在 0. 4～0. 8 比 较理想。在 SPSS 软件中 ,效标关联有效度分析可 调用过程 :Analyze ϖCorrelation ϖbivariate。如果是 连续型变量计算 Pearson 相关系数 ,如果为分类变 量则计算 Kendall 或 Spearman 等级相关系数。 (三)架构有效度 (Construct Validity) 架构有效度是指问卷所能衡量到理论上期望的 特征的程度 ,即问卷所要测量的概念能显示出科学 的意义并符合理论上的设想 ,它是通过与理论假设 相比较来检验的 ,因此也被称为理论有效度。一个 41 统计与信息论坛 调查问卷要具有较高的架构有效度 ,应保证对于来 自相同概念 (如学习态度或学习能力)的问卷项目测 量结果之间高度相关 ,同时应保证对于测量两个不 同概念 (如学习态度和学习能力) ,不管是否采用相 同的问卷项目 ,其测量结果之间相关程度低。前者 称为收敛有效度 (Convergent Validity) ,后者称为区 别有效度 ( Discriminant Validity) 。具体而言 ,考察 某调查问卷的架构效应应从以下几个方面着手 : (1) 问卷测量结果与理论上测量结果的符合程度。(2) 问卷评价的现象与其他现象的独立性。(3) 问卷结 果是否符合该问卷要评价现象的有关理论预测。 分析评价调查问卷架构有效度常用的统计方法 是因子分析 ,其目的是想了解属于相同概念的不同 问卷项目是否如理论预测那样集中在同一公共因子 里。其中因子负荷反映了问卷项目对该概念的贡 献 ,因子负荷值越大说明与该概念的关系越密切。 以下三个标准可以用来判断问卷的结构有效度 : (1) 公共因子应与问卷设计时理论假设的概念组成相 符 ,且公共因子的累积方差贡献率至少 50 %以上。 (2)每个问卷项目都应在其中一个公共因子上有较 高负荷值 (大于 0. 4) ,而对其它公共因子的负荷值 则较低。如果一个问卷项目在所有的因子上负荷值 均较低 ,说明其反映的意义不明确 ,应予以改变或删 除。(3)公因子方差均应大于 0. 4 ,该指标表示每个 问卷项目的 40 %以上的方差都可以用公共因子解 释。在 SPSS 软件中 ,架构有效度分析可调用过程 : Analyze ϖData Reduction ϖ Factor ,一般在Extraction 和 Rotation 选项下选择 Principal components 和 Varimax 进行主成分极大方差旋转因子分析法。通 过以上分析可知 ,内容有效度、效标关联有效度以及 架构有效度分别从不同的角度来考察调查问卷的有 效度。因此 ,为全面检验评价调查问卷整体的有效 度 ,应从三个不同角度加以评价分析 ,并遵循一定的 基本顺序 :首先评估有哪些项目可作为问卷调查内 容的理论基础 (内容有效度) ;其次定义反映内容总 体的项目 ,再从中抽取具有代表性样本 (架构有效 度) ;最后在观察数据回收后 ,评估问卷测量结果与 有效度标准的相关性 (效标关联有效度) 。 四、结　论 通过对调查问卷有效度和可信度的内涵、评价 分析方法以及两者关系的考察 ,更加深刻地认识到 : 11 调查问卷的可信度和有效度是调查问卷生 命力所在 ,任何问卷调查都应该进行必要的可信度 和有效度检验评价 ,只有经过评估证明可信度和有 效度高的问卷才能进行正式测量。 21 每一种可信度或有效度只是反映了问卷调 查中所产生误差的一部分或某个方面 ,并不代表该 调查研究全部的可靠性和有效性。 31 在评价问卷的可信度和有效度的时候 ,如果 发现可信度和有效度不高 ,则必须对相应的问卷项 目进行修改 ,然后再进行评估 ,直至得到较为满意结 果为止。当然 ,对某一问卷很难进行所有可信度和 有效度评估 ,至于对问卷需要分析哪些可信度和有 效度 ,这要根据问卷的种类和研究的目的而定。 41 误差可产生在问卷调查的任何环节从而降 低结果的可靠性和有效性 ,所以 ,从调查设计、问卷 拟定、现场实施及资料汇总等整个过程都应注意质 量控制 ,以保证调查结果的可信度和有效度。 参考文献 [1 ] 　Bailey K D. Methods of Social Research (4th edition) [ M ] . New York : The Free Press ,1994. 115 - 165. [2 ] 　Bartko J J . The Intraclass Correlation Coefficient as a Measure of Reliability[J ] . Psychol Rep ,1996 , (19) :3 - 6. (责任编辑 :崔国平) Analysis on the Reliabil ity and Validity of Questionnaire ZEN G Wu2yi1 ,HUAN G Bing2yi2 (1. School of Economics , Xiamen University , Xiamen 361005 , Fujian ; 2. School of Management , Xiamen University , Xiamen 361005 , Fujian) Abstract : Study on the reliability and validity of the questionnaire has always been neglected in many questionnaire surveys in China. This paper mainly investigates the reliability and validity of a questionnaire and their evaluating methods. It also simply introduces how to use SPSS software to analyze the reliability and validity of a questionnaire. Key words : Questionnaire ; Reliability ; Validity. 51 曾五一 ,黄炳艺 :调查问卷的可信度和有效度分析