![]()
这些是在各个平台经常看到大家对于非量表问卷信效度分析的问题。
问题解答：
非量表问卷（以下简称问卷）不需要进行信效度分析，但是如果要检验问卷的有效性，那么可以进行内容效度分析。问卷的内容效度是指一份问卷各题项所要测量的内容是否反映研究者想测量的内容，即调查对象对各题项的理解或回答与调查问卷设计者想要收集内容的一致程度。对于一份全新编制的调查文件而言，如果包含非量表题（单选、多选、填空等），则无法使用因子分析等统计方法进行效度检验，这种情况下应对问卷的内容效度进行分析，以证明问卷设计的合理性和有效性。评价问卷内容效度最常见的方法是邀请相关领域的专家对问卷的各个题项与原定内容的一致程度做出判断，评价问卷的各个题目是否恰当地代表了想要测量的内容。参考文献：柯友枝, 孙建刚, 李博, 刘阳. 问卷是否有效——基于2010-2020年CSSCI收录体育期刊文献的系统分析[J]. 上海体育学院学报, 2023, 47 (02): 37-47+103.内容效度的计算上较为简单，专家打分只能为1/2/3/4分，3/4分表示测量项较好或者好，那么首先计算出每项时打分为3/4分的专家数量，从而得到打分为3/4分的占比情况（即I-CVI指标），该指标值越大越好，可使用该指标进行内容效度判断。一般最少需要3位专家评估，其判断标准如下表格：![]()
当专家人数≤5个时即专家个数较少时，此时希望专家打分均为3/4分。如果专家个数＞5个时，此时只要78%的专家打分为3/4分即可。为防止专家打分出现随机性，还可计算专家打分随机一致性概率Pc值，并且计算校正内容效度（调整Kappa，K*值），进一步进行内容效度判断。- 专家打分随机一致性概率Pc值= C(n,A)*(0.5^n)，此处n表示专家总数量，A表示某测量项时专家打分为3/4的个数，C表示数学上的组合计算。
- 调整Kappa（K*值）= (I-CVI值 – Pc值) / (1 – Pc值)
如果是正常的专家打分数据，Pc值通常较高，最后结合调整Kappa值进行内容效度判断，其判断标准如下表格：![]()
调整Kappa值越大越好，一般大于0.6即说明内容效度良好，但如果调整Kappa值小于0.4则无法接受。I-CVI指标是针对具体每个题目，当然还可计算全部一起的问卷题目，即对整个问卷的内容效度进行评价。其有两个指标，分别全体一致S-CVI(也称S-CVI或UA值)，还有平均S-CVI指标值。- 全体一致S-CVI = 打分全部都为3/4的测量项个数 / 总测量项个数，通常其判断标准是0.8，即需要有80%以上的测量项全部都被专家认为是良好或者好才行。
- 平均S-CVI则是I-CVI指标的算术平均值而已，其通常标准为0.9。一般情况下可能使用I-CVI较多。
参考文献：史静琤, 莫显昆, & MO Xiankun. (2012). 量表编制中内容效度指数的应用. 中南大学学报：医学版, 37(2), 4.
SPSSAU根据文献中内容效度指标计算公式，在【问卷研究】模块新开发了“内容效度”分析，用户只需要粘贴或填写专家打分数据，即可得到内容效度分析结果。
案例背景：某研究者以大学生奶茶市场需求调查为目的，进行初始问卷的编制，希望通过专家打分方式来判断其有效性，问卷共设计15个问题，并且找到6位该研究领域的专家进行打分（专家打分只能为1/2/3/4共4个分值，1分代表较差，2分表示一般，3分表示较好，4分表示良好）并且整理得到数据结果如下图所示：![]()
直接将6位专家打分数据粘贴到SPSSAU【内容效度】分析中，操作如下图：![]()
粘贴数据或者直接修改数据，点击【开始分析】即可得到内容效度分析结果。
分析上表可知，共有15个测量项（问卷问题）6位专家进行打分，6位专家对15个问题打分为3/4分的次数为85，即仅有5次打分为1/2分。具体来看，问题5的校正内容效度为“差”，问题5共有3个专家打分为3/4分，其余3个专家均打2分，其I-CVI值=0.5<0.78，即I-CVI不通过内容效度不达标，同时调整Kappa=0.273<0.4。
【建议】通常情况下建议使用校正内容效度即针对调整Kappa K*值进行判断，因为K*值将专家打分独立性纳入考虑范围。
（2）整体内容效度
![]()
上表格展示整体内容效度的两个指标——全体一致S-CVI和平均S-CVI指标。分析上表可知，全体一致S-CVI = 12/15=0.8≥0.8，通过。平均S-CVI指标，其为I-CVI指标的算术平均为0.944>=0.9，其通过。
【建议】全体一致S-CVI指标衡量的是所有测量项整体内容效度情况，而平均S-CVI指标衡量的是平均内容效度，一般查阅全体一致S-CVI可能更加适合。
（3）不同专家人数各情况下I-CVI评估速查表
![]()
上表格为不同专家人数及打分为3/4分时专家个数不同情况时的评估速查表。I-CIV指标和调整Kappa这两个指标均可对内容效度进行评价，但二者评价结果可能出现不一致，原因在于二者计算公式和评价标准不一致。
以上即为非量表问卷有效性检验方法——内容效度分析的全部内容，该方法通过专家打分对问卷的有效性和合理性进行检验，内容效度指标的计算简单也比较通俗易懂。
那么量表类问卷的信效度分析有什么不同呢？下面简单介绍一下量表的信效度分析。
如果为量表类问卷，那么针对量表题通常都是需要进行信效度分析的。
信度主要用于测量样本回答结果是否可靠、样本有没有真实作答量表类题项。SPSSAU提供的信度测量指标有克隆巴赫α信度系数、折半信度、McDonald's ω信度系数、theta信度系数、重测信度，下面分别进行说明。Cronbach α系数是目前最常用的信度系数，该系数评价的是量表中各题项得分间的一致性，属于内在一致性系数。通过计算评估内部各项指标之间的相关性来衡量一致性。它基于各项指标的方差和协方差，给出一个在0到1之间的值，数值越大表示内在信度越高。折半信度是指将全部题项按奇项、偶项或者其他标准分为尽可能相等的两半，计算两组题项之间的相关系数，然后通过公式计算得到折半信度系数值。折半信度需要进行斯皮尔曼—布朗（Spearman-Brown）公式校正，求出整个量表的信度系数rrt。McDonald's ω信度系数的计算原理是利用因子分析浓缩信息，然后得到loading载荷系数值，进而计算。他考虑了各项指标的载荷以及测量误差的方差，与Cronbach α系数相比，McDonald's ω系数可以更准确地估计总体的可靠性，提供了一种更严格的内在信度估计方法。thete内在一致性信度的一种测量方式，其原理是利用‘信息浓缩’（内部原理为因子分析且提取为1个因子），各个测量项隶属于同一维度且数据真实，那么它们应该浓缩出较高的信息，结合因子分析输出的载荷系数loading值等进一步计算，最终得到指标值。重测信度，又称再测信度、稳定性系数，应用同一测验方法，对同一组被试者先后两次进行测查，然后计算两次测查所得分数的关系系数。该信度能表示两次测试结果有无变动，反映了测验分数的稳定程度。![]()
信度分析完整分析过程可查看SPSSAU帮助手册说明：
效度用于反映实际测量结果与预想结果的符合程度，由于无法确定目标的真实值，因此效度的评价比较复杂，常常需要与外部标准作比较才能判断。一般来讲，有4种类型的效度：内容效度、结构效度、区分效度、聚合效度。接下来，分别进行介绍。内容效度分析是指问卷题对相关概念测量的适用性情况，即题项设计的是否合理。内容效度通常使用文字叙述形式对问卷的合理性、科学性进行说明。主要描述问卷中测量量表题有着严谨的参考依据，问卷设计是否得到专家的认可、是否对问卷进行修正等。结构效度用于测量结果的数据结构与问卷设计是否相符。即研究所测量因子与题项之间的对应关系是否符合预期假设。测量结果的各内在成分是否与设计者打算测量的领域一致。通常使用探索性因子分析（EFA）进行验证，如果输出结果显示题项与变量对应关系基本与预期一致，则说明结构效度良好。![]()
结构效度分析完整分析过程可查看SPSSAU帮助手册说明：区分效度（又称判别效度、区别效度），其实质也是一种结构效度。区分效度强调本不应该在同一因子的测量项，确实不在同一因子下面。比如说，测量项A1和B1分别测量两个属性，应该分属于因子A和因子B中，如果确实是这样，那么说明区分效度很高；但是如果二者属于同一因子下，则说明区分效度不明显，量表设计的不好。聚合效度（又称收敛效度），是指测量同一变量的测量项会落在同一因子上，聚合效度强调本应该在同一因子下的测量项，确实在同一因子下。即一个变量的测量题项之间要高度相关。从题项角度讲，聚合效度是维度内所有题项相关性要高。进行聚合效度分析的主要目的在于检验同一变量的各指标之间的相关程度。区分效度与聚合效度都使用验证性因子分析进行研究，查看SPSSAU帮助手册说明：![]()
量表信效度分析软件操作及结果解读还可以查看以下文章：
以上就是今天的全部内容啦~
若您想看其他干货内容
请在评论区告诉SPSSAU
![]()
