![]()
论文问卷进行分析时，大家是否有这样的疑惑——
我收集的问卷是否需要进行信效度分析呢？
下面一文给大家梳理问卷信效度分析的相关内容，包括什么样的题目需要进行信效度分析、5类信度分析与4类效度分析常用指标及评价标准。
非量表问卷通常不需要进行信效度分析，信度和效度分析主要是针对量表题（如使用李克特量表的题目）。
用于衡量无法直接测量的指标，如焦虑、抑郁、幸福感等。例如最常用李克特量表——该量表由一组陈述组成，每一陈述有非常同意、同意、不一定、不同意、非常不同意五种回答，分别记为5、4、3、2、1，每个被调查者的态度总分就是他对各道题的回答所得分数的加总，这一总分可说明他的态度强弱或他在这一量表上的不同状态。针对不同的题目可以设置不同数量的选项以及不同的问题类型。比如单选题、多选题、填空题、开放题、排序题等。
总结：如果问卷中包含多个相关的量表题（通常每个维度至少2-3个题目），则可以进行信效度分析。如果只有个别量表题，或者全部为普通问卷题怎不需要进行信效度分析。
了解了什么样的问卷题目适合进行信效度分析，接下来介绍信度与效度分析常用指标与评价标准。
![]()
问卷分析一般先进行信度分析，再进行效度分析。这是因为一个可靠的测量工具是进行有效测量的前提。
信度主要评价量表的精确性、稳定性和一致性，即测量过程中随机误差引起测量结果的变异程度。用于测量样本回答结果是否可靠、样本有没有真实作答量表类题项。常用的信度指标有克隆巴赫α信度系数、折半信度、McDonald's ω信度系数、theta信度系数、重测信度5类。接下来分别进行介绍。
Cronbach α系数是目前最常用的信度系数，该系数评价的是量表中各题项得分间的一致性，属于内在一致性系数。通过计算评估内部各项指标之间的相关性来衡量一致性。它基于各项指标的方差和协方差，给出一个在0到1之间的值，数值越大表示内在信度越高。![]()
式中，k为测量的题目数；Si为第i题得分数的方差；Sx为测验总分的方差。
（2）评价标准
![]()
（3）软件操作及指标解读
量表题的数据格式为：一列代表一个问题，一行代表一个样本，分别用数字1-5表示量表题被选择项，将数据整理成如下格式：
![]()
将数据上传至SPSSAU系统，在【问卷研究】模块选择【信度】，具体选择Cronbach α系数；操作如下图：
![]()
【提示】信度分析以维度为单位进行分析，最终需要将各维度α系数值进行汇总整理成表格输出。
SPSSAU输出Cronbach信度分析结果如下：
![]()
项已删除的α系数：该分析项删除后，余下分析项的α系数。此指标用于判断题项是否应该作删除处理，如果该值明显高于”α系数”值，此时应该考虑将对应项进行删除处理。
分析上表可知，维度A的Cronbach α系数为0.826，表明维度A的信度非常好。同样的操作将其他维度依次进行信度分析，最终整理成如下表格，汇报在论文中：
![]()
折半信度是指将全部题项按奇项、偶项或者其他标准分为尽可能相等的两半，计算两组题项之间的相关系数，然后通过公式计算得到折半信度系数值。折半信度使用斯皮尔曼-布朗公式估计整个量表的信度系数rrt。![]()
式中，ru为整个量表的信度估计值；rhh为两半得分之间的相关系数。需要注意的是，如果测量题目较少，比如10题以下，就不适合用这种方法来估计信度。
将数据上传至SPSSAU系统，在【问卷研究】模块选择【信度】，具体选择折半系数，操作如下图：![]()
SPSSAU输出折半信度分析结果如下：
![]()
Cronbach α系数：折半信度会同时输出Cronbach α系数，可以简要描述即可。
折半系数（等长&不等长）：如果说测量题数量为偶数，则刚好两部分题项数量相等，反之则不相等。分析时需要结合两部分题项是否相等，查看对应的折半系数。
Guttman Split-Half系数：有时候还可以直接使用Guttman Split-Half 系数衡量信度质量，但此类情况较少，更多关注于折半系数。
McDonald's ω信度系数计算原理基于因子分析，旨在通过浓缩信息来更准确地估计测量工具的可靠性。通过因子分析提取各项指标的载荷（loading）系数，进而计算出每个题项对整体测量的贡献。该方法考虑了测量误差的方差，使得它比Cronbach's α系数更为严格和准确。
式中，loading为载荷系数值，uniqueness是测量误差为1-loading^2。
（3）软件操作及指标解读
将数据上传至SPSSAU系统，在【问卷研究】模块选择【信度】，具体选择McDonald's ω系数。SPSSAU输出McDonald's ω信度系数分析结果如下：
![]()
式中，N为分析项个数入为最大特征根值。从上式可以看到，当分析项个数越多时，theta信度系数很可能会越大，而且最大特征根越大，theta信度系数值也会越大。
（2）评价标准
其判断标准可参考α信度系数的衡量标准。
（3）软件操作及指标解读
将数据上传至SPSSAU系统，在【问卷研究】模块选择【信度】，具体选择theta系数。SPSSAU输出theta信度系数分析结果如下：
![]()
重测信度，又称再测信度、稳定性系数，应用同一测验方法，对同一组被试者先后两次进行测查，然后计算两次测查所得分数的关系系数。该信度能表示两次测试结果有无变动，反映了测验分数的稳定程度。![]()
式中x和x一bar是第一次测量的实得分及实得分的平均值，y和y一bar是第二次测量的实得分及实得分的平均值。重测信度用重测相关系数来表示，相关系数越趋近于1，则重测信度越高。具体可使用SPSSAU【通用方法】模块的Pearson相关分析进行重测信度分析。【提示】当前在论文中最常用的为第一类克隆巴赫α信度系数，无特殊研究需要，建议使用该方法进行问卷信度分析即可。
通常信度达标后，才会进行效度分析。效度主要评价量表的准确度、有效性和正确性，即量表是否真正反映了我们希望测量的东西。效度用于反映实际测量结果与预想结果的符合程度，由于无法确定目标的真实值，因此效度的评价比较复杂，常常需要与外部标准作比较才能判断。
一般来讲，效度分析包括内容效度和结构效度。其中，结构效度又可以延伸出分为区分效度和聚合效度。接下来，分别进行介绍。
内容效度分析是指评估问卷题项对于相关概念测量的适用性，即题项设计是否合理和科学。通常内容效度通过文字叙述形式来说明问卷的合理性和科学性。在具体分析过程中，内容效度分析主要描述测量量表中的题项是否有严谨的理论依据，以及问卷设计是否经过专家认可和修正等。在问卷研究中，通常需要对内容效度进行详细说明，以确保测量工具能够准确反映所需构念，从而提高研究结果的可信性。结构效度指题项与变量之间的对应关系。通常使用探索性因子分析（EFA）进行验证，如果输出结果显示题项与变量对应关系基本与预期一致，则说明结构效度良好。第一：首先分析KMO值；如果此值高于0.8，则说明研究数据非常适合提取信息（从侧面反应出效度很好）；如果此值介于0.7~0.8之间，则说明研究数据适合提取信息（从侧面反映出效度较好）；如果此值介于0.6~0.7，则说明研究数据比较适合提取信息（从侧面反映出效度一般），如果此值小于0.6，说明数据不适合提取信息（从侧面反映出效度一般）(如果仅两个题；则KMO无论如何均为0.5)；第二：接着分析题项与因子的对应关系；如果对应关系与研究心理预期基本一致，则说明效度良好；第三：如果效度不佳；或者因子与题项对应关系与预期严重不符，也或者某分析项对应的共同度值低于0.4(有时以0.5为标准);则可考虑对题项进行删除；第四：删除题项共有常见标准；一是共同度值低于0.4(有时以0.5为标准)；二是分析项与因子对应关系出现严重偏差；第五：重复上述1~4共4个步骤；直至KMO达标；以及题项与因子对应关系与预期基本吻合，最终说明效度良好；将数据上传至SPSSAU系统，在【问卷研究】模块选择【效度】，将所有题项拖拽到右侧分析框，选择维度，操作如下图：![]()
篇幅限制，结构效度分析完整分析过程可查看下方帮助手册说明：
结构效度又可具体分为区分效度和聚合效度。具体使用验证性因子分析进行区分效度和聚合效度分析。接下来分别进行说明。区分效度（又称判别效度、区别效度），其实质也是一种结构效度。区分效度强调本不应该在同一因子的测量项，确实不在同一因子下面。比如说，测量项A1和B1分别测量两个属性，应该分属于因子A和因子B中，如果确实是这样，那么说明区分效度很高；但是如果二者属于同一因子下，则说明区分效度不明显，量表设计的不好。区分效度与聚合效度都使用验证性因子分析进行研究，上传数据后，将题项按维度分析放入右侧分析框中，编辑“因子名称”，操作如下图：![]()
区分效度常用的有3类检验方法：AVE平方根判断法、HTMT法、MSV和ASV法。AVE平方根值可表示因子的‘聚合性’，相关系数表示相关关系，如果因子‘聚合性’很强（明显强于与其它因子间的相关系数绝对值），则能说明具有区分效度；当每个因子的AVE平方根值均大于“该因子与其他因子的相关系数的最大值”，此时说明具有良好的区分效度。计算公式：AVE值=Average(loading平方然后求和)，loading值为标准化载荷系数![]()
分析上表：针对因子A，其AVE平方根值为0.737，大于因子间相关系数绝对值的最大值0.615，意味着其具有良好的区分效度。同理分析因子B、C、D都具有良好的区分效度。HTMT（heterotrait-monotrait ratio）异质-单质比率，也就是特质间相关与特质内相关的比率。他是不同构面间指标相关的均值相对于相同构面间指标相关的均值乘积的开方的比值。如果HTMT值小于0.85（有时以0.9作为标准），则说明该两因子之间具有区分效度。![]()
分析上表：从HTMT分析结果来看，所有的HTMT值均小于0.85，意味着因子之间均有良好的区分度，量表的区分效度良好。
MSV（Maximum Shared Variance）最大共同方差和ASV（Average Shared Variance）平均共同方差，这两个指标也可用于区分效度判断；当MSV值小于AVE的值，并且ASV值小于AVE值则说明具有区分效度。
![]()
从上表可以看出，大部分因子的MSV值和ASV值都不小于AVE值，说明因子之间的区分效度并不好，进而量表的区分效度也比较差。注意：不同的区分效度检验方法得到的检验结果可能不同。例如上述例题中三种检验区分效度的方式，得到的检验结果就不相同。此时，一般情况下只要有一种检验方式能够说明量表的区分效度良好，就可以认为量表有比较好的区分效度了。并不要求每种检验方式都要通过，才能认为区分效度良好。聚合效度（convergent validity），又称收敛效度，是指测量同一变量的测量项会落在同一因子上，强调本应该在同一因子下的测量项，确实在同一因子下。即一个变量的测量题项之间要高度相关。从题项角度讲，聚合效度是维度内所有题项相关性要高。进行聚合效度分析的主要目的在于检验同一变量的各指标之间的相关程度。①标准载荷系数值均大于0.7为佳，0.5以上也可以接受；②AVE和CR指标，通常情况下AVE大于0.5且CR值大于0.7，说明聚合效度较高。因子载荷系数值的统计意义就是变量i与公共因子j的相关系数（程度），范围为[-1,1]，绝对值越接近1，说明变量与公共因子的关系越密切。标准载荷系数是指经过标准化处理的因子载荷系数。验证性因子分析使用标准载荷系数判断聚合效度。各个测量项的标准载荷系数值大于0.7，说明量表的聚合效度好，或者放宽要求在0.5以上也能接受（社会学科研究编制的量表因子载荷量都不会太高）。![]()
分析上表：标准载荷系数值绝大部分均在0.7,以上，说明该量表的聚合效度较高。AVE平均方差萃取（Average Variances Extracted），AVE值= Average(loading平方然后求和)，loading值为标准化载荷系数。从公式不难看出，当loading值（标准载荷系数）越大时，AVE值越大，聚合效度越高，一般AVE值大于0.5为好。CR组合信度（composite reliability），CR值=Sum(loading)^2 / [sum(loading)^2 + sum(e)]，e为残差标准载荷系数。从公式依旧可以看出，当标准载荷系数越大时，CR值越大，聚合效度越高，一般CR值大于0.7为好。综上，当AVE值大于0.5，且CR值大于0.7时，量表的聚合效度较高。![]()
分析上表：本例中4个因子的平均方差萃取AVE值均大于0.5，且组合信度CR值均大于0.7，说明本次分析的量表数据具有良好的聚合效度。以上就是今天的全部内容啦~
若您想看其他干货内容
请在评论区告诉SPSSAU
![]()
