正如我们上一讲所说,作为新一代的测量理论,认知诊断是认知心理学与现代测量学相结合的产物,是当前心理测量学研究的一个重要热点。认知诊断把认知与测量结合起来,对个体的评价不再只是宏观能力层面的评估,还涉及到对个体内部微观认知结构的诊断,以进一步解释个体内部心理加工过程(涂冬波等,2012)。
1.1 认知
认知(Cognitive)是指人们获得知识或应用知识的过程,这是人类最基本的心理过程,它包括感觉、直觉、记忆、思维、想象和语言等心理现象。
不同于CCT和IRT测验理论(其关注的焦点是分数测验的结果),认知诊断评价强调用心理学理论(尤其是认知心理学理论)来指导测验编制,从而使测验所测量的特质及对测量结果的解释具有心理学理论支持(涂冬波等,2012)。
图1. 心理测验理论 (Mislevy, 1993)
诊断(Diagnosis)是一个具有普遍意义的用词,是通过各种技术、方法和手段来全面深入了解对象,并在评价判断的基础上给出详尽分析报告的过程。
说到诊断,大家最先想到的可能就是医学诊断。在医学诊断上,医生通过问询、体检、实验检查等手段来了解对对象的身体特征,然后根据一定的标准对这些特征作出正常或异常的评价。在全面诊断分析的基础上,医生提出治疗或康复的有效措施,以让对象成长为一个健康的个体。
那么在心理和教育领域呢?认知诊断是在认知水平研究范式下,通过测验的形式,来了解个体或群体在测验上的表现,进而对其认知水平发展(知识掌握)状态进行评价,并在此基础上提出改善个体认知状态的辅助方案和针对性建议(罗照盛,2019)。
这里的“知识点掌握情况”、“Q矩阵”、“认知诊断模型”都是认知诊断评估核心的概念和部分,接下来我们将对一些基本的概念进行介绍。
2.1 认知属性
认知属性(Cognitive attribute)是认知诊断评价理论中最基础的概念。认知诊断是基于认知加过过程的诊断,是对个体认知加工过程中所涉及的认知属性的诊断。“认知属性”即被试正确完成任务所需的知识、技能、策略等,是对被试问题解决心理内部加工过程的一种描述。
依旧以数学计算题为例,对于“3 + 4 * 5 - 6 =?”这道数学题,根据领域专家的理解,要想正确完成这道题目,就需要学习掌握以下4个知识:加法、减法、乘法、四则运算法则,这4个知识点就是我们想要考察的“认知属性”。
Leighton等人(2004)根据大量认知心理学研究成果,认为认知属性不是独立操作,而是从属于一个相互关联的网络,认知属性之间可能存在一定的心理顺序、逻辑顺序或层级关系,并由此提出层级模型(Attribute Hierarchy Model, AHM),并使用属性层级关系图来表征相关任务的认知模型(见图3),且这4种(A:线形型,B:收敛型、C:分支型、D:无结构型)基本类型可组合成更为复杂的网络层级关系。
在线形型中,属性1是其余属性的先决条件,被试只有掌握了属性1,才有可能掌握属性2和其他属性。如果没有掌握属性1,则其他属性是不可能掌握的;
无结构型是另一个极端,它不像线形型那样属性2是属性3的先决条件,在无结构型种,属性2~6之间没有次序,呈并列无结构关系;
在收敛型中,属性2是属性3和4的先决条件,同时属3和4是属性5的先决条件,只用同时掌握了属性3和4才有可能掌握属性5;
在分支型中,属性2是属性3的先决条件,属性4是属性5和6的先决条件,是否掌握属性2只会影响掌握属性3的可能性,而不会影响到属性4~6。
认知诊断充分吸收了认知心理学对人类认知加工过程的内在机制的研究的丰富成果以及研究范式,开发出具有认知诊断功能的心理计量模型(简称为认知诊断模型,Cognitive Diagnostic Model, CDM),并将认知心理学研究成果直接纳入计量模型中,从而实现对被试内部心理加工过程的测量,进而提供认知诊断信息。简而言之,认知诊断模型是一种测量模型,用于实现认知诊断功能的数学模型。目前常见的认知诊断模型有:DINA模型、DINO模型、GDINA模型等(具体的认知诊断模型会在下期进行详细介绍)。
Q矩阵指描述测验项目与属性关系的矩阵,它一般由J行(题目数量)和K列(属性个数)的0-1矩阵组成。Qjk = 1表示题目j测量到了属性k,反之Qjk = 0则表示题目j没有测量属性k。如表1,表示了一个20题4个属性的Q矩阵,根据这个Q矩阵可知,第一题测量了属性1,第2题测量了属性2和3,第20题测量了全部的4个属性。Q矩阵中不会有全0的向量,即不可能有题目什么属性也没有测量。
表 1. Q矩阵示例
邻接矩阵是用于反映认知属性间直接关系(不包含间接关系和自身关系)的矩阵,它由K行K列的0-1矩阵组成,如果认知属性间存在直接关系,则在邻接矩阵相应的元素中用1表示,否则用0。
可达矩阵则是用于反映认知属性间直接关系、间接关系和自身关系的矩阵。它也是由K行K列的0-1矩阵组成,如果属性间存在上述三种关系的1种,则相应位置的元素标为1,反之为0。
我们以下图为例,四个属性的层级关系如层级图所示,K1是K2和K4的先决条件,K2是K3的先决条件。因此,A矩阵中只有三个位置的元素为1,分别为(K1,K2)、(K1,K4)和(K2,K3);与A矩阵相比,R矩阵中增加了间接关系和自身关系,其中,间接关系主要是K1和K3之间的关系(K1是K2的先决条件,K2是K3的先决条件,因此想要掌握K3,一定要先掌握K1),即(K1,K3)、(K3,K1)为1。自身关系体现在矩阵的对角线的元素上,即对角线元素均为1。
理想掌握模式就是理论上可能的属性掌握模式,是指根据属性间的层级关系,符合逻辑的掌握模式。理想掌握模式通常也被称为知识状态或认知结构。假设一个测验测量了K个属性,那么理论上可能的属性掌握模式就一共有2k种(假设所有属性间不存在层级关系),其中1表示掌握,0表示没有掌握。当有2个属性的时候,理想掌握模式就有22=4种,分别是[0, 0]、[1, 0]、[0, 1]和[1, 1]。
理想反应模式指的是,假设被试在测验项目作答反应过程中既不存在猜测也不存在失误,所有理想属性掌握模式的被试在所有项目上的作答反应模型。即如果被试掌握了项目测量的所有属性,那么他就一定能够答对该道题目,如果被试未完全掌握(至少有一个没有掌握),那么他就一定会答错。
假设我们有三道题目,用于考察2个属性,这个3个题目的q向量(属性考察情况,Q矩阵中对应的行)为:题目1[1, 0]、题目2[0, 1]、题目3[1, 1]。现在有4个被试,他们的属性掌握模式分别为[0, 0]、[1, 0]、[0, 1]和[1, 1],那么他们的理想反应如何呢?
由于被试1什么属性也没有掌握,因此他必然无法正确回答所有题目,所以被试1的IPR为[0, 0, 0],对于被试2而言,他掌握了第一个属性,而在3个题目中,仅有题目1只考察了第一个属性,因此他只能答对第一题,而无法答对第2题和3题,他的IRP为[1, 0, 0];同理,被试3的IRP为[0, 1, 0];被试4掌握了所有的属性,因此他能够答对所有的题目,他的IRP为[1, 1, 1]。
测验属性及其关联矩阵是进行认知诊断评价的基础,任何一种认知诊断评价方法或模型均须在该基础上进行分析。
Leighton, J. P., Gierl, M. J., & Hunka, S. M. (2004). The attribute hierarchy method for cognitive assessment: A variation on Tatsuoka's Rule-space approach. Journal of Educational Measurement, 41(3), 205–237
Mislevy, R. J. (1993). Foundations of a new test theory. In: N Frederiksen et al. (Eds.), Test theory for a new generation of tests (pp. 19-39). Hills-dale NJ: LEA.
罗照盛. (2019). 认知诊断评价理论基础. 北京: 北京师范大学出版社.
涂冬波, 蔡艳, 丁树良. (2012). 认知诊断理论、方法与应用. 北京: 北京师范大学出版社.