MHR2.0｜测验数据的挖掘与分析新进展——首届国际认知心理测评与提升大会系列述评第四期

测验数据挖掘与分析新进展

首先剑桥大学Kondwani Kajera Mughogho博士分享题目为“在国际大规模评估中指导分量表分数评估：见解和建议”。在国际大型评估（ILSA）的背景下，对于使用复杂试卷设计且参与者表现多样化的情况下的分量表得分评估的研究相当缺乏。而在复杂的测试设计和不同群体表现多样性的情况下，对分量表得分进行准确评估具有重要意义。Kondwani Kajera Mughogho博士使用TIMSS2015数学成绩作为数据集(TIMSS是一个国际性的教育评估项目，旨在评估和比较不同国家学生的数学和科学能力)，TIMSS2015数学测试内容涵盖四个领域：数字、代数、几何和数据与变化。Kajera Mughogho博士使用不同项目反应理论模型（IRT模型）评估分量表分数，去探究哪种模型能够提供心理测量学最有价值的分量表分数的最佳性能。结果是基于TIMSS2015数据集构建的CUIRT-Op模型为数字领域提供更有价值的分量表分数。

Kondwani Kajera Mughogho博士认为评估分量表得分相对于总分的附加价值，为教育评估提供了新的视角，尤其是在如何平衡总分和各子领域得分的重要性方面。教育评估可以利用适当的IRT模型，为国家绩效评估提供准确和有价值的得分。进行国际大规模评估项目使用模型时关注国家得分的比较、国家得分的标准误、按国家（性别）的子群体得分比较以及子群体性别得分的标准误。这些分析有助于深入了解不同国家和子群体在数学能力不同维度上的表现，并为教育政策制定和教育实践提供依据。

来自北京师范大学的刘红云教授分享主题为“复杂问题解决能力测验中操作有效性的自动化评定及其应用”。刘红云教授以真实性情景任务推进学生的复杂问题解决能力，使用基于计算机的交互测验，并且在过程中获取学生在计算机交互测验中的过程性表现，从中抽取测量证据推论学生的潜在特质水平或心智活动过程。为提高评估的针对性和有效性，采用（ECD）证据中心设计原则，确保评估任务、证据收集和学生模型紧密相关。

刘红云教授提出了问题解决能力操作有效性的新定义，第一项研究基于有限状态机Finite State Automaton（FSA）框架设计的任务，详细阐述全新提出的有效性指标自动化评定流程的实际过程，全新提出的有效性指标有如下优势：不论简单FSA任务和复杂FSA任务都适用，每个过程可以使用编程实现，节省人工成本，可以获得问题状态和状态转移的有效性评价。第二项研究使用新的操作有效性指标拓展测量模型，将二分类正确性指标换为多分类有效性指标，结果使测量模型可拓展为多维模型，估计不同类型个体的潜在能力，也可拓展为混合模型，利用潜在类别研究问题解决的策略类型。

刘红云教授创新性地在问题解决过程中收集过程性数据，这些数据可以揭示学生的认知路径和解题策略。深入分析了核心素养测量面临的挑战，为教育测评的实践提供了指导。引入了证据中心设计理论（ECD理论），为复杂测验设计提供了系统化的理论框架，有助于构建更为科学和有效的测评体系。新型有效性评估指标可以更广泛应用在其他高阶能力有效性研究中，减少人为评分的偏差并提高效率，可以通过算法分析过程数据来评定学生的表现。

来自圣母大学的程莹教授分享主题为：“AI/ML和心理测量学中的公平问题与评估：我们能从两者中学到什么？”程莹教授认为在心理测量学中，公平是指对个人特征和测试环境的反应，以便测试分数能够为预期用途产生有效的解释，AI和机器学习系统的使用在社会中不断普及，在人工智能和机器学习算法的开发和应用过程中，从数据本身偏差和人工智能算法的偏差以及人为审查过程都会导致偏见，产生不公平现象，进而影响行动。

程莹教授对人工智能算法的公平性给出详细的阐述，具有创新性的将人工智能方向的评估指标与心理测量学理论相结合，使得人工智能算法结果的可解释性更加易于理解和评估其有效性，程莹教授分享如何改善人工智能算法的公平性，以及如何进行公平性定义。以便更好的促进人工智能领域和心理测量学领域的结合。

来自北京师范大学的胡月琴教授分享主题为“心理启发的机器学习：寻求更人性化的解释途径”。首先胡月琴教授希望结合理论驱动和数据驱动的方法，使用机器学习技术进行自下而上的数据挖掘，同时基于心理学理论进行自上而下的设计，以提高心理测量的效率和准确性。介绍贝叶斯网络在心理学领域中的广泛应用，阐述使用贝叶斯网络模型进行数据分析的过程。之后胡月琴教授以构建情绪识别模型为例，使用ECG,EDA,面部识别，自我分享和行为意图的多模态数据构建模型。结果可以预测情绪和预测真实行为。

胡月琴教授认为应当结合心理学领域知识与心理学的变量研究，这样会减少机器学习的不确定性，增加其预测性。胡月琴教授创新性地强调心理启发的机器学习，这种人性化的解释途径可以帮助教育工作者和学生更好地理解评估结果。

来自乔治城大学的何琪玮副教授（线上）分享研究主题为“对大规模计算思维评估中基于过程性数据预测缺失值”，在数字化时代，数据科学不仅引领了教育改革，更强调了计算思维和适应性问题解决技能的重要性。何琪玮副教授的研究正是基于这一理念，通过分析学生在互动式计算测试中的行为和表现，来预测他们可能缺失的答案。

采用先进的机器学习技术来识别学生未回答的题目，并预测这些题目的可能答案。学生的过程性数据被证明是预测学生表现的强有力指标。研究结果显示，过程数据在预测缺失值方面具有显著的效果，尤其是在连续的题目中，这些数据的相关性更高。使用过程数据进行预测可以显著提高评估的准确性。这项研究不仅为教育评估提供了新的视角，也为数据科学领域带来了创新的应用。期待未来能够进一步探索过程数据的潜力，并将其应用于更广泛的领域。

来自北京师范大学的田雪涛博士分享主题为“建构反应式试题作答的自动化评分”。机器学习等计算机技术的快速发展，建构反应式试题作答的自动化评分可通过使用自然语言处理技术提升其准确性可以减少人工评分提升效率，处理大量学生的作答数据，节省时间和资源。田雪涛博士的分享明确自动化评分的关键问题（维度、标准、模型）,在训练过程中结合“专家+有监督学习”，将领域专家提供评分的参考标准和逻辑规则知识集成到评分模型中。该研究对心理测量学中有显著贡献，结合计算机技术和数据挖掘方法，为评估和教育评价带来了创新。

本次分论坛汇集了教育学、心理学、数据分析等多个学科的专家，从自然语言处理到机器学习，专家们深入讨论数据挖掘技术与心理测量学结合的最新进展，利用人工智能技术开发更加智能和自动化的心理测量工具。多模态数据的融合分析有助于提高心理测量的准确性和可靠性。使用机器学习技术进行自下而上的数据挖掘，同时基于心理学理论进行自上而下的设计，以提高心理测量的效率和准确性。使用测验的过程性数据进行评估，如何高效的将心理学理论与先进的数据挖掘方法结合进行创新性的研究，专家们的案例提供了宝贵的经验和启示。随着数据科学的不断进步，心理测量学将继续引领未来的研究和实践。