人力资源社会保障部办公厅
关于印发《技能人才评价命题技术规程
(试行)》的通知
各省、自治区、直辖市及新疆生产建设兵团人力资源社会保障厅(局):
根据《中共中央办公厅 国务院办公厅关于加强新时代高技能人才队伍建设的意见》和《人力资源社会保障部办公厅 公安部办公厅 市场监管总局办公厅关于加强职业技能评价规范管理工作的通知》(人社厅发〔2024〕27号)有关要求,为进一步加强技能人才评价命题指导,规范技能人才评价命题工作,特制定《技能人才评价命题技术规程(试行)》(以下简称《规程》),现印发给你们,请遵照执行。各地可结合工作实际,制定相应实施细则。
本《规程》自印发之日起施行。
人力资源社会保障部办公厅
2024年10月31日
技能人才评价命题技术规程
(试行)
技能人才评价命题技术规程
(试行)
1. 前 言
命题工作是开展技能人才评价的重要基础性工作,命题质量直接关系到评价结果的可靠性、有效性和公平性,是评价质量的核心。为进一步规范技能人才评价命题工作,提升技能人才评价机构(以下简称评价机构)命题能力,特编制《技能人才评价命题技术规程》(以下简称《规程》)。
1.1适用范围
本《规程》适用于技能人才评价试题命制、考评内容与方式设计以及相关的实施工作,是各评价机构开展命题工作应遵循的基本要求,也可作为各级人社部门职业技能鉴定(指导)中心加强命题指导服务和监管的主要参考。
需要说明的是,本《规程》着眼于技能人才评价命题工作的通用要求和流程,关于具体的试题命制技术及题库开发步骤,请参考理论知识题库和操作技能题库开发指南等相关资料。
1.2 术语和定义
1.2.1职业
从业人员为获取主要生活来源所从事的社会工作类别。
1.2.2国家职业标准(技能类)
在职业分类的基础上,根据职业活动内容,对从事本职业应具备的知识和技能要求提出的综合性水平规定。它是开展职业教育培训和技能人才评价的基本依据。
符合条件的企业,可参照现行《国家职业标准编制技术规程》开发制定评价规范,依据国家职业标准和评价规范开展自主评价。开展专项职业能力考核应以专项职业能力考核规范为依据。
国家职业标准、评价规范和专项职业能力考核规范共同构成多层次、相互衔接的职业标准体系,以下统称职业标准。
1.2.3 技能人才
在生产或服务等领域岗位一线,掌握专门知识和技术,具备一定的操作技能,并在工作实践中能够运用自己的技术和能力进行实际操作的人员。
1.2.4技能人才评价
根据职业标准,结合工作实际,综合运用理论知识考试、操作技能考核和综合评审等评价方式,对劳动者的职业素养、理论知识、操作技能和工作业绩等方面进行客观公正、科学规范地评价的活动。符合条件的企业,可根据职业标准,灵活运用过程化考核、模块化考核、岗位练兵、技术比武、技能竞赛、业绩评审、直接认定等多种方式进行评价。
1.2.5 技能人才评价命题
以职业标准为内容依据,以现代测评理论和方法为技术要求,以统一的工作流程为方法遵循,科学设计考评内容和方式的系列活动的总称,主要包括组建专家团队、编制考评蓝图、编写试题试卷、开展命题和评分培训、分析完善试题试卷等。
2. 总 则
2.1指导思想
以习近平新时代中国特色社会主义思想为指导,依据《中华人民共和国劳动法》和《中华人民共和国职业教育法》,落实《关于分类推进人才评价机制改革的指导意见》和《关于加强新时代高技能人才队伍建设的意见》有关要求,围绕经济社会发展和人才发展需求,遵循人才成长规律,坚持注重职业道德、体现工匠精神、突出职业技能、强化工作业绩的基本原则,以职业标准为依据,以现代测评理论和方法为技术要求,不断规范技能人才评价命题活动,提升命题工作科学性和评价工作质量,促进提高劳动者素质,引导激励技能人才成长成才,为实现中国式现代化提供坚实的技能人才支撑。
2.2工作目标
在技能人才评价工作中明确命题工作要求,规范命题工作流程,设立命题质量标准,以有效提升技能人才评价命题工作质量,确保评价结果的可靠性、有效性和公平性。
3. 基本要求
3.1 规范性
命题工作应以职业标准为依据,实施过程应遵循本规程有关技术要求和流程规范,试题和试卷内容正确、格式规范,所用术语、符号符合本行业现行有关规定。阅卷评分记录保存完整,存档规范。
3.2可靠性
依据试题试卷开展的考评工作应具有较高的信度,确保考评要点数量充足、考评方式合规恰当、试卷题量时长适宜、反馈修订机制健全,考评结果稳定、可靠和可信,不受任何与考评目的无关的随机误差的影响,如考评的时间地点环境、考评的组织实施过程、考评员对评分标准的理解把握等。
3.3有效性
试题试卷内容应与考评蓝图所确定的考评内容保持一致,能够完整体现职业标准要求;考评结果应与考生的技能水平或日常的工作表现等基本一致;考评结果只与所要考查的职业素养、理论知识、操作技能和工作业绩等因素有关,不涉及其它与考评目的无关的能力因素;依据考评结果所做的人才使用决策和反馈建议应有多个方面的独立证据验证,客观、恰当且有效。
3.4 公平性
考评内容和方式设计应体现技能人才评价目的,符合考评对象特点,无歧视特定群体(民族、地域、性别、年龄等)的内容;考评的程序和规则应统一,机会应均等。
4. 命题流程
根据现代测评理论,结合技能人才评价工作实际,命题工作一般包括以下步骤:组建专家团队、撰写命题说明、编制考评蓝图、命制考评试题、审核修订试题、编辑制作试卷、试测完善试卷。
4.1 组建专家团队
开展命题工作前,应组建命题专家团队。命题专家主要包括试题内容专家和命题方法专家。试题内容专家通常由来自院校和企业生产一线的专家共同组成,命题方法专家一般来自技能人才评价管理部门、评价机构和教科研单位等。
命题和题库运行管理工作中,还需要信息技术专家提供技术支持。信息技术专家通常由既熟练掌握信息技术又了解技能人才评价命题方法的专家组成。
在初步完成命题任务或形成阶段性成果后,应及时组织审核。审核专家也可由试题内容专家和命题方法专家共同组成,其资质条件可参照命题专家有关要求执行。
4.1.1 专家职责
命题专家应自觉接受邀请单位管理,签署相关保密协议或保密承诺书,严格遵守保密等相关制度规定。
(1)试题内容专家负责试题素材的收集、整理和改编,试题的编写、修改和审核等工作。具体包括:认真解读职业标准、设计编制考评蓝图,确保考评内容及权重、考评方式及时长符合职业标准要求;科学命制试题,确保试题试卷符合考评蓝图、内容正确无争议、表述规范无歧义、无歧视特定群体的内容或作答方式;操作技能试题与考核场所设施设备技术指标相匹配等。
(2)命题方法专家负责进行命题技术方法指导培训,对试题试卷质量进行统计分析等工作。具体包括:通过培训、研讨等方式,向试题内容专家讲解命题技术方法、注意事项等;根据命题工作进度,审查考评蓝图、试题试卷及评分标准等;设计数据收集和分析方案,对试题试卷质量进行统计分析,并根据分析结果提出试题试卷修改建议等。
(3)信息技术专家主要负责协助命题专家开展试题试卷录入、编辑、存储和组卷、施测、数据采集与统计分析等工作,并对题库运行管理和安全保密等工作提供技术支持和服务。
4.1.2专家资质
(1)基本资格条件
命题专家应政治立场坚定,拥护中国共产党的领导,自觉践行社会主义核心价值观,具有良好的政治素质、较高的职业素养和较强的敬业精神;热爱技能人才工作,熟悉技能人才评价有关政策规定,理论水平高、专业能力强,具有较好的语言表达能力和沟通协调能力;遵纪守法、廉洁奉公,坚持原则、作风正派,具有较强的工作责任感、组织纪律性和安全保密意识,无违法违纪、犯罪和不良行为记录;身心健康,年龄通常不超过65周岁(对专家储备较少的急需紧缺职业或新职业,条件可适当放宽),能胜任技能人才评价工作需要。
命题专家需具有5年及以上的相关工作经历。命制五级、四级、三级试题的专家,应具有本职业或相关职业领域二级/技师及以上职业技能等级(职业资格)或相关专业中级及以上专业技术职称;命制二级及以上等级试题的专家,应具有本职业或相关职业领域一级/高级技师及以上职业技能等级(职业资格)或相关专业高级专业技术职称。
对于暂无符合上述职业技能等级(职业资格)或专业技术职称要求的专家人选的职业(如部分新职业、专项职业能力),命题专家应具有本职业或相关职业大学本科及以上学历、从事相关工作8年及以上,或从非物质文化遗产传承人等人员中选取。
(2)业务水平要求
试题内容专家应具有较高的专业水平、较强的理论功底和丰富的操作技能经验,理解并掌握职业标准要求,有一定的命题工作经验,有较强的语言文字表达能力,开展命题前应自觉接受一定的命题技术培训和试命题训练,能根据任务安排保质保量完成命题任务。
命题方法专家应熟悉技能人才评价工作,熟练运用技能人才评价命题技术和题库开发方法,了解现代测评理论和方法,懂得基本的数据统计分析方法,能根据职责要求进行命题方法指导、考评蓝图和试题审核、试题试卷质量分析等。
信息技术专家应具备一定的计算机应用和管理水平,具有一定的编程和数据处理能力,熟悉相关操作系统,熟练使用相关应用软件等,能协助试题内容专家和命题方法专家完成相关技术支持和服务工作。4.2 撰写命题说明
命题说明主要用于明确命题时应考虑的主要因素、命题依据与内容、考评方式与题型、试题实施对场地设备及阅卷评分等方面的要求、考评结果表达的要求等内容,也可对命题专家及工作人员分工、进度安排等进行说明。
命题说明通常包括以下方面:考评目的与对象、命题依据与内容、考评方式与题型、考评时间与题量、场地设备要求、阅卷评分要求、考评结果组成、监考与考评人员配备等。
4.2.1考评目的
应说明本职业(工种)开展考评的主要目的,不同的考评目的对命题工作的要求有所不同。考评目的主要有人才选拔、资格准入、水平评价等。人才选拔侧重于区分考生的知识和技能水平,资格准入侧重于考查考生的知识和技能水平是否达到相关职业的准入标准,水平评价侧重于考查考生的知识和技能水平是否达到相应的职业技能等级。
对于职业技能等级认定,通常以水平评价为目的,侧重于考查考生的知识和技能水平是否达到相应职业标准的要求。
4.2.2考评对象
主要说明本职业(工种)考生群体的总体特点,通常包括考生身份特征(企业职工、院校学生、社会人员等)、年龄特征、受教育程度等。命题时应综合考虑考生群体特点,为合理确定考评方式和题量时长等提供基础。
4.2.3命题依据与内容
命题依据主要说明开展命题时所依据的职业标准及其版本,有关参考教材、行业标准等。命题内容主要包括:从事本职业(工种)应具备的职业素养、理论知识、操作技能和工作业绩等。
(1)职业素养主要包括职业认知、情感态度、行为习惯、职业操守和发展潜力等方面,突出职业道德和工匠精神。
(2)理论知识是指与本职业(工种)操作技能相关的、完成特定工作任务所必备的知识,主要包括职业标准中规定的基本要求和工作要求中的相关知识要求。
(3)操作技能是指从事本职业(工种)应具备的技能水平,重点考核在特定工作情境中执行操作规范、解决实际问题和完成工作任务的范围和程度,以职业标准中规定的技能要求为依据。
(4)工作业绩包括所完成工作任务的数量、质量和效率,发现和解决工作中难题的数量和质量,为本单位及社会所创造的新产品、新技术、新工艺以及所节省的时间、场所、设备等资源成本,传授技艺、培养指导学徒等方面的业绩和获得的各种荣誉等。
4.2.4考评方式与题型
应对本职业(工种)所采取的考评方式和题型进行详细说明。考评方式主要包括理论知识考试、操作技能考核、工作业绩评审、职业素养评价、综合评审、工作过程考核、教学过程中的技能评价和竞赛结果认定等。每种考评方式都应制定相应的技术方案,特别是评审评价和过程考核等方式,应制定详细的评审或评价方案,明确考评内容、权重和评分标准等。
(1)理论知识考试主要采用笔试或计算机化考试的形式。对于五级、四级、三级理论知识考试,通常以客观题为主(单选题、多选题、判断题);对于二级、一级理论知识考试,通常采取客观题和主观题(简答题、计算题、绘图题、论述题等)相结合的方式,且主观题分值占比以40%-60%为宜。
(2)操作技能考核通常采用实际操作、模拟操作、笔试或口试等方式。实际操作是操作技能考核的主要方式。对于无法采用实际操作的职业或者现实工作场景已实现数字化操作的职业,可采用模拟操作或仿真操作的方式进行考核。采用仿真操作时,应编制必要的仿真模拟系统操作指南。
笔试主要适用于知识技能型职业或实际工作任务需要通过纸笔完成的技能要素,常用的题型有案例分析、方案策划、情景模拟、计算、简答、论述等。口试通常与实际操作或模拟操作结合使用。
对职业标准规定采取实际操作或模拟操作方式进行考核的职业(工种),其操作技能考核不得以纸笔作答代替。
(3)工作业绩评审可综合采用材料评审、工作项目评定、主管部门评价、专家评定等方式。
(4)职业素养评价可综合采用个人自评、民意测评、班组或主管部门评价、专家评定等方式。
(5)综合评审主要用于二级及以上等级的技能人才评价。通常采取审阅申报材料(含论文或成果报告)、答辩等方式进行全面评议和审查,也可结合职业特点采取文件筐测试或现场撰写技术总结、报告、方案等方式。
(6)工作过程考核主要依托工作现场、结合工作过程开展。可通过日常考核或定期考核,结合工作日志、工作成果、工作表现、业绩贡献等方面,采用班组评价、主管评价、专家评定等方式,对工作过程中体现出的职业素养、操作水平、理论知识和业绩贡献综合评价。
工作过程考核应做好工作分析。可运用职业功能分析法,将工作岗位按功能划分出工作领域、工作过程和工作任务,形成结构化表格,并明确完成各项工作任务所需的知识、技能和经验,并与职业标准中相关知识和技能要求相对应,据此确定相应的职业技能等级。
(7)教学过程中的技能评价主要通过观察和评估学生的学习过程,实现对其职业技能的评价。可综合采用学生日常表现的自我评价、课题式的小组评价、模块化的综合评价、实习实训中的表现评价等方式。
开展教学过程中的技能评价,要做到课程领域和工作领域相对应,教学目标和评价目标相一致。可通过开展单元式教学、模块化考核和学分制管理来实现。单元式教学即按学习领域安排学习进度,模块化考核强调基于学习领域的成果检验,学分制管理强调按职业标准的工作领域建立学分并通过学习领域的模块化考核来积累学分。
(8)竞赛结果认定是指对于在符合要求的职业技能竞赛中取得优异成绩的,可按相关规定直接认定相应职业技能等级。
上述考评方式中,理论知识考试、操作技能考核、综合评审(二级及以上)是职业标准规定的考评方式。工作业绩评审、工作过程考核等方式主要用于用人单位面向本单位职工的职业技能评价,教学过程中的技能评价主要用于职业院校面向学生的职业技能评价,这3种考评方式可作为操作技能考核的补充。职业素养评价可用于各类评价机构开展的职业技能评价,评价结果可作为理论知识考试中职业道德相关内容的补充,也可作为实施其他考评方式的先决条件。
在开展评价工作中,评价机构可结合实际,综合运用多种考评方式,研究设计各考评方式的组成及权重,确保考评质量。
4.2.5考评时间与题量
应说明本职业(工种)各种考评方式相应的题量和时长。
理论知识考试、操作技能考核和综合评审的时长,应依据职业标准、结合考试方式和考生群体特点确定,确保大部分考生能在规定时间内完成。
理论知识试卷题量要结合职业技能等级、考试时长确定,同时要满足信度要求。对于五级、四级、三级理论知识试卷,全部采用客观题的,试卷题量应不低于100题,且与考试时长相匹配。操作技能试卷题量以全面体现职业标准要求和考评内容为原则,并与考核时长相匹配。
关于理论知识题库和操作技能题库的试题量,应结合组卷的规则和频次综合确定。原则上,理论知识题库(五级、四级、三级)每个等级应不少于1000道题,操作技能题库每个等级应不少于30道题。原则上,理论知识题库各等级“基本要求”部分的试题可以相同或部分相同,“工作要求”部分的试题应根据相关知识要求命制,各等级之间不应重复;操作技能题库应根据技能要求命制,各等级之间试题不应重复。
采用试卷库的,每个等级理论知识和操作技能试卷库应分别不少于10套试卷。原则上,同一等级各套试卷之间试题重复率不得高于10%(10分),不同等级操作技能试卷之间试题不应重复。
开展评价时,不应多次重复使用同一套试卷。
4.2.6 场地设备要求
应说明实施理论知识考试和操作技能考核应满足的场地条件、实施操作技能考核需具备的设备设施条件等。如采用计算机化考试、仿真模拟软件等方式呈现试题,应说明需具备的软件、硬件和网络等方面的条件,仿真模拟软件需具备的主要功能等。
4.2.7阅卷评分要求
应对阅卷评分方式、评分要求、工作纪律、异常情况处理等方面进行说明。
客观题通常采用计算机自动评分。对于操作技能考核试题和主观题,应成立考评(评分)小组,人数一般为奇数且不少于3人。
开展评分前,考评人员应经过必要的培训,认真研究试题、答案及评分标准,并选取有代表性的答卷进行试评,在试评中进一步理解和把握评分标准,完善评分细则。
评分过程中,每名考评人员应做到独立评分。严格按评分要点给分,尽可能提高每个题目的区分效度,避免出现趋中趋势;不能根据个人偏好随意评分,不得故意拉高或压低特定考生的成绩。如遇异常情况,应提交考评(评分)小组作出裁决。
评分过程应做好记录,不得随意涂改。评分结果应真实有效,每名考评人员应按要求对评分过程和结果签字确认。
4.2.8考评结果组成
主要说明本职业(工种)考评结果的组成及分数构成,包括各种考评方式所对应的考评结果的呈现形式、所占权重及合格标准,整体考评结果的组成与合格标准等。有条件的,应对同职业(工种)同等级不同次考试进行等值处理后再报告分数。
4.2.9 监考和考评人员配备
监考人员和考评人员配备应符合职业标准要求,如本职业(工种)有特别要求的,也应在此明确。通常,理论知识考试每个考场应不少于2名监考人员。采用纸笔作答的,监考人员与考生配比应不低于1:15;采用计算机化考试的,监考人员与考生配比应不低于1:30。
操作技能考核中的考评人员与考生配比应根据职业特点、考核方式等因素确定,一般不低于1:10,且应保证考生之间不互相干扰、考评人员能够对考生的全部操作过程进行独立考评。考评人员应为3人(含)以上单数,每位考生每道操作技能考核试题应由不少于3位(含)考评人员独立评分。综合评审委员为3人(含)以上单数。
4.3 编制考评蓝图
考评蓝图指的是考评内容的具体说明,通常以考评内容结构表(或试卷结构表)、考评要素细目表(或组卷计划书)等方式体现,也可体现为考评要素和能力层次的双向细目表(即明确应掌握的知识技能和应达到的能力层次两个方面)。
编制考评蓝图时,应依据职业标准和命题说明,结合本职业(工种)生产活动实际,合理确定理论知识考试、操作技能考核、职业素养评定、工作业绩评审以及综合评审的考评要素(要点),明确相应考评方式、题型题量、作答时间、权重比例等。理论知识试卷结构表和考评要素细目表、操作技能考评内容结构表和考评要素细目表、职业素养评定量表、工作业绩评审量表、综合评审内容结构表的相应示例分别见附件1、2、3、4、5。
组卷计划书主要用于试卷库开发,体现各套试卷中每道试题与职业标准中有关知识和技能要求及其下属考评点的对应关系。组卷计划书示例见附件6。
如编制双向细目表,可参考表4.3。表中内容应根据本职业(工种)有关要求编制和调整,题型题量、分值等要求应添加文字说明。
考评蓝图编制完成后,应组织专家进行审核,确保考评蓝图符合职业标准要求和生产活动实际,具有可操作性。
4.4 命制考评试题
试题命制可以采取专家“入闱集中命制”或“在保密条件下分散命制”等方式。命制的试题要符合考评蓝图、考评方式和题型特点,确保内容正确、表述准确、评分标准明晰、参数标注规范等。
4.4.1符合考评蓝图
试题的题型题量、考核方式、考核时长、分值权重、所考知识或技能要素(要点),试卷的结构与编排等与考评蓝图相一致。
4.4.2题型方式恰当
理论知识题型主要包括客观题和主观题两种。客观题主要有选择题(含单选和多选)、判断题等,多用于考查基本知识的识记、理解和应用等;主观题主要有简答题、论述题、案例分析题等,多用于考查综合理解和分析问题能力、运用有关知识创造性解决实际问题的能力等。
操作技能考核方式应符合职业标准和生产实际、结合考场设备条件综合确定,主要有实际操作、模拟操作、笔答或口试等。操作技能考核项目应为典型的工作任务,考核试题完整,要求明确,否定项设置合理,具有实施的可行性。
4.4.3 内容正确完整
试题应坚持正确的政治方向,践行社会主义核心价值观,体现职业活动导向原则,内容正确、无争议,能有效实现考评目的、体现考评内容及职业标准要求,无偏题怪题。
每道试题内容应是相对完整的知识或技能模块,包含作答所需的全部信息。同时,试题间应保持相互独立性,避免出现一道试题的题干成为另一道试题答案的情形。
试题中不能含有歧视某个特殊群体的内容。除了消防、抢险、救灾等特殊行业,应避免出现关于灾害、事故、死亡等可能引起答题者心理不适方面的素材。
4.4.4 表述清晰准确
试题及有关作答要求应表达清晰、表述规范、无歧义,专业术语的使用符合本行业现行有关规定。题干应避免使用复杂句式、否定句式且不暗示答案,不出现错别字、病句等文字表达方面的错误。客观题应避免使用疑问句。
4.4.5评分标准明晰
在编制试题的同时,应科学、合理制定评分标准,使评分简便、准确、客观,排除无关因素的干扰。主观题的评分以分步或分项评分为主,每个步骤或项目的评分标准应明确、可操作,尽可能细化、量化,做到每个步骤或要点都能有效区分考生水平。原则上,每个步骤或要点的分值以不超过3分为宜。
4.4.6参数标注规范
试题应标注必要的参数,为建立题库、实现自动组卷提供基础。试题参数通常包括内容参数、题型参数、难度参数、试题和考评要点的一致性参数等。内容参数主要表明该试题所考核的考评要点,通常采用细目表中该考评点的代码表示。题型参数用于区分该试题所属的试题类型,可根据需要选用不同的字母或数字来代表。难度参数表明该试题的难易程度,命题时可先由专家预估(可采用等级难度),考试结束后可通过数据计算难度值并对预估参数进行校正。试题和考评要点的一致性程度表明该试题是否考查了考评要点的核心内容,可以采用不同的数字来区分一致性程度(如从1到5分别对应从差到好)。
需要说明的是,试题参数标注方法有多种,以上只是可供选用的一种方式。无论采用哪种标注方法,应做到有效辨别和区分试题,能够实现按规则组卷和试题动态管理。
4.5 审核修订试题
试题初稿完成后,应提交审核专家进行审核。审核专家组人数应不少于3人且为奇数。审核内容主要有:考评蓝图的符合性,考评方式和题型的恰当性,试题内容的正确性、独立性和公平性,试题表述及作答要求的准确性、评分规则的可操作性和参数标注的规范性等(相关要求见4.4.1-4.4.6)。
试题审核一般分为阶段性审核和终审。阶段性审核贯穿试题命制全过程,可在形成任一阶段性成果后进行(如编制完成考评蓝图和样题后可进行第一次阶段性审核,后续可根据工作完成情况适时审核)。
试题的审核、修订、存储、使用、更新等工作可通过题库管理系统实现。题库的基本单元一般为试题,特殊情况也可采用试卷方式存储和管理。题库中试题应根据使用反馈情况及时修订、动态更新。题库更新原则上每3-5年进行一次,试题使用频次较高的应及时更新题库;职业标准有更新的,应在新版职业标准颁布后一年内更新题库。
4.6 编辑制作试卷
试卷的编辑制作通常包括以下步骤:
1.根据命题说明和考评蓝图形成组卷方案,确保考评的内容效度和公平性;
2.根据组卷方案,选用相应试题,按一定顺序编辑制作试卷(先客观题后主观题或先简单题后复杂题),确保试卷文字、图表、格式或计算机化考试中的试题呈现方式等符合要求,适合考生作答;
3.核查试题数量和题型,确保试卷结构与考评蓝图一致;
4.逐题审查试卷中试题,确保内容正确、无版权争议等问题;
5.核查试题参数等指标,确保考评信度达到要求;
6.核查试题之间的相互关系,确保独立性,避免出现互为答案或互相提示的问题;
7.核查试题难度分布,确保试卷能够有效区分考生群体,实现考评目的;
8.对于同一场考试,需准备平行试卷备用,且平行试卷之间的内容、难度、区分度和信度基本一致。
4.7试测完善试卷
组卷完成后,可组成1-3人的独立小组进一步核查试卷与考评蓝图和组卷方案的一致性,正式试卷和备用试卷的文字、图表、格式或计算机化考试的试题呈现方式等,同时,可选择1-2人在保密状态下试做一遍试卷,确保作答方式与考生群体的知识文化水平相当,确保没有违反法律法规、版权和意识形态等方面的问题。
具备条件的,可在符合保密要求的情况下,选择与考评群体(总体)极其类似的微小群体进行试考(30人以内),并进行简单的统计分析或个案研究,以了解试题表述的清晰性、准确性和科学性,试卷题量时长的适宜性等,并据此完善试题试卷,形成正式试卷。
正式试卷使用后,可运用现代测评理论进行统计分析,估计题目难度、区分度和公平性,以及考评的信度和效度等,为后续改进试题试卷提供参考。
来源:技能中国