和文斌、赵帅 | 基于生成式人工智能的人机协同学习更能提升学习成效？——基于 20 项实验和准实验的元分析

摘要：生成式人工智能的崛起为人机协同学习注入了动力。然而，学界对基于生成式人工智能的人机协同学习成效仍有争议。本研究采用元分析法对国内外 20 项研究进行整合分析，并从学科领域、知识类型、干预时长等维度探讨调节变量对基于生成式人工智能的人机协同学习成效的影响。结果显示，相比于传统学习方式，基于生成式人工智能的人机协同学习能有效提升学习成效。调节分析表明，基于生成式人工智能的人机协同学习在社会科学领域与程序性知识学习中的表现更好；干预周期越长影响越弱；群体学习、角色设定与翻转课堂对人机协同学习成效的影响最突出；学科领域、知识类型、学习方式等的组间差异不显著。研究者需加强实践适切性设计，开展围炉群证式学习，注重角色精细化指引和探索模式深度融合，以助推基于生成式人工智能的人机协同学习理论与实践的发展。

关键词：生成式人工智能；人机协同学习；学习成效；元分析

本研究利用元分析方法整合已有多项实证研究结果（如样本量、均值、标准差），探索基于生成式人工智能的人机协同学习的成效，包括五个步骤：1）检索、挖掘有关的实证研究；2）依据研究目标制定文献筛选标准；3）参照研究文献与调节变量制定编码特征表；4）依据研究数据计算效应值；5）检验发表偏倚与异质性。

（一）文献检索

基于 PRISMA 流程图（Moher et al.，2009），研究样本的遴选分三个步骤：

1）将样本采集来源聚焦于国内外知名的学术资源数据库（包括中国知网、Web of Science、Springer Link、 JSTOR、 Scopus、 Proquest、 Wiley  Online Library and Science Direct）。鉴于 ChatGPT3.5 以前的生成式人工智能技术主体性较弱，且现有的人机协同学习的实践探索主要关注后续衍生的语言模型与产品，本研究将检索时间限定于 2022 年 11 月至 2024 年 4 月。为尽可能囊括已有的文献，本研究采用布尔运算符进行文献检索，检索关键词分两组：一组为生成式人工智能、文心一言、豆包、星火、聊天机器人、generative ai、Chatgpt、Gemi、Claude and chatbot 等有关生成式人工智能的关键词汇；另一组搜索词包含人机协同学习、影响效果、学习成效、huaman-machine collaborative learning、collaborative learning、learning achievement、learning outcome、scores、performance、influence 等有关学习成效的关键词。2）筛查检索到的人机协同教学（徐振国等，2024）与人机反馈（Liao et al.，2024）等主题的元分析中所整合的数据。3）阅读检索获得的 9594 篇文献的标题与摘要，去重后最终选择了 282 篇文献并进一步筛选（见图 1）。

（二）纳入标准

文献筛选标准包括：1）至少使用一种基于生成式人工智能的人机协同学习实验或准实验；2）研究对象为在校学习者；3）至少包含一项基于生成式人工智能的人机协同学习与传统学习的比较研究；4）通过学习测试等评估基于生成式人工智能的人机协同学习和传统学习的成效；5）具有支撑元分析的数据报告，内容包含平均值、标准差、样本量、t 值等。经过上述筛选过程后，研究者通过文献回溯与滚雪球的方式进一步充实研究样本，最终获得 20项研究文献（包含 22 项研究数据）。

（三）样本编码

编码过程设定为码本构建、独立编码与讨论协商三个阶段（见表 1）：

第一，基于已有研究并结合阅读全文后的信息提取，研究者汇总了三部分信息，共 13 个字段，分别为基本信息（样本序号、研究主题、研究者与发表年份）、调节变量（学科领域、知识类型、干预时长、学习方式、角色设定与教学模式）与数据信息（均值、标准差、样本量）。依据设定的目标，自变量均为基于生成式人工智能的人机协同学习和传统学习，因变量为学习成效（后测中学习者的知识掌握程度）。第二，经过编码培训，三位研究者独立对 22 项数据进行编码，编码结果的一致性达 91%。第三，研究者通过邮件咨询文献的作者，对未收到作者回复的文献，其编码中的数据分歧由研究者讨论与协商确定，确保编码的质量与可信度。

（四）效应量计算

鉴于样本数据为实验组与控制组的均值和标准差，且各样本均值差异较大，本研究将标准化均差（SMD）作为合并效应值指标来衡量效应大小，消除均值差较大对结果的影响。标准化均差的计算公式如下：

其中，E 代表实验组，C 代表控制组，n 代表样本量，SMD 代表合并效应值，M 代表平均值，S 代表标准差，df 代表自由度。

（五）发表偏倚检验

抽样偏差、显著发表等偏倚因素可能导致纳入的研究样本不能代表真实效果。因此，本研究通过评估分析样本偏倚性，增强研究的质量与可信度，防止结论的失真，即采用失安全系数（Rosenthal’s Nfs）、Egger 线性回归检验和 Begg 秩相关检验评估纳入的样本。失安全系数检验标准为 Nfs 值大于 5N+10。结果显示，Nfs=726 远大于 120。这表明还需 726 份未发表且不显著的研究才能改变元分析结果的显著性（Rosenthal，1979）。基于此，研究者采用 Egger 与 Begg 检测确认结果。结果显示，Egger 的 检 测 结 果 为 Z=0.79<1.96， p=0.727>0.05，Begg 结果为 p=0.554>0.05。这表明存在发表偏倚的可能较小，元分析纳入的样本能够支撑后续分析，且研究结论的效度和信度较好。

（六）异质性检验

由于纳入的分析样本在研究设计、样本特征与测量工具等维度存在差异，为提高分析结果的科学性和准确性，本研究采用博伦斯坦（Borenstein et al.，2009）开发的分析模型，通过异质性检验选取模型处理数据间的差异性，确保元分析的结果接近无偏估计。选取分析模型依据是 Q 统计量和 I^2 统计量 。Q 统计量的检测结果为 156.005（df=21，p<0.001），I^2 为 86.539%（处于 75%-100% 间）。这表明样本间存在较显著的异质性（Higgins et al.，2003）。为有效处理样本间效应值的差异，本研究选择随机效应分析模型校正结果。

三、

研究结果

（一）整合效应分析

      本研究采用随机效应模型（见表 2）探讨基于生成式人工智能的人机协同学习对学习成效的影响。研究共包含 22 个效应值，合并样本共 1327 份，合并效应值 SMD 为 0.709，95% 的置信区间为[0.388–1.031]，p<0.001。这说明，传统学习方式与基于生成式人工智能的人机协同学习对学习成效的影响差异显著，且总体效应值并非随机变异与偶然误差所致。依据科恩（Cohen，1992）的元分析效应值评估标准，效应值处于 0.2—0.8 之间，具有中等影响。这表明，相较传统学习方式，基于生成式人工智能的人机协同学习对学习成效有中等程度的正向作用。

（二）调节效应分析

除了分析基于生成式人工智能的人机协同学习对学习成效的总体影响，本研究还探讨开展相关实践的有效路径，寻找指导研究设计的方案。为此，本研究依据学科领域、知识类型、干预时长、学习方式、角色设定等调节变量对基于生成式人工智能的人机协同学习成效开展亚组分析（见表 3）。

1. 学科领域

组间异质性结果（Qb=1.581，df=3，p>0.05）表明，基于生成式人工智能的人机协同学习对不同学科学习成效的影响效果稳定。具体而言，学科领域的效应值大小依次为社会科学（SMD=0.909，df=11，p<0.001） 、自然科学（SMD=0.498，df=4，p>0.05）、工程技术（SMD=0.444，df=2，p>0.05）与医学（SMD=0.370，df=1，p>0.05）。也就是说，基于生成式人工智能的人机协同学习对所有学科均具有稳定、积极的正向作用，其中社会科学是利用基于生成式人工智能的人机协同学习提升学习成效最理想的学科。

2. 知识类型

知识类型对基于生成式人工智能的人机协同学习成效产生积极影响，程序性知识的效应值为 SMD=0.798（df=13，p<0.001），陈述性知识的效应值为 SMD=0.532（df=7，p>0.05）。这表明，生成式人工智能的人机协同学习对掌握程序性知识有积极的推动作用。总体而言，基于生成式人工智能的人机协同学习对所有知识类型的认知均有正向影响，组间无显著差异（Qb=0.521，df=1，p>0.05）。

3. 干预时长

除 12 周以上的干预，干预时间长短对人机协同会产生显著的促进作用，组间差异显著（Qb=39.892，df=3，p<0.001）。就群组效应值而言，0—1周的干预对学习成效有积极影响（SMD=1.203，p<0.001）。这可能是该群组的样本量少所致。从总体看，随着干预周期的延长，基于生成式人工智能的人机协同学习成效呈下降趋势。

4. 学习方式

学习方式的调节有积极的成效，但组间差异不显著（Qb=0.501，df=1，p>0.05）。群体参与的学习方式的效应值为 SMD=0.847（df=6，p<0.001），个体为单位的学习方式的效应值为 SMD=0.627（df=14，p<0.01）。可见，群组参与方式的基于生成式人工智能的人机协同学习效应有更积极的调节成效。

5. 角色设定

不论是否设定角色均能显著提高人机协同学习的成效，但组间差异不显著（Qb=0.202， df=1，p>0.05）。有特定角色设定的效应值（SMD=0.842，df=7，p<0.05）最大，表明在基于生成式人工智能的人机协同学习中，学习者与特定角色的聊天机器人开展交互能获得更大的学习成效。无角色设定（SMD=0.672，df=13，p<0.001）的模式也达到显著水平。

6. 教学方式

利用不同教学方式开展人机协同学习的结果显示，组间差异不显著（Qb=0.980，df=2，p>0.05）。自主学习（SMD=0.577，df=10，p<0.05）、传统课堂（SMD=0.608，df=3，p>0.05）和翻转课堂（SMD=0.919，df=6，p<0.001）均对基于生成式人工智能的人机协同学习成效具有较显著的积极影响。就效应值而言，翻转课堂的效应值最大。这表明，利用翻转课堂开展基于生成式人工智能的人机协同学习能产生较好的效果。

（一）研究结论

1. 基于生成式人工智能的人机协同学习对学习成效的影响

随着智能技术日益渗透到日常的工作和生活，人与机器间的互动逐步扩展，人机协同将成为未来学习的主流样态（王一岩等，2022）。生成式人工智能的出现打破了机器主体性弱的局限，推动了人机协同学习的进阶发展。本研究结果印证了王卓（2023）、伊尔迪兹（Yildiz，2023）、李（Li，2023）、宋和宋（Song & Song，2023）、阿尔内亚迪和瓦尔达特（Alneyadi & Wardat，2024）、李海峰（2024）等的观点，说明相较传统学习方式，基于生成式人工智能的人机协同学习更有成效。这可能是因为基于生成式人工智能的机器能突破已有人机协同学习中浅表交互、低效持续与预设反馈的弊病（郑兰琴等，2024）。其强大的内容生成、语言转译、语境理解与场景复刻能力，定制化交互的即时反馈（Hakiki et al.，2023），可以弥合不同需求间的差异，削减认知焦虑，并通过模拟境脉提供逼真的学习体验，辅助学习者实现基于头脑风暴的人机协同知识创造。

2. 基于生成式人工智能的人机协同学习实践路径分析

本研究利用亚组分析探讨影响整体效应异质性差异的调节变量。22 项研究中学科领域、知识类型、干预时长、学习方式、角色设定与教学模式对基于生成式人工智能的人机协同学习成效存在调节作用。

就学科领域而言，不同学科的学习成效都有明显提升，组间差异不显著。其中，社会科学的成效最明显，这一结论与单俊豪（2019）、徐振国（2024）等的研究结论不一。原因可能是社会科学更有社会性与人文性，基于生成式人工智能的机器能够连接、模拟、复刻真实的社会境脉（Hwang et al.，2023），并以类人的对话模式与学习者交互，为学习者提供仿真的学习体验与交流，从而促进知识学习。基于生成式人工智能的人机协同学习在自然科学、工程技术与医学领域的成效也较明显，但由于生成式人工智能难以深入理解这些领域的复杂问题（Alneyadi & Wardat，2024），致使未能达到与社会科学一样的成效。为此，后续研究需依据学科特点对生成式人工智能做更精细化的设定。

就知识类型而言，应用生成式人工智能开展人机协同学习对陈述性知识和程序性知识的学习成效均产生积极影响，组间差异不显著。这表明，研究无法解释知识类型对效应大小差异影响的关键程度与重要作用。陈述性知识的效应值较小（SMD=0.532，p>0.05），这与徐振国（2024）的研究一致。陈述性知识的学习主要聚焦于学生对事实、概念、数据与事件的理解与认识。尽管生成式人工智能能够以结构化的方式分解概念，并提供个性化的解释（Dasari et al.，2024），但由于其数据库中存在大量开放信息，且主要通过统计模型和匹配算法处理、分析文字和语句（Mitrović et al.，2023），容易混淆和误解陌生或复杂情境中的语法和概念，从而导致容易生成错误的信息，干扰学习者对陈述性知识的学习成效。因此，利用生成式人工智能开展人机协同学习还需“投喂”高质量的数据，并激励学习者批判性地审视生成内容的准确性（Rees，2022）。

就干预时间而言，组间差异显著，表明干预时长对人机协同学习成效有不同影响。依据效应值大小排序，利用生成式人工智能开展人机协同学习的周期越长，效应值越小，说明干预时长与基于生成式人工智能的人机协同学习的成效呈负相关。这一结论与已有研究结论（周进等， 2019；Lee & Hwang，2022；Wu et al.，2024）一致。原因可能是干预初始时，生成式人工智能的新颖性与即时反馈能激发人们参与学习的积极性、参与度与学习动机（Silitonga et al.，2023），但随着参与频次的增多，新颖效应会逐渐衰弱（Jeno et al.，2019）。此外，学习者长期参与人机协同交互容易因信息过载而分散注意力，从而偏离原有的学习目标，导致学习成效降低（Wu & Yu，2024）。

就学习方式而言，群体参与的方式可能是利用生成式人工智能促进人机协同学习的有效途径。这一观点得到了已有小组实践研究（Zhu et al.，2023；李海峰，2024；郑兰琴，2024）的支持。可能的原因在于，生成式人工智能是基于用户提问生成知识的交互技术（沈书生等，2023），其反馈质量依赖于提问的方式与数据集的定位（Wolfram，2023）。然而，知识生成中，个人参与人机协同学习在促进学习者推理、澄清与判断等方面效率较低，且交互频率、问题感知、提问的精准性、批判性思考的意识以及对核心问题的关注力都弱于群组。因此，单个学习者可能无法获得比群组更高质量的提问内容或多样化的观点，且容易陷入浅层、存误、虚浮的信息中（Han et al.，2024）。此外，生成式人工智能可有效支撑学习者开展人机协同学习，但此类交互方式不能完全取代人类交互。学习者与同伴互动能有效规避无关信息的侵扰，削减技术沉迷带来的情感淡漠，使学习者获得完整、健康的学习体验（Fauzi et al.，2023）。

就角色设定而言，为生成式人工智能设置特定的交互角色能更有效地提升人机协同学习的成效。这一结论与已有研究结果一致（Zhu et al.， 2023；Chang et al.，2024）。首先，这可能是因为生成式人工智能并未连接特定领域的语料信息，投喂的数据主要根植于全域抓取的开放内容（Escalante et al.，2023），导致人工智能无法精准定位学习者的反馈信息。角色设定能够帮助人工智能锚定与学习目标相关的数据集，促使模型生成准确、高质、特定的反哺知识。其次，依托全域数据的生成式人工智能容易形成对多样角色及语言的复杂理解，学习者在这种人机交互中容易陷入机器交互角色叠加带来的泛化体验。角色设定能促进混合角色的分割，指引生成式人工智能展现更稳定、细腻、连贯的交互表现，增强机器的类人行为（Wang et al.，2023）。这种以角色设定为前提的交互策略，能精准定制交互情境、语调与内容，简化交互过程，提升与学习者的沟通效率和情感连接，通过细腻的多轮对话为学习者认知发展与知识创造提供更真实、丰富、沉浸、生动的学习体验。

就教学方式而言，不同教学方式对人机协同学习成效均产生积极影响，组间差异不显著。其中, 利用翻转课堂开展人机协同学习可能是提高学习成效的最有效方式。这一发现与相关研究结论（Cheng & Antonenko，2019；Strelan & Palmer，2020）吻合。可能的原因在于，翻转课堂通过调整课内信息传输与课外实践活动顺序，为学习者提供了自由的人机交互时空，有效促进学习者对问题深入理解和多元认知。其次，利用翻转课堂开展基于生成式人工智能的人机协同学习能够发挥技术优势，提高人际互动效果，有效保持人机协同学习的平衡。换言之，尽管生成式人工智能能够与学习者开展类人的自然交互，但仍存在幻觉与偏误信息的输出（Lund & Wang，2023），且缺乏深入研究学习内容与辩证对话的能力。为此，教师或研究者需合理分配课堂时间，开展教师主导的集体头脑风暴，修正偏误、深化理解、激发问题、应用新知及促进高阶思维发展，最终实现由知识获取到知识应用与创造的递进式学习转型。

（二）简要思考

元分析的结论证明了基于生成式人工智能的人机协同学习对学习成效的积极影响，也启发了利用生成式人工智能开展人机协同学习实践的策略与方法。

第一，加强实践适切性设计。生成式人工智能作为人工智能技术发展的突出成果，并非以人机协同学习为场域而设计的，教师在实践过程需要以适切性为原则，确保人机协同学习的高效运作。1）优化交互设计，拟合学习目标。研究者、教育者在具体的人机协同学习实践设计中需考量学科领域与知识类型的特征，构建与呈现多样化的人机交互境脉，为情感交流与知识学习提供匹配的多感观交互氛围，帮助学习者清晰阐释社会现象、知识概念与抽象逻辑等。例如，概念性知识的学习可以引入 Sora 生成复杂情境与知识的三维视频，对抽象内容进行简化、提炼与解析，以多样化的呈现方式促进学习者对知识概念、发展脉络、操作流程与潜在风险的认知与深度理解。2）建立辅助机制，引导认知参与。基于生成式人工智能的人机协同学习，需建立适切性的辅助机制以匹配学习者的认知过程。教师在学习初始阶段需预防学习者沉浸于新颖效应带来的新鲜体验，忽视对知识内容的聚焦；学习中后期需加强对认知参与的激励，消解新颖效应淡化带来的学习认知倦怠，引导学习者高效参与人机协同学习。

第二，开展围炉群证式学习。生成式人工智能对数据的吞吐与加工会受技术的局限，使得人机协同学习易出现认知偏误、情感淡漠、提问浅显与效率低下等问题，教师可以通过围炉群证式学习消弱生成式人工智能带来的负面效果。1）创设围炉氛围。开展围炉群证式学习需为学习者营造开放、包容的学习交互环境，为群体表征与情感交流提供舒适、轻松、公平、尊重、积极的氛围。2）引导群体探讨。研究者或教学者需设置兴趣激发、思维引导与互动推进的群体人机协同学习机制，促进多视角的集体讨论与观点涌现，拓展知识的广度与深度。3）强化群证分析。该模块需引入机器主动提问机制，鼓励学习者批判审视、协作论证与交叉核验，纠正认知偏误从而发展高阶思维。4）催化知识生成。围炉群证的目标是通过集体头脑风暴实现知识的验证与共识的形成，为此需以时间为准绳，帮助群体厘清焦点、拆解问题与生成决议，避免无休止争论，促进高效的知识生成。5）推动反思迁移。研究者或教师需在人机协同学习中设置分析和呈现学习者集体讨论有争议观点的可视化机制，为群体深度反思、知识迁移应用提供支撑。

第三，提升角色精细化指引。角色设定作为提升基于生成式人工智能的人机协同学习成效的有效措施，需研究者开展精细化的角色指引，促进机器精准反馈与学习者体验升级。1）以角色定领域。角色描述是精细指引的起点，是对生成式人工智能进行角色分割与领域锚定的核心环节。研究者需给予具体、特定、清晰的角色描述，如机器所代表的领域、年龄、身份等，为机器的角色带入与数据提取提供指引。2）以起因定数集。起因说明是精细指引的深化，是辅助生成式人工智能实现数据过滤的策略，学习者可向机器呈现提问的动因，如触发因素与逻辑关系等。3）以情境定体验。情境阐释是精细指引的升级，是机器绘制交互体验的蓝图，研究者需描述问题情境的时空特征、情感氛围与参与人物等。4）以职责定反馈。职责归属是精细指引的优化，是引导生成式人工智能实现特定功能与反馈的导航，研究者需清晰表述机器的具体任务与工作流程等，以减少职责混乱与遗漏造成的反馈缺失。5）以目标定轨迹。目标锁定是精细指引的规范，是促成机器勾画人机协同学习认知轨迹的依据，研究者需对目标的具体细节、重要程度、达成标准与时间框架进行诠释，以规避人机交互脱离认知轨道的风险。

第四，推进模式融合。翻转课堂与生成式人工智能的融合是推动人机协同学习的重要模式，教师需充分发挥生成式人工智能与翻转课堂的优势，推进该模式的发展。1）寻求要素融合。翻转课堂要素与生成式人工智能的融合是模式发展的前提，研究者需重点关注课前内容与情境等要素与生成式人工智能的契合点，优化学习者课前知识学习为主的认知过程，为开展高质量课堂交互提供保障。例如，基于生成式人工智能与可信资源搭建动态、高质量的资源库，可为优质反哺和个性反馈提供精准投喂。2）创新过程融合。课堂交互活动与生成式人工智能的融合是模式发展的关键。该环节需要创新师—生—机三元智能化连接、交互过程设计，为知识探究、群体论证、认知修正、问题解决与高阶思维能力培养提供支持。例如，教师依托生成式人工智能分析课前知识中存在的问题与争议，设计针对性的课堂交互机制。3）探究结果融合。翻转课堂与生成式人工智能的融合是模式发展的升华。此阶段需创新基于生成式人工智能的智能评价方式，为学习方案优化、自我反思提升、知识迁移应用与教学活动改进提供多视角的参照依据。例如，基于生成式人工智能追踪、分析伴随式采集的对话过程与多模数据，可实现以增值评价、过程评价为代表的综合性评价。

本研究的局限在于：第一，研究纳入的样本主要为英文和中文文献，忽略了其它语言文献，致使纳入的研究样本有限；第二，未来还需纳入更多的研究对总体效应和调节变量做更深入分析，提升结论的理论与实践意义；第三，现有的实证研究主要以大学生为主，对中小学生的学习探索不够。