近年来，大语言模型（LLMs）在自然语言处理领域取得了突破性进展，展现出在各个领域的广泛应用潜力，包括教育领域。LLMs能够理解和生成自然语言，使其在教育领域具有巨大的应用价值，例如自动生成测试题目、提供智能辅导和解答专业问题等。然而，现有LLMs在教育领域的应用仍面临着一些挑战：对专业知识的理解不足，生成内容缺乏多样性和缺乏准确性。
近日，浙江大学教育学院百人计划研究员陈静远在Frontiers of Digital Education（《数字教育前沿（英文）》）期刊上发表了一篇名为“WisdomBot: Tuning Large Language Models with Artificial Intelligence Knowledge”的文章，提出了一个基于知识系统的AI教育模型WisdomBot，旨在通过指令微调、检索增强等方法提升LLMs在教育领域的应用能力。
WisdomBot首先从教材中手动提取一些基础的、高层次的粗粒度知识概念，但仅凭粗粒度知识概念无法满足教育场景中复杂的知识需求。因此，WisdomBot采用了一种创新的“自指令学习方法”来收集细粒度知识概念。该方法利用ChatGPT模拟AI学习者的角色，针对每个粗粒度概念和每个知识类别，ChatGPT会生成一系列学习过程中可能遇到的问题，并总结相关的细粒度知识概念。通过这种方法，WisdomBot最终收集到了981个细粒度概念和1,196个问题，涵盖了各个学科领域的知识。
收集到的知识概念需要进行组织和结构化，以便LLMs能够有效地进行查询和学习。因此，WisdomBot将知识概念按照学科领域、概念层次和关系进行分类和关联，构建了一个结构化的知识系统。
为了使LLMs能够更好地理解和执行教育场景中的指令，WisdomBot采用了基于知识的指令微调方法。WisdomBot设计了39个不同的指令模板，每个模板都包含一个或多个占位符。将收集到的知识概念或问题填充到指令模板中，生成一系列原始指令。由于LLMs生成的指令可能存在质量参差不齐、缺乏多样性等问题，WisdomBot采用ChatGPT对生成的指令进行评估，并人工筛选和修订。
图 1 数据集演示
图 2 测试数据的分布
接着，本文通过在自构建数据集和C-Eval数据集上进行实验，评估了WisdomBot模型在教育领域的应用效果。在自构建数据集上，实验涵盖了专业问答、测试题目生成和智能辅导三个方面的教育功能，并针对Bloom's Taxonomy中描述的6个认知过程进行了评估。通过人工评估和GPT-4评估，结果显示WisdomBot在各个方面的表现均优于基线模型，证明了其在理解和应用专业知识方面的优势。在C-Eval数据集上，WisdomBot在各个学科领域均取得了显著的性能提升，尤其在STEM相关学科领域表现尤为出色。在C-Eval Hard子集中，WisdomBot也取得了可观的性能提升，进一步验证了其强大的知识推理能力。
综上所述，本文提出了一个基于知识系统的AI教育模型WisdomBot，并通过实验验证了其有效性。WisdomBot能够有效提升LLMs在教育领域的应用能力，为教育领域带来新的机遇。未来，可进一步扩展WisdomBot的知识系统，并探索其在更多教育场景中的应用。
点击清言智能体，探索数字教育前沿
Jingyuan Chen, Tao Wu, Wei Ji, Fei Wu. WisdomBot: Tuning Large Language Models with Artificial Intelligence Knowledge. Frontiers of Digital Education, 2024, 1(2): 159‒170
https://doi.org/10.1007/s44366-024-0005-z
识别二维码，免费获取原文
陈静远，博士生导师，浙江大学教育学院百人计划研究员。主要从事人工智能教育、数字化学习、教育数据分析与挖掘等方向的研究工作。发表国际高水平会议与期刊论文20余篇，谷歌引用1800余次，申请发明专利11件，在智能教育科研项目方面，主持国家自然科学基金青年项目和上海市科技计划项目等；担任国家自然科学基金首个教育信息科学与技术类重大项目、科技部科技创新2030-新一代人工智能重大项目及青年科学家（浦江实验室）项目子课题负责人。参与教育部计算机领域本科教育教学改革试点工作计划（简称“101” 计划）核心课程《人工智能引论》和教育部关键领域工程硕博士核心课程《人工智能：算法与系统》的建设。研制人工智能专业领域教育垂直大模型 “智海-三乐”，并在教学过程中进行推广和验证。
期刊特点
1. 国际化投审稿平台Editorial Manager方便快捷。
2. 严格的同行评议（Peer Review）。
3. 免费语言润色，有力保障出版质量。
4. 不收取作者任何费用。
5. 不限文章长度。
6. 审稿周期：第一轮平均30天，投稿到录用平均60天。
7. 在线优先出版（Online First）。
8. 通过Springer Link平台面向全球推广。
在线浏览
https://journal.hep.com.cn/fde
（中国大陆免费下载）
https://link.springer.com/journal/44366
在线投稿
https://www.editorialmanager.com/fode/
联系我们
fde@hep.com.cn
10-58582344, 10-58581581
HEP
Springer
FDE
主管单位：中华人民共和国教育部
主办单位：高等教育出版社
主编：谭方正
联合主编：杨宗凯 李永智
CN 10-1952/G4
p-ISSN 2097-3918
e-ISSN 2097-3926
本刊地址：北京市朝阳区惠新东街4号
《数字教育前沿（英文）》编辑部
电子邮箱：fde@hep.com.cn
电话：010-58582344, 010-58581581
