李焕宏，薛澜—加强生成式人工智能在高等教育领域中的风险管理：基本框架与关键举措

　　生成式人工智能为教学科研活动带来了明显助力。^［7］国产大模型日趋成熟，截至2023年底，我国已备案两批次共151个深度合成服务算法，这些算法大多具有教育场景应用潜力，如用于语音语言学习、智能教学助理、PPT制作等。^①同时，部分海外产品如Paperpal、Grammarly已进入国内市场。生成式人工智能凭借其强大的信息处理能力，重塑了信息检索、内容创作和知识传播的范式，其对高等教育领域的影响远超过传统人工智能技术。因生成式人工智能技术应用在管理支持、劳动替代和能力增强方面的强大功能（见表1），其已在我国高校师生中被广泛使用。据中国青年网2023年11月的报道，一项覆盖全国高校超过7000名学生参与的调查显示，超八成的受访大学生使用过人工智能辅助学习，超四成受访大学使用过语言模型工具。^［8］在组织层面，国内高校开始探索人工智能赋能教学，如清华大学开启了人工智能赋能教学试点，北京大学探索使用人工智能助教。生成式人工智能技术在我国高等教育领域的渗透与影响快速加深。

生成式人工智能是一把双刃剑，其应用于高等教育场景可能引发各类风险。一是信息安全和法律问题。在缺乏规范意识和风险感知的情况下，很多被高校师生上传至大语言模型的信息可能涉及隐私、知识产权和信息安全风险。^［9］特别是在我国，许多人工智能软件在未经用户知晓的情况下，调用了如ChatGPT等海外生成式人工智能技术，这加剧了信息安全问题。海外部分大语言模型在反映西方主流价值观、台湾主权归属等重大事实性问题上可能出现误导信息。二是伦理道德问题，包括学术诚信受损和加剧教育不公平。^［10］三是教育质量问题，包括误导性信息损害知识体系的构建，过度依赖生成式人工智能可能导致教育质量下降。^［11］四是职业转型问题，即生成式人工智能替代教师角色可能导致教师失业以及教师在适应新技术的过程中面临转型风险。^［12］

生成式人工智能技术的迭代速度和普及程度前所未有，远超其他新兴技术，而目前各界对其能力范围和潜在缺陷的讨论却滞后于技术发展，亟须各方共同努力，建立相应的风险管理体系，保障新一代人工智能在高等教育领域规范应用。

从全球范围来看，教育领域对生成式人工智能的态度经历了从禁止到接纳的转变。目前，联合国教科文组织、欧盟等国际机构，美国、英国、澳大利亚等国的教育部门，各校际联盟、全球绝大部分知名高校，都已发布生成式人工智能使用指南，并取得以下共识：一是生成式人工智能将推动未来社会的全方位变革，因而将生成式人工智能积极整合进教学过程是一种前瞻性的举措。二是人工智能在教育领域的巨大潜力未被完全发掘，学校应与科技企业共同探索技术应用的多种可能性。三是明确有效防范生成式人工智能可能带来的风险是确保技术高效利用的关键，学校必须承担主体责任，通过制定管理措施和安全准则，确保生成式人工智能的安全使用。^［13］

　　部分国家在已有部门法规的基础上，开始制定应用生成式人工智能的规制和指南。现有法规制度能部分应对生成式人工智能带来的挑战：一类规范教学活动，包含师德师风、专业评估、学位认证、教育公平等方面的相关规定；另一类聚焦技术发展规范，包含算法规制、信息保护、防止市场垄断、人权保障和知识产权保护等方面的相关规定。但考虑诸多法规存在分散、模糊甚至冲突的情况，部分国家已开始针对高校使用生成式人工智能推出指南或更为强制性的法规政策。根据经济合作与发展组织（OECD）对18个国家和地区的调查，超过半数的国家和地区已发布教育领域生成式人工智能的应用指南，法国和韩国正在制定更具约束力的监管政策。^［14］

　　全球多数知名高校已针对教学科研纳入生成式人工智能作出一系列调整。^［15］一是明确在责任和伦理框架下进行实验性治理，贯彻使用透明、学术诚信、隐私保护、信息安全、公平正义等原则。二是建立多层级管理框架，即在高校统一规定的基础上，发挥教师的自主性，教师有权决定学生在课堂上使用生成式人工智能的策略。三是建立分类分级管理框架，根据不同教学科研环节划分不同的应用规则，如为防止项目保密信息遭到泄漏，严格规定信息分级等。四是发布辅导材料、建立培训课程。尽管如此，很多学校都承认生成式AI应用于高等教育场景的伦理风险仍需进一步探索，其制定的规则也是不完善和暂时性的。

　　我国强调人工智能技术在新一轮科技革命和产业变革的重要战略地位，主动在学校推进其应用并制定了相应的技术规范。2018年，中共中央、国务院印发了《关于全面深化新时代教师队伍建设改革的意见》，明确要求“教师主动适应信息化、人工智能等新技术变革，积极有效开展教育教学”。同年，教育部印发了《高等学校人工智能创新行动计划》，以及通过人工智能助力教师队伍建设的试点项目。在人工智能技术规范方面，习近平总书记强调“建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德”的重要性。2022年，中共中央办公厅和国务院办公厅印发《关于加强科技伦理治理的意见》，推动科技向善、造福人类。针对生成式人工智能技术服务供给侧。2022和2023年国家互联网信息办公室等多部门分别发布了《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》，逐步完善规定，落实算法备案等要求；针对生成式人工智能技术使用侧，2023年科技部监督司组织编写了《负责任研究行为规范指引》，规范了科研环节使用生成式人工智能的基本要求。

　　但我国高校有效应用生成式人工智能仍面临挑战。针对生成式人工智能引发的高等教育数字化转型，高校师生因伦理意识不强和数字素养不足易引发技术滥用、学术不端等后果。^［16］我国高校不仅尚未建立应对生成式人工智能的风险防御体系，也没有积极开展针对生成式人工智能应用风险的大讨论。虽然我国已建立学术规范体系，教育部在2016年发布了《高等学校预防与处理学术不端行为办法》、《关于强化学风建设责任实行通报问责机制的通知》等规范性文件，各高校也纷纷制定了师生遵守学术道德、科技伦理、知识产权等方面的规章制度，但这些制度能否适用于生成式人工智能带来的挑战，还需要通过实践检验。

与国际趋势一样，我国对生成式人工智能治理的监管步调仍在动态适应。面对高等教育领域应用生成式人工智能面临的诸多风险，我国高等教育界至少需要解决以下三类问题：

一是风险的识别和认知问题。教育管理者对这一新技术的认知还不够全面，难以有效预判和应对包括制度规则、学术生态、技术缺陷、功利观念在内的复杂社会技术因素引发的风险隐患。例如，生成式人工智能并不擅长处理计算任务，其生成的数据分析结果时而正确时而错误，如果不加检验地直接使用这些结果，可能会损害学术研究的准确性及诚信规范。

二是规则解释和扩展问题。虽然我国已建立了规范教师学术道德、科技伦理、保护知识产权、信息安全的相关制度，但高校要及时明确现有制度适用于人工智能的应用范围，即一一指明哪些生成式人工智能使用行为违反了哪项规定，并说明管理者、高校师生应对人工智能风险的责任。例如，明确教师未经同意将学生课程论文上传生成式人工智能进行评分会涉嫌侵犯知识产权。

三是风险评估与标准设定问题。对于模棱两可的行为，需要明确是违规还是可接受。例如，生成式人工智能是否可用于论文的大篇幅改动，是否属于类似“由他人代写”的学术不端？高校应评估不同应用生成式人工智能行为后果，确定风险管理的边界，明确分类处置的标准。

解决上述问题并非易事。鉴于技术创新及其应用业态的持续演变，加之高等教育应用场景的复杂性，需要开发和制定针对性的风险管理框架。

　　1.高校应用生成式人工智能的风险特征

规制生成式人工智能应用阶段各类风险的挑战在于人工智能应用工具和教学科研活动的多样性，以及高等教育应用场景中风险演变的复杂性。高等教育场景应用人工智能技术覆盖诸多环节，单是科研就包括研究、投稿、发表三个环节共计13项活动，每一项活动都可能用到特定的人工智能工具，也就可能带来因疏忽或滥用导致的风险隐患。^［17］生成式人工智能具备类人的认知和推理能力，拥有全面渗透到教学科研活动的潜力，目前其在高等教育领域的应用范围仍在进一步拓展。生成式人工智能全面嵌入教学科研活动有两方面的深刻影响，一是新技术影响人的思维和认知的长期效应，二是新技术与我国特有的学术生态叠加作用的风险放大效应。

具体而言，一方面，人工智能技术正逐步而系统地重塑人类的行动模式和思维习惯，这一长期影响并没有被充分理解。变化不仅发生在对学习目标和工作职责的认识上，也体现在批判思维和决策能力的削弱。自主性的减弱反过来又可能加剧人工智能技术的滥用现象，形成一种负面循环。^［18］然而，关于技术如何影响人类行为的深层机制，目前尚未得到充分的探讨，现有认识制定的应对策略可能缺乏系统性。例如，很多人认为应对生成式人工智能给高等教育带来的冲击是探索新的教学方式，传授那些人工智能难以取代的深层次知识和技能。这里存在一个悖论：如果不对那些易被人工智能取代的基础能力进行培养，那么创造性思维和创新能力的发展将变得困难重重。因为正是这些基础能力构成了激发创新思维的坚实基石。因此，有必要讨论并设计出一套系统性方案，将生成式人工智能与高等教育有效融合，以避免高等教育质量下降。

另一方面，我国高校面临复杂挑战，以追求效率为主导的制度环境，可能会加剧技术依赖和滥用的风险，并进一步导致学术伦理价值的弱化。例如，高校的内卷化趋势和基于指标管理的科研激励机制会造成重视论文数量忽视研究质量的短期行为^［19］，特别是在“唯论文、唯帽子、唯职称、唯学历、唯奖项”的人才评价标准下，教师降低教学投入、研究者出现学术不端行为的风险不容忽视^［20］。有实证研究揭示我国部分高校教师的学术价值观处于模糊或错位的状态^［21］，这些问题在生成式人工智能日益普及的背景下可能导致学术伦理进一步失范。全面理解生成式人工智能在高等教育领域应用风险的复杂性至关重要。为了避免出现对人工智能技术过度乐观的认知偏误，必须深入探究技术、文化、组织、认知以及多系统耦合结构等方面是如何共同作用导致风险的产生、传播和放大的。^［22］

综合来看，人工智能技术使用的风险弥漫在教学科研的各项活动中，尚处于扩散和演化的阶段，严重后果尚未出现，但不可掉以轻心。如果听之任之，相关风险的累积最终会形成蠕变危机（creeping crisis），造成难以挽回的影响。^［23］例如，论文内容生成工具的出现可能导致学术界出现“劣币驱逐良币”的现象，如果不加以规范，或引发类似翟天临事件般损害教育界声誉的后果。只具有“潜在”的后果这一特性使这些问题的应对变得棘手，因为直观的问题如信息安全可以通过传统规制手段得到有效管理，但学术伦理和教育质量受到侵蚀的潜在风险则很难控制，管理者会优先考虑其他更为紧迫或直接的问题。^［24］面对这类潜在而非产生直接危害的问题，深入挖掘其未知领域并在多方协商的基础上采取临时性应对措施，是重要的实验性探索，有助于更深刻地理解教育质量被侵蚀的本质，揭示蠕变危机的严重性。当然，必要的干预也会有助于制定长期解决方案。^［25］

2.规范高校应用生成式人工智能的风险管理框架

基于上述风险特征的分析，本研究认为构建高校应用生成式人工智能的风险管理框架应重点考虑以下四个方面：

　　在管理方向上，确定生成式人工智能风险管理的核心理念是推动技术的高水平安全应用。禁用技术将是一种巨大的资源浪费，而滥用技术可能导致学术不端等危害，唯有妥善应用技术，才有望开辟新的机遇，并推动人工智能教育的持续发展。推进生成式人工智能的高水平安全应用，首先要创新教学机制，将新技术融入教学过程，提升学生的学习和批判能力。其次，要提高高校师生适应技术的能力，通过采取增强风险意识、制定使用指南和发布辅导材料等措施全面发力。最后，加强转型管理^［26］，通过描绘技术发展蓝图，制定教育数字化转型规划，建立人工智能教务与安全管理团队，引导技术在高等教育环境中朝着积极方向发展。

　　在管理结构上，制定生成式人工智能应用风险管理框架规则与分类分级管理细则。在宏观层面，应建立规范性指导方针和框架，明确在遵循责任伦理规则的基础上推行相关治理，强调透明、学术诚信、隐私保护等原则，确保探索新技术时遵循伦理规范。同时，为了将人工智能治理的复杂体系具体化、模块化，针对引入教学科研活动的各类生成式人工智能可能引发的不同风险，实施分类分级管理，依风险性质制定具体的规制措施。

　　在管理方式上，实施敏捷治理。敏捷治理是新兴技术风险治理的重要理念，面对纷繁复杂的人工智能应用风险，敏捷治理倡导治理规则的快速制定和实时调整，在快速变化的环境中保持治理的前瞻性和针对性。^［27］在高等教育应用人工智能的场景中，面对不知道风险点为何、难以预判影响程度、缺乏循证决策所需数据等困境，要推动分布式探索和多方广泛参与，并使用多元的政策工具解决新问题。要发挥高校在科学哲学、法律伦理、技术原理、风险评估、政策分析等方面具有的多学科智力资源优势，开展生成式人工智能技术研究和治理的双向探索，并积极转化研究成果（包括发布白皮书、技术报告和案例报告），制定伦理规制、透明度标准等制度规范，真正形成从技术开发到规则调整的治理闭环。

　　在管理力度上，基于高校应用场景的三个特殊性实施刚柔并济的管理。一是高社会价值。高校不仅是培育高素质人才的摇篮，也参与政府的重大决策过程，这在一定程度上推动了企业的技术创新和社会观念的转型。鉴于高校在国家发展和国家安全各项事务中的广泛影响，必须对生成式人工智能在高校使用的安全和法律风险进行严格管理。二是高道德标准。大学追求真理、传播知识、培养人才的使命决定了公众对其学术质量和伦理道德标准持有较高期待。三是高信任环境。大学的根本是立德树人，它需要高信任环境来帮助大学生成长，因而当学生在使用生成式人工智能过程中触犯伦理要求时，应谨慎使用训斥、处罚的传统做法，更多引入伦理规制、信息规制、教育培训等柔性治理方式。

　　1.将高等教育的诸多应用场景统合在一个整体框架中

　　结合生成式人工智能技术的教育数字化转型，应构建统一的治理框架以协调诸多教育应用场景的规章制度。推动教育部联合工业和信息化部等多个部门共同制定基于生成式人工智能的数字化转型的总体规划。在战略定位上，高校应成为新技术的积极探索者和风险治理的试验田。在建设目标方面，加强生成式人工智能数字素养的培训，帮助高校师生掌握数字安全、数字信息管理等多项数字能力，推动高校教育质量的进一步提升。在规范目标方面，重点修补高校端口的信息安全漏洞，发挥高校科研优势，制定安全和伦理标准的操作规程。在项目投入方面，既要注重学校人工智能相关基础设施建设，又要注重决策智能系统和创新生态模型的搭建。

2.建立分类管理和灵活调整的风险规制体系

针对生成式人工智能技术仍不成熟及其对高等教育的影响存在的诸多不确定性，围绕生成式人工智能的风险规制需要分类分级并动态调整。一是落实风险防范原则，这不仅需要持续的技术创新和管理策略改进，在事前识别并降低生成式人工智能对高等教育带来的负面影响，还需要建立激励机制，对规则完善、管理能力强的学校，授予更多先行探索和示范的自主决策权。二是做好分类分级管理，应根据教学科研各环节的需求、不同技术应用的具体特点和各自的潜在风险，设计和实施差异化的风险管控策略，即涉及法律和安全问题的风险要严格管控，涉及伦理道德问题的风险要明确责任，涉及教育质量问题的风险要推动使用者积极适应新技术，对新出现的社会问题应进行风险评估并做好转型管理。国外高校已针对上述方面提出了具体的规制措施，这些实践探索值得我国高校吸收借鉴，将之与规制对象、主体和重点相结合，有助于构建一个条理清晰的分类管理体系（见表2）。

在诸多风险中，信息安全与法律风险的后果较为严重，应强调并优先在重点大学建立信息分级和应用分级制度。一是确定不同信息的保护级别，评估不同类型的信息泄漏可能对数据所有者、学校和社会造成的潜在伤害，将数据划分成三类，即低风险的公开数据、中风险的限定共享数据和高风险的私密数据。二是提供受保护信息的示例，并确定不同类型信息上传到生成式人工智能的规定，即允许自由上传低风险公开数据，严禁上传高风险私密数据；对中风险数据，要求事前批准和事后备案，或对某些较为安全的生成式人工智能工具授予特别使用许可。三是划分不同技术应用的安全等级，明确界定调用海外生成式人工智能技术的使用范围。四是加强培训，使师生充分了解应用生成式人工智能时信息被收集与利用的情况及信息泄漏造成的影响。

　　引入敏捷治理理念，建立基于风险的动态调整机制。首先，设立风险感知制度，如设立人工智能安全研究机构，跟踪技术变化和调整行业自身风险管控体系，调查生成式人工智能在产生偏见信息、做出不道德选择以及隐瞒行为等方面的潜在问题，评估技术滥用及其社会影响，并分析技术安全措施的有效性。其次，在情况转变时及时调整方针，采取风险减量、暴露干预、脆弱性管理等方面的措施，有效控制剩余风险。

3.明确高校作为风险规制主体的责任

　　高校对生成式人工智能风险管理不应通过禁用等简单粗暴方式，而应在实践中探索合理的治理模式，这对高校管理者提出了更高的要求。在国家监管政策尚未明确的情况下，各高校应承担主体责任，从三个方面推动生成式人工智能的高水平安全应用。

　　第一，高校组织开展生成式人工智能大讨论，探讨生成式人工智能对高校现有规章制度带来的冲击，并积极更新相关规则。一方面，高校通过组织师生开展针对生成式人工智能的讨论，审查高校在科研诚信、信息安全、教育数字化应用等方面的规定，检查现有规则能否适应新的管理需求，强化高校师生在学术伦理方面的个体责任；另一方面，设立人工智能安全调查员或专门的科研诚信专员，负责生成式人工智能引发的学术不端等问题的咨询、教育和决策支持工作，包括监督高校师生使用生成式人工智能的不当行为、识别并分析风险点、开展持续的风险沟通，制定（更新）学校层面的生成式人工智能伦理规则，包括出台滥用人工智能行为清单、教学科研使用提示词标准规范等。

　　第二，提高高校师生的人工智能素养，实现生成式人工智能的高水平利用。一是加强学校的人才队伍、资源库及课程体系建设。创建专门教务团队探索生成式人工智能在教学中的应用，帮助教师提升利用新技术的学习和沟通能力，设立提示工程（Prompt Engineering）、人工智能使用伦理等课程。二是反思传统教学弊端，推动教学模式转型。利用人工智能辅助教学突破传统课堂互动不足的问题，提升教学质量。在课后，推动“以学生为中心”的个性化学习，鼓励学生利用人工智能自我学习和解决问题。

　　在人工智能技术迅速发展的大背景下，高校在全面采用生成式人工智能技术的同时，正面临技术滥用、学术环境退化以及安全管理不足的挑战。这些风险因素不仅源自人工智能技术本身，也与社会文化和监管缺失等因素相互交织，形成了一个错综复杂的风险网络。面对这些挑战，高校迫切需要制定一个针对生成式人工智能的教育数字化转型规划，并建立一套全面的风险管理与规制体系。