为教育设计人工智能
文摘
2024-08-22 07:39
广东
《为教育设计人工智能：开发者必备指南》（Designing for Education with Artificial Intelligence: An Essential Guide for Developers）是由美国教育部（U.S. Department of Education）发布的一份文件，旨在指导开发者在教育环境中设计和使用人工智能（AI）技术。这份指南构建于教育部之前发布的《人工智能与未来的教学与学习：见解与建议》(Artificial Intelligence and the Future of Teaching and Learning: Insights and Recommendations，2023 AI Report）基础上，旨在支持产品负责人及其团队（包括创新者、设计师、开发人员、面向客户的员工和法律团队），在创建用于教育的AI产品和服务时，确保其安全性、安全性和可信任性。 这份指南不仅关注于构建大型语言模型（LLMs）或部署聊天机器人，还涵盖了所有现有和新兴的AI能力，这些能力可以进一步推动共同的教育目标。指南中的见解旨在支持管理团队的人，帮助他们设计和开发利用AI改进教学和学习的产品。这份指南是为了确保在教育环境中使用AI技术的安全、可靠和可信赖。通过提供一系列的建议和讨论问题，这份指南帮助开发者在设计和开发AI产品时考虑到多种因素，包括教学与学习的设计、证据的提供、公平和民权的推进、安全和保安的保证以及透明度和信任的推广。除了第一部分引言（Introduction）和最后一部分结论（Conclusion）两个部分之外，主题包括了五个建议。报告中每个建议都包含了四个部分。这四个部分分别是：“What to Know”（需要了解的内容）：这一部分介绍了每个建议的背景信息和核心要点，帮助开发者理解相关的基础知识和现有框架。这些内容为后续的探讨和行动提供了理论依据和指导。“Questions to Ask”（需要提出的问题）：这一部分列出了一系列引导性问题，旨在激发开发者在设计和开发过程中进行深入思考。这些问题帮助开发者反思和评估自己的产品是否符合建议的原则和目标。“Directions to Pursue”（需要追求的方向）：这一部分提供了具体的行动方向和策略，指导开发者如何在实践中落实建议的内容。这些方向通常包括具体的步骤和方法，帮助开发者将理论转化为实践。“Resources”（资源）：这一部分列出了相关的资源，包括文献、工具和组织，供开发者进一步学习和参考。这些资源可以帮助开发者获取更多的信息和支持，提升他们的产品设计和开发能力。指南强调将人工智能用于增强教学和学习体验，确保AI工具与教育目标紧密结合。开发者应考虑教师和学生的实际需求，通过AI提供个性化学习路径，增强互动性和参与感。立足教育价值观，开发者应理解教育领域特定的价值观和需求，如以学生为中心的教学法和对教育挑战的重视。 坚持人本设计原则，将人本设计原则纳入产品开发过程，确保技术解决方案符合教育者和学习者的实际需求。 加强教育政策和指导: 熟悉国家、州和地方各级关于教育技术的政策和指导，以及非营利组织和行业协会提供的资源。开发者应参考政府（联邦、州和地方）、非营利组织和行业协会提供的资源，这些资源可以帮助将工作锚定在教育价值和愿景上，避免负面结果。以人为中心和包含教育工作者的方式（humans-in-the-loop）被视为关键价值，应将教育工作者和学生的反馈融入开发和测试的整个过程中。开发者应关注关键的伦理概念，如透明性、公正与公平、非歧视、无伤/有益性、隐私、教育适宜性、学生和教师的权利以及福祉。开发者应提出的问题包括：我们的产品如何支持教育工作者和学生的实际需求？我们是否充分考虑了多样化的教育环境和受众？如何确保我们的设计尊重并保护用户的隐私和权利？产品的伦理影响是什么？我们如何衡量和评估这些影响？开发者应努力建立多学科团队，包括教育学、伦理学和技术专家，以确保产品在各个方面都得到全面考虑。开发过程应包括持续的用户反馈循环，确保产品始终符合教育工作者和学生的需求。需要开发透明的报告和沟通机制，使利益相关者能够了解和信任产品的运作和影响。在开发AI产品时，确保有充分的数据和证据支持其有效性和正面影响。指南建议开发人员要收集和分析使用数据，进行严格的教育研究，展示AI工具的教育价值和效果。指南要求开发人员要了解《每个学生都能成功法案》(ESEA) 规定的四层证据标准，这些标准定义了教育产品或服务是否已经显示出通过高质量的研究和评估来改善学生成果。 教育领导者在采购和采用决策时，越来越需要看到产品或服务改善学生成果的证据。 开发者应清晰地说明现有基于证据的实践如何指导产品设计，并且在缺乏特定证据的情况下，应基于更普遍的科学原理来证明产品特性的合理性。开发人员要不断地提出和思考四个问题：如何确保产品的设计和特性基于充分的证据基础？我们如何收集和分析数据来改进产品并解决风险问题？我们如何评估产品对学生、特别是历史上服务不足的学生群体的影响？我们如何确保教育决策者能够获得必要的证据，以便他们做出负责任的选择？指南建议开发者应从产品设计初期就考虑如何构建证据基础，包括考虑使用随机对照试验等方法。开发人员要与教育用户社区建立反馈循环，从产品定义到操作改进的整个生命周期中持续收集反馈。 与伦理专家合作，确保开发、部署和持续改进产品过程中的伦理问题得到妥善处理。 在产品开发过程中，包括设计和监测AI的使用，让教育者和用户参与进来。确保AI在教育中的应用不会加剧不平等，必须维护所有学生的民权。在设计和实施过程中，考虑不同学生群体的需求，避免偏见，确保资源的公平分配。指南指出，开发人员需要了解AI算法可能导致的不公平机会和资源分配，以及如何识别和管理这些偏见（算法歧视）； 熟悉适用于教育环境的现有民权法律，确保产品设计和使用符合这些法律要求（民权法律）；认识到训练数据集中可能存在的偏见，以及这些偏见如何影响AI系统的公正性（数据集偏见）；理解数字公平的概念，包括设计、使用和获取教育技术的公平性（数字公平）。开发人员需要思考和回应的问题包括：如何确保我们的产品不会加剧学习机会和资源的不公平分配？我们如何评估和减少产品中潜在的算法歧视？我们的产品如何支持所有用户，特别是残障学生和多语言学习者的可访问性？我们如何确保产品的设计和实施考虑到了数字公平？指南建议开发人员需要追求的方向。建议将公平作为产品设计和开发的核心，确保所有用户都能从中获益（公平中心设计）；对训练数据集进行审查，以减少偏见，并确保代表性（数据集审查）；遵守数字可访问性标准，如Web内容可访问性指南(WCAG)，确保产品对所有用户都是可访问的（可访问性标准）；以及持续监测产品在实际使用中的表现，并根据反馈进行改进，以提高公平性和可访问性（持续监测和改进）。开发者需采取措施保护用户数据安全，防止AI系统被滥用。制定安全策略，定期进行安全测试，确保AI系统的稳健性和可靠性。指南指出，开发人员要熟悉如FERPA、PPRA、COPPA和CIPA等联邦法律，这些法律对保护学生数据提出了要求（隐私和数据安全法律）；理解AI在教育环境中可能带来的风险，包括但不限于隐私和数据安全（风险管理）；了解并应用NIST提供的AI风险管理框架，以识别、优先排序和管理AI相关风险（NIST AI风险管理框架）。我们的产品和服务在隐私和数据安全方面存在哪些具体风险？ 我们如何确保符合所有适用的联邦、州和地方法律和指导？ 我们如何识别和缓解产品中可能存在的偏见和公平性风险？ 我们如何与教育者合作，确保AI产品在实际使用中的安全性？ 在组织内培养风险管理文化，确保产品开发每个阶段的人员都了解潜在风险（风险治理）；识别学校环境中特定的风险，并制定相应的缓解策略（风险映射）；在产品开发、测试和使用过程中，记录、分析和跟踪风险（风险度量）；以及优先处理风险，并采取行动保护学生、教师和教育社区（ 风险管理）。在使用AI工具时，开发者应保持透明，清晰解释AI的工作原理和决策过程。要提供详细的文档和用户指南，公开算法和数据来源，增强用户对AI系统的信任。指南建议开发人员需要了解透明度的重要性，在教育应用中实现AI的透明度对于建立和维护信任至关重要；了解"信任系统"作为技术研究和开发的重要领域，包括NIST AI风险管理框架；认识到在教育者、家长、学生和其他利益相关者中提升AI素养对于理解AI应用和建立信任的重要性。指南建议开发人员需要提出的问题包括：我们如何与客户沟通，平衡我们创新和责任的展示？ NIST AI风险管理框架如何帮助我们的团队开发可信赖的AI系统？ 我们可以采取哪些透明度措施，关于我们在产品和服务中使用AI的方式？ 我们的组织如何为更广泛的教育技术生态系统中的AI素养做出贡献？ 通过清晰的沟通和承诺，展示组织如何保护学生数据的安全性和隐私（透明度）； 强调与教育者在产品开发和改进过程中的双向沟通和合作（双向沟通）；支持生态系统中的AI素养建设工作，帮助教育者和学生理解AI的基本原理和应用（AI素养提升）；以及确保开发团队接受AI伦理、公平和相关问题的培训，并将这些原则应用于产品开发中（伦理培训）。报告的结论部分强调了在教育中应用人工智能（AI）的机遇与风险并存。教育决策者们对利用AI的新产品和服务持谨慎乐观态度，但他们必须清楚地认识到并解决这些风险。这份指南在结论中强调了当前AI产品在公平访问、数据隐私、模型偏见、安全性、以及缺乏明确的研究基础和有效性证据等问题上存在的不足。教育部希望建立一个健康的教育技术生态系统，强调提供者、评估者、建议者、采购者和使用者之间的相互信任。这份报告为从事教育AI开发的开发者提供了全面而详尽的指南。其对伦理考虑、透明性和与教育工作者合作的重视尤为值得注意。这些方面对于确保AI技术不仅有效且被教育界信任和接受至关重要。报告中强调的促进公平和保护公民权利的重点是解决AI算法中潜在偏见的必要步骤。通过优先考虑这些价值观，开发者可以为一个更具包容性和公平的教育系统做出贡献。研读美国教育部的这份指南，结合我们的实际，思考我们的人工智能教育应用开发，不仅非常重要，而且也非常紧迫。![]()
2021年7月14日，江门，圭峰山
