中国电工技术学会团体标准T/CES 289-2024《电力人工智能模型场景化评价指南》于2024年9月4日起实施。该标准规定了电力人工智能虚拟仿真平台场景化评价体系构建、业务评价指标评分、技术评价指标计算及及时评价指标评分等方面技术要求。
1. 标准起草单位及主要起草人
（1）起草单位
国网信息通信产业集团有限公司、北京国网信通埃森哲信息技术有限公司、福建亿榕信息技术有限公司、国网思极位置服务有限公司、国网湖北省电力有限公司信息通信公司、国网四川省电力公司信息通信公司、国网河南省电力公司驻马店供电公司、国网温州供电公司、湖北华中电力科技开发有限责任公司。
（2）主要起草人
李强、赵峰、赵林林、刘茂凯、魏永、谢可、吕君玉、罗弦、黄俊东、母继元、赵智勇、李卫军、李冠霖、王誉博、张朔、安丽丽、吴晓峰、邱镇、黄晓光、王兴涛、白景坡、庞辉、李炳森、占娜。
2. 标准制定背景
在实际应用场景中，我们经常需要进行多因素决策，例如在电力模型算法评估、电力检测分析、各种投资决策等方面，需要考虑多个因素之间的关系，从而做出准确且有针对性的决策。然而，对于这样的多因素问题，单纯地依赖个人或团体的经验和认识，很难保证决策的准确性和科学性。因此，需要一种科学的方法来对多因素决策问题进行评价和排序，提供有力的决策支持。
由于不同场景下因素的数量和重要性可能会有所不同，因此需要针对不同的场景进行评价体系的构建。因此，基于 AHP的场景化模型验证及评价体系构建方法应运而生，以满足不同场景下的决策需求。此外，评价体系的建立也需要考虑到因素之间的相互关系和相互作用。如果缺乏科学的方法来评估因素之间的权重和优先级关系，将会导致决策结果的不准确和低效。因此，电力人工智能模型场景化验证及评价体系构建标准可以提供一种科学的方法来解决这个问题，从而提高决策的科学性和质量。
3. 标准主要内容
（1）范围
本标准规定了在构建电力人工智能模型场景化评估体系过程中涉及的指标定义以及相关的通用评估框架和策略，包括场景化评价体系构建、业务评价指标评分、技术评价指标计算及及时评价指标评分等方面技术要求。
本标准适用于电力监测与分析类场景的模型应用评估过程，可作为模型开发初期的概念验证阶段到实际部署后的持续优化阶段模型的性能和应用效果评估工具。
（2）规范性引用文件
本标准主要引用的文件主要包括：
GB/T 22239-2019 《信息安全技术 网络安全等级保护基本要求》
GB/T 29246-2012 《智能电网信息交换 通用信息模型(CIM)》
GB/T 31167-2014 《智能电网用户接口,涉及智能电网用户接口的标准》
GB/T 34010-2017 《电力系统信息物理系统安全防护通用技术要求》
ISO/IEC 25010:2011 《系统与软件工程系统与软件质量要求与评价（SQuaRE）系统与软件质量模型》
ISO/IEC 27001:2013 《信息安全管理体系要求》
IEEE 1547-2018 《分布式能源资源与电力系统接口的互联和互操作性标准》
IEEE 2801-2021《Standard for the Performance and Safety Evaluation of Artificial Intelligence (AI) Based Medical Device Systems》
IEEE 7000 Series 《Standards for Ethical Considerations in AI and Autonomous Systems》
（3）术语及定义
主要包括层次分析法、评价体系、一致性比率、一致性指标、一致性指标比率、BLEU的定义。
4. 标准制定效益
电力人工智能模型场景化验证及评价体系构建标准的成果形式为通过建立场景化模型、结合AHP 层次分析法，实现了对评价体系一致性和可靠性的验证，同时在此基础上构建了应用评价体系，进一步提高了该领域的实用性和可操作性。该成果的贡献在于提供了一种科学、系统的方法，为相关领域的问题解决提供了参照，具有一定的理论和实际应用价值。
（供稿：标准化工作办公室）
