首批首家通过!中国电信集团有限公司通过中国信通院通信大模型专项评估

文摘   2024-11-18 16:19   北京  




自去年来,通信行业在大模型领域持续发力,三大运营商先后发布通用大模型,逐步构建行业特色的电信大模型生态圈,加快推动电信业数智化转型。此外,华为、中兴、亚信科技等相关企业纷纷发力,专注电信领域大模型全流程能力建设,为传统电信业务注入新的活力,提升服务质效。


中国信息通信研究院(以下简称“中国信通院”)人工智能研究所高度关注通信大模型技术及产业发展态势,依托中国人工智能产业发展联盟和人工智能关键技术和应用评测工业和信息化部重点实验室,联合业内专家共同研制了《面向行业的大规模预训练模型技术和应用评估方法 第2部分:通信大模型》标准,并且依据该标准开展了通信大模型专项评估工作,旨在综合评估通信大模型的技术及应用效能。标准自2023年7月启动编制,在标准框架设计、标准内容编写、标准文稿研讨及多轮修订工作中,得到了业界专家的广泛关注和积极参与。


2024年8月中国电信集团有限公司(以下简称“中国电信”)参与中国信通院组织的通信大模型标准首批评估,其产品星辰·网络大模型顺利通过评估,并最终获得4+级评级,成为国内首家通过该项评估并获得当前最高评级的企业。此次评估,依据标准《面向行业的大规模预训练模型技术和应用评估方法 第2部分:通信大模型》开展,标准围绕场景丰富度、能力支持度、应用成熟度展开评估。其中场景丰富度关注通用场景和专业场景,包括客服场景、知识管理场景、数据分析场景、通信开发场景、通信网络规划、通信网络建设、通信网络维护、通信网络优化、通信网络运营。能力支持度关注任务覆盖度和任务完成度,包括文本类任务、时间序列类任务、通信通用能力、通信业务能力、通信知识能力、安全可信能力。应用成熟度关注服务可靠性、服务安全性、服务灵活性,包括服务可用性、模型保障度、内容真实度、模型可控、攻击防范、可扩展度、易兼容度、服务模式。


电信通信大模型介绍

(以下介绍信息由中国电信集团有限公司提供)


图1 星辰·网络大模型产品展示界面

(原启明网络大模型)


中国电信星辰·网络大模型聚焦信息通信领域,覆盖网络规划、建设、维护、优化及运营全生命周期五大类场景,通过构建算法、知识/数据、算力、服务四类特征,实现了从语料准备到推理部署的全流程贯通。该模型依托于中国电信丰富的业务场景需求和海量网络数据/知识优势,旨在提升云网运营效率、推动云网能力开放,并为千行百业提供智能化赋能。星辰·网络大模型在应用过程中通过数据分类分级、数据加密、重要数据保护等保障应用过程合规、通过可追溯性、攻击防范性、输出准确性等保障应用过程可控、通过私有部署、风险控制、可扩展性、可维护性、兼容性等保障应用过程可靠。目前,该模型已在中国电信企业内部成熟应用,并展现出显著成效。星辰·网络大模型已获得国内外广泛关注,入选ITU-T AI4GOOD优秀案例集,并荣获最佳行业影响力奖。


评估介绍


为进一步促进通信大模型发展,中国信通院将持续开展通信大模型技术评估工作,依据标准《面向行业的大规模预训练模型技术和应用评估方法 第2部分:通信大模型》开展,围绕场景丰富度、能力支持度、应用成熟度展开评估,共计3个能力域,29个能力项,具体如下:


1.场景丰富度:关注通用场景和专业场景,包括客服场景、知识管理场景、数据分析场景、通信开发场景、通信网络规划、通信网络建设、通信网络维护、通信网络优化、通信网络运营。

2.能力支持度:关注任务覆盖度和任务完成度,包括文本类任务、时间序列类任务、通信通用能力、通信业务能力、通信知识能力、安全可信能力。

3.应用成熟度:关注服务可靠性、服务安全性、服务灵活性,包括服务可用性、模型保障度、内容真实度、模型可控、攻击防范、可扩展度、易兼容度、服务模式。


图2 通信行业大模型评估范围


联系人

赵老师,15726686995

zhaodanping@caict.ac.cn



END -


AI工程化推进委员会

2017年10月初,工业和信息化部正式批复中国信息通信研究院承建人工智能关键技术和评测工业和信息化部重点实验室(以下简称“部重点实验室”)。
中国信通院为进一步推动我国人工智能的工程化进程,依托部重点实验室成立了AI工程化推进委员会。委员会聚焦人工智能开发工具和平台,AI研发运营和管理,大模型应用,知识计算应用和AI数据集治理等技术方向,以产业活动、研究报告、标准和评估、最佳实践等手段,推动人工智能工程化相关的工具、系统、流程和治理体系的完善。
企业单位申请链接:

https://mp.weixin.qq.com/s/nZ_ZkBtk18lRyHuCkGEqCg



可信AI评测
“可信AI评测”是依托于中国信息通信研究院开展的第三方评估测试工作,涵盖人工智能产品服务评测、应用成熟度评测和可信风险评估三大模块,目前已完成人工智能评测标准体系,拥有权威的测试数据集和软硬件环境,可为企业单位出具技术产品测试报告和证书。
 最新文章