近日,上海市“人工智能+”行动推进大会暨中国——金砖国家人工智能发展与合作中心基地启用仪式在西岸大剧院成功举行。中国电信CTO、首席科学家、中国电信人工智能研究院(TeleAI)院长李学龙教授受邀参会并发表主旨演讲,分享人工智能领域的一项落地关键技术——智传网(AI Flow)。
李学龙介绍,“连接”是人工智能发展的关键,落实“人工智能+”行动正是要将技术创新与产业需求紧密连接。通过布局智传网,让“智能”也可以连接起来,摆脱设备和平台的限制,在端、边、云之间自由流动,随需响应、随处而至。
智传网(AI Flow)
在研发布局上,中国电信拥有网络、云及云网融合、人工智能、量子/安全等技术优势;在算力、数据方面,中国电信构建“息壤”一体化智算平台、“星海”数据智能中台。基于此,TeleAI对智能光电、智能体、智传网、人工智能治理进行重点研究,形成“三智”+“一治”的战略布局。
智传网是通过网络分层架构,基于智能体间的连接,以及智能体和人的交互,实现智能传递和涌现。它可以打通由人工智能驱动的“三大空间”,即赛博、临地与广域空间,是下一代人工智能发展的必经之路。
智传网架构组成
智传网发挥中国电信网络优势,提供了一种新的服务模式,有效解决数据传输延迟高、网络带宽占用大等问题。未来,人们的生活将更加高效、有序、便捷,所有指令都通过可穿戴设备交互完成。
然而,智传网在不同的应用场景中,所需要的“智能”各不相同;在不同的计算平台中,能提供的“智能”上限亦不同。如何量化“智能”并按需所取成为人工智能领域重要的科学问题之一。
信容定律
TeleAI在智传网的研究中,引入了一系列基础理论,包括信容定律。信容是信息量与数据量的比值,即单位数据的信息表示能力。在信容定律中,信息量是数据集的平均熵与模型训练损失交叉熵的差,再乘以数据集Token的数量。如果以模型的参数量作为数据量,那么两者之比,就是模型的信容。
信容定律为人工智能的发展指明方向,代表智能是可以被度量、连接、传递的。当拿到一个数据集时,并不是只看大小,而是根据目标训练的模型规模,为它匹配相应大小的数据集,并评估数据质量,从而度量模型的智能水平,进而根据不同任务、计算资源,定制一系列大小不等且同源的家族模型,进一步提升模型的效率。这正是智传网的第一个关键点,即通过家族模型协同,实现向上或向下兼容,以多种方式进行切换。
与普通的大小模型协同不同,在智传网中,家族模型的特征是对齐的,不需要额外的中间件(Middleware)即可共享信息。当把多个家族模型部署在网络的不同层上,可实现分布式计算,提升模型的推理效率。
智传网的第二个关键点是基于连接和交互的智能涌现。大模型的发展依赖于数据驱动下的智能涌现,根据行业预测,高质量数据资源正在枯竭。未来,新数据生成的速度将远远落后数据的消耗速度,这将限制人工智能的提升。为突破瓶颈,智传网实现了基于数据的智能涌现迈向基于连接和交互的智能涌现,通过模型间的连接协作、知识共享及与外部环境的交互,表现出超越单个模型能力上限的智能涌现能力。
智传网的第三个关键点是模型复刻和智能萃取,不是简单的知识蒸馏或遗忘学习(Unlearning),而是剔除老模型中的无效信息,萃取最精华的智能,得到更精炼、与之同源且能不断成长的模型,以适应变化的环境、场景和需求。
2024年5月,TeleAI于上海市落成,专注于人工智能创新与应用,以发展有场景、能落地、规模化的人工智能技术为目标,打造可信任的国家人工智能基座,让人工智能既能创造科学价值,又能创造经济价值。
编辑 | 黄亚洁
审核 | 中国电信集团科协运营团队
来源 | 中国电信今日头条号