论文分享
GenAINet通信大模型
Large Language Models for Networking: Applications, Enabling Techniques, and Challenges
Yudong Huang1, Hongyang Du2, Xinyuan Zhang1, Dusit Niyato2, Jiawen Kang3,
Zehui Xiong4, Shuo Wang1,5, and Tao Huang1,5
1State Key Laboratory of Networkingand Switching Technology, BUPT, Beijing
2School of Computer Science and Engineering, Nanyang Technological University, Singapore
3School of Automation, Guangdong University of Technology, Guangzhou
4Information Systems Technology and Design Pillar, Singapore University of Technology and Design, Singapore
5Purple Mountain Laboratories, Nanjing
原文链接：
https://arxiv.org/abs/2311.17474
本文分享仅用于技术交流，未经许可禁止用于商业用途。
一、引言
生成式人工智能技术被视为智能时代最振奋人心的突破之一。凭借出色的推理、泛化和涌现能力，拥有数十亿模型参数的大型语言模型已展现出巨大的商业价值和技术潜力，例如文本转文本、文本转图像、和文本转代码。ChatGPT 在短短一周内就获得了100万用户，开源的LLM（例如 GPT-2、LLaMA 和 BLOOM）也层出不穷。
具体来说，领域适配的(domain-adapted)LLM已成功应用于机器人具身智能(比如Google PaLM-E)、芯片设计(比如NVIDIA ChipNeM)和蛋白质结构生成(比如AlphaFold)等领域。由于LLM最初是在大量互联网数据上进行训练的，因此领域适配是指使用领域特定数据集调整通用语言模型以增强模型在特定领域的性能的过程。生成式LLM可以压缩信息特征，将海量知识向量化为token，从而辅助甚至替代人类进行概念理解、逻辑推理和决策，这使得通过自然语言与智能机器交互高效完成网络任务成为可能。为垂直网络领域实现领域适配的LLM成为重要的研究挑战。
在LLM诞生之前，许多研究工作都是通过训练任务特定的AI模型来表达意图驱动网络（IDN）的范式。例如，利用序列到序列的学习模型，提出了一个名为Lumi的聊天机器人，从操作员话语中提取实体，并进一步将这些实体转化为网络意图语言和可部署的网络策略。为了降低访问控制列表（ACL）规则的配置复杂性，设计了ACL意图语言（LAI），其特定语法包含区域、需求和命令三个部分。在NASSIM中，作者实现了对异构厂商特定设备的自动化管理，采用BERT模型，直接从各种设备手册中学习，生成统一的网络数据模型。
虽然这些方案在某些网络任务和场景中表现良好，但也存在如下局限性：
(1)缺少泛化能力。在特定数据集上训练的AI模型在新的或从未见过的网络任务上可能表现不佳。泛化能力的缺乏阻碍了AI模型在真实网络场景中的部署。
(2)巨大的训练成本。训练需要几天甚至几个月的时间，以及巨大的计算资源和人力成本，因此从头开始构建AI模型是不经济的。
(3)难以整合集成。现有的意图驱动方法仅限于语义转换，难以与各种现成的技术（例如网络仿真器和搜索引擎）和工具（例如求解器、代码解释器和可视化平台）集成。
这其中，关键在于网络语言存在形式规则、协议、数学表达式和约束，而不是自然语言这样的纯文本。幸运的是，LLM有望不断学习更新的世界知识并通过应用程序编程接口(API)来全面利用工具。因此，可以通过使用即插即用的功能组件来调用LLM完成任意复杂的网络任务。在本文中，我们的目标是为构建网络大语言模型铺平道路，包括网络设计、网络诊断、网络配置和网络安全中的应用。通常，意图驱动网络IDN强调通过SDN/NFV框架内的可编程北向接口管理和配置网络，其中意图与策略和配置术语密切相关。本文将意图的范围扩大到无处不在的网络任务，特别是填补了网络设计中的空白，例如网络知识问答、协议设计、代码生成、流量生成和网络仿真。在本文中，意图的结果呈现更加多样化的形式，包括文本、图像、协议、代码、数据集和方案。我们设想，精通外部工具（即网络具身智能）的领域适配的网络大语言模型将无处不在，并重塑未来的网络基础设施。本文的主要贡献是：
(1)分析了自然语言和网络语言的特征，并展示了典型的意图转换模式。
(2)介绍了用于实现网络大语言模型的使能技术，包括预训练、微调、推理和提示工程。
(3)提出了一个名为ChatNet的概念架构，其中包含分析器、规划器、计算器和执行器等基本组件，以表达基于大语言模型的网络智能。
(4)我们对基于LLM的网络规划进行了案例研究，其中ChatNet可以理解意图并生成具有变化的流量矩阵和约束的可视化的网络容量方案。
二、网络大语言模型的应用场景与使能技术
开发网络系统和管理网络基础设施是知识密集型和劳动密集型行业，需要大量专家经验和人工操作。此前，网络智能是碎片化的，存在于不同的小模型中，例如深度神经网络、长短期记忆和深度强化学习。每个模型都独立部署在特定的环境中，例如用于客户服务的智能助理、用于提高服务质量 (QoS) 的自适应路由算法和用于减少人工错误的配置合成模块。
目前，LLM 拥有广泛的世界知识，可以通过自然语言界面与人类进行多轮对话。理解人类意图并根据提示进行自我修改的能力是先前模型所缺乏的功能。LLM有望通过通用的自然语言接口统一网络智能，使网络本身成为理解知识和掌握工具的通才。如图1(a)所示，我们将 LLM 在网络垂直领域的潜在应用分为网络设计、网络诊断、网络配置、网络安全四类，具体内容可见原论文相关章节。此外，我们将网络LLM的使能技术分为三类：预训练、微调和推理，并展开分析了 Zero Shot，Few Shot，CoT，RAG等提示词工程技术。图1(b)介绍了预训练LLM的工作机制。在图1(c)中，基于开源LLM微调是建立领域适配的网络 LLM的最重要的步骤。
图1 网络大语言模型的应用、机制和使能技术
三、ChatNet架构
虽然经过了领域适配的增强，但距离ChatNet的真正实现可能还有一步之遥，因为知识理解本身并不能直接带来使用工具的能力。本节深入分析了提高使用网络工具能力所需的关键组件，并提出了ChatNet架构。工具的使用是高级智能的关键指标，正如人类和机器人具身智能的行为所体现的那样。如图2所示，我们提出基于以下四个基本模块：分析器、规划器、计算器和执行器，来使ChatNet掌握语言理解和工具使用能力，随后在网络规划场景中进行了案例研究。
我们基于GPT-4模拟了一个ChatNet原型，其中四个GPT-4模型最初被提示为分别充当分析器、规划器、计算器和执行器。每个模型都通过一系列提示工程技术构建，包括角色扮演暗示、设计提示模板、定义任务指令、添加外部数据、限制输出格式、提供示例解决方案以及人在环路反馈。最终执行器生成了定制的网络容量解决方案，比如使用颜色显示不同的拥塞程度，使用虚线和实线显示分层的IP和光网络拓扑。
图2 ChatNet架构
四、结论
本文研究了LLM在网络中的应用，总结了建立领域适配的网络大语言模型的使能技术，并分析了 Zero Shot，Few Shot，CoT 和 RAG 等提示词工程技术。我们提出了一种新颖的ChatNet架构来展示网络具身智能，并在网络容量规划场景下进行了案例研究。最后，讨论了训练多模态网络LLM、开发网络大模型插件、实现网络具身智能等挑战。我们希望ChatNet能够激励未来研究。
GenAINet公众号简介
GenAINet公众号由IEEE Large Generative AI Models in Telecom (GenAINet) ETI成立，由GenAINet公众号运营团队负责维护并运行。
GenAINet公众号运营团队：
孙黎，彭程晖 （华为技术有限公司）
杜清河，肖玉权，张朝阳 （西安交通大学）
王锦光，俸萍 （鹏城实验室）
编辑：肖玉权
校对：张朝阳
