用生成式人工智能实现低碳智能物联网——基于大语言模型的讨论
文摘
科学
2024-09-12 17:57
陕西
物联网人工智能（Artificial Intelligence of Things，AIoT），如智能家居等，正在改变我们的日常生活方式，然而，由于移动技术的不断进步，AIoT正面临着能源消耗和碳排放的挑战。生成式人工智能（Generative AI，GAI）由于其出色的推理和生成能力，在减少AIoT的碳排放方面具有巨大的潜力。受此启发，来自南京航空航天大学、南洋理工大学、广东工业大学以及休斯顿大学的研究团队探讨了GAI在减少碳排放方面的潜力，并提出了一种新的基于GAI的低碳AIoT解决方案。研究人员首先研究了AIoT中导致碳排放的主要影响因素，然后介绍了GAI技术及其与碳排放的关系，然后探讨了GAI在低碳AIoT中的应用前景，重点论述了GAI如何减少网络组件的碳排放。随后，研究人员提出了一个支持大语言模型(LLM)的碳排放优化框架，其中设计了可插拔的LLM和检索增强生成(RAG)模块，以生成更准确和可靠的优化问题。最后，研究团队对低碳AIoT的未来研究方向也进行了深入探讨。（本推文内容由论文作者提供）Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models
Jinbo Wen1, Ruichen Zhang2, Dusit Niyato2,
Jiawen Kang3, Hongyang Du2, Yang Zhang1, and
Zhu Han4
1College of Computer Science and Technology, Nanjing University of
Aeronautics and Astronautics, China
2School of Computer Science and Engineering, Nanyang Technological
University, Singapore
3School of Automation, Guangdong University of Technology, China
4Department of Electrical and Computer Engineering, University of Houston,
USA
https://arxiv.org/pdf/2404.18077
本论文已被IEEE Internet of Things Magazine接收，该分享仅用于技术交流，未经许可禁止用于商业用途。当前，物联网人工智能（Artificial Intelligence of Things，AIoT）正在推动多个领域的技术革命，开启数字经济新时代，例如智能医疗和智能农业[1]。然而，AIoT对能源消耗和碳排放的影响是一个令人关注的话题。具体来说，AI生成内容、物联网和元宇宙等变革性技术的出现导致AIoT中的数据量大幅增加。根据Transforma Insights的研究，未来十年，全球边缘设备的部署预计将从27亿增加到78亿。此外，到2025年，更广泛的物联网连接设备类别预计将超过300亿台，到2030年，移动设备的移动数据流量将达到每月257.1 GB，与2010年的数据量相比，有着50倍的大大幅度增长。因此，边缘负载功耗的快速增长和能源资源的稀缺给AIoT带来了重大的能源挑战，并产生了新的环境影响。值得注意的是，低能耗和低碳排放在环境影响方面是相互关联但又截然不同的概念。具体来说：1）低能耗：其目标是通过使用节能技术来降低系统的总能耗。能源使用包括可再生能源和不可再生能源，有助于保护自然资源和减少对化石燃料的依赖。2）低碳排放：侧重于减少碳足迹，尤其针对燃烧煤炭和石油等化石燃料。低碳排放主要包括选择风能、太阳能和水力等可再生能源，尽管这些能源不是最节能的，但其产生的直接碳排放是最少或着没有的。当前的研究通常集中在使用判别式人工智能（Discriminative AI，DAI）来减少网络碳排放[2]。然而，主要侧重于对现有数据进行分析或分类的DAI对AIoT动态环境的适应能力较差。受生成式人工智能（Generative AI，GAI）革命性能力的启发，GAI驱动的解决方案在优化AIoT的能源消耗和减少碳排放方面具有巨大的潜力。此外，GAI可以应对网络条件的动态变化，无需再训练即可自适应调整最优策略，避免了额外的碳足迹。因此，GAI为实现低碳AIoT开辟了新的途径。传统的绿色移动网络主要侧重于降低能源消耗和提高能源效率，而GAI支持的低碳AIoT侧重于利用GAI来最大限度地减少碳排放，并促进整个网络生态系统的可持续实践，其具有以下潜在特征：- 可再生能源整合：低碳AIoT优先考虑可再生能源的整合，利用AI驱动的能量收集和优化算法等先进技术，高效地收集太阳能和风能等可再生能源，从而最大限度地减少对基于化石燃料的能源生产的依赖。
- 智能网络管理：低碳AIoT利用AI驱动网络管理等智能网络管理技术[1]，实时有效监控网络能耗，动态优化资源分配，最大限度减少碳排放。
- 绿色网络基础设施：低碳AIoT强调环境基础设施组件的应用，如可持续材料和节能硬件，并利用先进技术，如AI驱动的最优智能反射面部署，有效优化网络基础设施，减少碳排放。
图1展示了GAI与智能网络相结合的最新进展，以及碳排放目标相关概念（包括低碳、无碳、碳中和和净零碳）。本文系统地为GAI实现低碳网络的潜力提供前瞻性的研究，实现了迈向碳中和和净零碳范式的第一步。我们的主要贡献总结如下：- 研究了移动网络的主要碳排放影响，紧接着简要讨论了DAI在碳减排方面的局限性，并系统地介绍了GAI技术，包括它们的特征和助力减少碳排放的能力。
- 通过以移动网络架构为切入点，即分析能源互联网、数据中心网络和移动边缘网络，探索GAI实现低碳AIoT的潜在应用。
- 提出了一个结合检索增强生成（Retrieval Augmented Generation，RAG）的大语言模型（Large Language Model，LLM）碳排放优化框架。其中我们设计了可插拔的LLM和RAG模块，它们依赖知识库和上下文记忆来生成碳排放优化问题。
- 我们采用生成扩散模型来确定碳排放的最佳策略。并通过对一个实际碳排放优化案例的仿真，验证了该框架的有效性。
如表1所示，我们调研了包括通信、计算和服务技术在内的移动技术的碳排放。当前的移动网络有更大的带宽和更多的天线，显著增加了能源消耗和碳排放。例如，中国的5G网络每年在全国范围内产生超过6000万吨的碳排放量。此外，计算设备的大规模使用同样导致了移动网络中数据和计算的爆炸式增长，导致了巨大的碳排放。例如，到2020年，全球有77亿部手机在被使用，会产生约5.8亿吨碳排放，相当于全球总碳排放量的1%左右。机器学习模型的引入，能有效协调管理5G蜂窝的工作状态，避免碳效率陷阱。然而，由于AIoT的动态性和异构性，常用的判别式人工智能具有以下局限性：4. 使用GAI实现低碳AIoT的研究动机
针对上述问题中的难点，GAI专注于生成新的数据样本，具有显著的内容创建、数据扩充甚至网络优化能力。
- 对于碳减排，生成对抗网络（Generative Adversarial Networks，GAN）技术（如BiLSTM-CNN-GAN等）可用于预测能源消耗和碳排放，促进高效的资源管理和规划。
- GAI可用于优化可再生能源和可持续能源技术。通过分析环境条件和网络需求的实时数据，GAI可以智能地调整能量收集机制。例如，GAI可以优化基站安装的太阳能电池板的位置，以便在阳光充足的晴天捕获最大数量的太阳能。
- 无碳数据中心网络的优化主要关注电网购电最小化、运营利润最大化和可再生能源利用率最大化。通过分析包括用户需求、网络状况和能源可用性在内的实时数据，扩散模型等GAI技术可以根据需求模式动态优化资源分配，确保有效利用并最大限度地减少能源消耗。
我们研究了GAI如何减少移动网络组件，即能源互联网、数据中心网络和移动边缘网络的碳排放，从而实现低碳AIoT，如图2所示。为了清楚起见，我们比较了低碳AIoT移动网络应用中传统方法与GAI方法，如表2所示。表2 低碳AIoT移动网络应用中传统方法与GAI方法比较受LLM卓越的决策能力的启发，我们提出了一个基于RAG的LLM碳排放优化框架，如图3所示。通过对网络环境的解释，所提出的框架可以通过与网络设计者的简单交互，自动制定出准确可靠的碳排放优化问题。具体而言，- RAG技术可以通过从外部知识库中检索事实来增强GAI模型的可靠性和准确性[3]，它可以通过在上下文中添加相关检索数据来增强用户提示，从而允许LLM生成准确的答案。
- RAG支持的LLM可以通过访问外部数据库，如碳减排文档，生成准确的碳排放优化策略。
交互开始于网络设计者请求帮助的初始请求，LLM智能体可以通过RAG生成决策结果。RAG的增强过程如下：1. 数据库：RAG数据库是一个大型知识库，包含大量可搜索的学术文本，例如来自IEEE explore的关于碳减排的学术论文。RAG从知识库中获取知识，并将其分割成知识块。然后，通过嵌入模型将这些块转换成密集的向量表示，并存储在向量数据库中进行嵌入搜索。2. 检索：网络设计者的请求首先被转换成LLM智能体容易理解的密集向量表示。然后，RAG从向量数据库中检索相关信息，并计算这些知识块的相似度分数。最后，RAG对之前最相似的块进行排序并选择，作为扩展上下文提示的组件。3. 决策：LLMs，如ChatGPT、Gemini或Bard，可以根据网络设计者的要求和选择的块，根据推理和决策能力制定响应。此外，这些响应放置在存储库中，使LLM智能体能够在处理类似任务时有效地调用和应用以前的策略。在LLM生成优化问题后，网络设计者可以根据需要对生成的优化问题进行简单地整理。具体来说，网络设计者可以根据真实场景定制主观约束，确定实验参数。这个过程几乎是无负担的。由于生成扩散模型可以适应AIoT系统的不同状态，且在处理高维复杂优化问题方面表现出优异的性能，因此网络设计者可以利用生成扩散模型生成最优策略，并在现实场景中实施这些策略，从而有效地实现AIoT中的碳减排。本文以元宇宙下移动AIGC任务卸载的碳排放优化为例，利用扩散模型生成面向碳排放优化的最优策略。在移动AIGC服务场景中，用户从边缘服务器请求AIGC服务，例如在元宇宙中为用户提供沉浸式体验的个性化虚拟人服务。边缘服务器，由可再生能源提供动力，微调预训练的AIGC模型并执行推理，以提高用户沉浸式体验的质量。为了减少服务延迟，AIGC任务可以由边缘服务器和用户协同执行，其中AIGC任务的中间结果由边缘服务器发送给用户。特别地，我们在此场景中考虑一个用户和一个边缘服务器。通过优化边缘服务器的带宽和传输功率，目标是通过卸载机制最大限度地减少AIGC任务的碳排放，同时确保在元宇宙环境中提供高质量的AIGC服务。在实验中，我们通过OpenAI API调用GPT-4模型实现可插拔的LLM模块，RAG模块构建在LangChain之上。我们将块大小、块重叠和检索结果分别设置为1000、200和4。因此，LLM智能体可以使用最小数量的检索令牌生成准确的模型，即总共4000。图3的数值结果（右侧偏上子图）模块(a)显示了本文提出的基于扩散模型（Generative Diffusion Model，GDM）的算法和最优策略设计的近端策略优化（Proximal Policy Optimization，PPO）的测试奖励曲线。我们可以观察到GDM比PPO获得了更高的测试奖励，表明性能更好。原因是GDM通过扩散过程产生最优策略，可以减轻噪声和随机性的影响[4]。为了证明训练GDM不会导致过多的碳排放，我们使用了一个名为CodeCarbon的Python包，估计GDM训练造成的功耗和碳排放分别为8.148 Wh和1.672 g。图3的数值结果模块(b)说明了不同网络环境下的最优策略和相应的碳排放量。我们可以看到，由于去噪过程中的探索经验，GDM可以确定低碳排放的最优策略。本文展望了GAI在低碳AIoT中的应用前景。首先，我们研究了移动网络的碳排放挑战，系统地回顾了GAI技术及其与碳减排的关系。然后，我们探索了GAI在减少移动网络的碳排放以实现低碳AIoT方面的潜在应用。受LLMs出色能力的启发，我们提出了一个基于RAG支持的LLM碳排放优化框架，从而生成更加准确可靠的碳排放优化问题。此外，我们利用GDMs来生成碳减排的最优策略。为了验证所提框架的有效性，我们对元宇宙中的移动AIGC任务卸载进行了案例研究。数值结果表明，我们的LLM智能体可以以最小的检索令牌数量生成精确的碳排放优化问题，并且GDM优化碳排放的性能比DRL-PPO高17.97%。最后进一步讨论了实现低碳AIoT的潜在研究方向。注：与本文相关的在智能网络中应用生成式人工智能的研究，更多详情可查看https://hongyangdu.github.io/GAINET/[1] J. Wen, J. Nie, J. Kang, D. Niyato, H. Du, Y. Zhang, and M. Guizani,“From generative AI to generative Internet of Things: Fundamentals, framework, and outlooks,” IEEE Internet of Things Magazine, vol. 7, no. 3, pp. 30–37, 2024.[2] T. Li, L. Yu, Y. Ma, T. Duan, W. Huang, Y. Zhou, D. Jin, Y. Li, and T. Jiang, “Carbon emissions of 5G mobile networks in China,” Nature Sustainability, vol. 6, no. 12, pp. 1620–1631, 2023.[3] R. Zhang, H. Du, Y. Liu, D. Niyato, J. Kang, S. Sun, X. Shen, and H. V. Poor, “Interactive AI with retrieval-augmented generation for next generation networking,” IEEE Network, pp. 1–1, 2024.[4] H. Du, R. Zhang, Y. Liu, J. Wang, Y. Lin, Z. Li, D. Niyato, J. Kang, Z. Xiong, S. Cui, B. Ai, H. Zhou, and D. I. Kim, “Enhancing deep reinforcement learning: A tutorial on generative diffusion models in network optimization,” IEEE Communications Surveys & Tutorials, pp. 1–1, 2024.GenAINet公众号由IEEE Large Generative AI Models in Telecom (GenAINet) ETI成立，由GenAINet公众号运营团队负责维护并运行。
GenAINet公众号运营团队：
孙黎，彭程晖 （华为技术有限公司）
杜清河，肖玉权，张朝阳 （西安交通大学）
王锦光，俸萍 （鹏城实验室）
