论文分享
GenAINet通信大模型
AI生成内容(AI-Generated Content, AIGC)，即生成式人工智能(GAI)根据用户提示自动生成内容，作为下一代内容创作范式，近年来受到了极大的关注。随着GAI能力的不断增强，特别是包含数十亿个参数的预训练基础模型(Pretrained Foundation Models, PFMs)和提示工程方法的出现，使得AIGC的应用范围迅速扩大。来自南洋理工大学的Dusit Niyato教授团队联合广东工业大学、香港中文大学（深圳）、滑铁卢大学和北京邮电大学，提出了移动边缘AI生成一切(AI-Generated Everything, AIGX)的概念。分析了AIGX的构建模块，从AIGC到AIGX的演变，以及AIGX的实际应用。此外，进行了一个案例研究，展示了如何使用ChatGPT训练一个有效的提示优化器。
Optimizing Mobile-Edge AI-Generated Everything (AIGX) Services by Prompt Engineering: Fundamental, Framework, and Case Study
Yinqiu Liu1, Hongyang Du1, Dusit Niyato1, Jiawen Kang2, Shuguang Cui3, Xuemin (Sherman) Shen4, Ping Zhang5
1Nanyang Technological University, Singapore
2Guangdong University of Technology, China
3The Chinese University of Hong Kong (Shenzhen), China
4University of Waterloo, Canada
5Beijing University of Posts and Telecommunications, China
原文链接：
https://ieeexplore.ieee.org/abstract/document/10330096
论文版权归属IEEE Network版权方，本文分享仅用于技术交流，未经许可禁止用于商业用途。
1. 引言：
GAI具有复杂的表示和生成能力，GAI根据用户输入的关键词(即提示)自动生成的内容被称为AIGC。目前AIGC正在向新的阶段发展，称之为AI-Generated Everything (AIGX)。然而，从AIGC到AIGX还存在两个障碍：
资源约束：预训练基础模型包含许多参数，是资源密集型的。对于许多资源有限的移动用户来说，如此巨大的资源消耗是无法承受的。
低质量提示：对于普通用户，输入的提示词可能是低质量的，这会降低PFMs的生成质量。
幸运的是，边缘计算和提示工程显示出解决这些问题的巨大潜力。拥有足够物理资源的情况下，边缘服务器可以在本地运行PFMs，并作为AIGX服务提供商(AIGX Service Providers, ASPs)为移动用户执行推理。而提示工程能为给定的任务和PFMs找到最合适的提示。图1(a)展示了移动边缘AIGX中的图像生成场景。用户使用优化器将ASPs的原始提示调至最优，从而改善AIGX服务。
图1(a). 移动边缘AIGX中的图像生成案例
2. AIGX的构建模块，基础和应用：
2.1 构建模块
GAI和PFMs是AIGX的主要构建模块。GAI使机器能够根据目标分布生成逼真的样本，如文本，图像，视频，甚至3D样本。而PFMs通过包装训练有素的模型来支持GAI，使得我们从训练GAI的过程中解脱。
2.2 通过提示链接PFMs和任务
如图1(b)所示，提示可以看作是下游任务的重新表述，使未见任务看起来更像预训练过程中解决的任务。提示可以采用多种形式，包括文本提示、视觉提示、多模态提示和连续提示。基于提示的方法不是将整个PFM加载到内存中并在特定于任务的数据集上微调模型参数，而是通过自定义提示重新制定下游任务，同时冻结PFMs。
图1(b). 微调和基于提示的方法。微调形成了1对1的映射，也就是说，每个PFM只能应用于一个任务。然而，通过冻结PFMs，基于提示的方法能自定义任务(用不同的纹理表示)并形成1对多映射。这更有效，因为不需要用于微调的计算资源和数据集。
2.3 从AIGC到AIGX
如图1(c)所示，AIGC的初始范围仅限于生成面向人类的多媒体内容，如文章、音乐和视频。如今，GAI可以生成多媒体内容之外的一系列信息，如网络设计、网络安全防御等。因此，本文提出了人工智能生成一切(AIGX)的概念。
图1(c). 从AIGC到AIGX演化图
1）基于AI生成的系统设计：由于其分析和推理能力，PFMs在调度复杂网络和系统方面显示出巨大的潜力。如在共享频谱通信中，可以采用ChatGPT调度发送方的发射功率，节约能源。
2）基于AI生成的数据处理：出于效率或隐私目的，可以对传输的消息进行生成处理，即使用人工智能从原始数据生成压缩或保护隐私的内容。
3）基于AI生成的优化问题求解：扩散模型在优化方面显示出巨大的潜力，因为从高斯噪声开始的去噪过程可以看作是从随机策略开始寻找最优解的优化过程。
4）基于AI生成的编程：GAI还支持生成不同语言的面向机器的代码。如代码翻译(例如用Python重写MATLAB代码)和代码文档(例如为源代码生成用户手册)可以通过GAI实现。
1）手工方法：提示工程的一种典型方法是手动组合不同的提示，并搜索生成质量最好的提示。包括内容优化（细化提示内容，从而更好的关联下游任务）和组织优化。如图1(d)展示了三种文本提示的组织形式，即零提示、少提示和思维链提示。 2）自动方法：研究人员进一步提出了各种自动提示工程方法，规避了人为因素(如知识有限和偏见)带来的影响，实现了稳定的提示优化性能。包括离散提示（如文本和图像）和连续提示（指可学习的嵌入层）。
图1(d). 零提示、少提示和思维链提示
服务配置：用户的第一步是找到合适的ASP，其PFM的能力可以满足他们的特定需求。 提示工程配置：用户选择合适的PESP来优化给定形式的提示。 优化配置：用户对AIGX服务进行优化，如图2中的Step 3。可以考虑一系列关键绩效指标(KPI)来定义目标函数，最基本的KPI是生成质量(QoG)。 AIGX推理和迭代细化：用户调用AIGX服务。可以通过调整策略来利用提示工程改善体验质量(Quality of Experience, QoE)，如图2中的Step 4。
4. 案例研究：
对象及其关系：应该描述物体的特征(例如，烹饪机器的材料和功能)。也应该明确物体间的位置关系。 背景设置：用于填充[a]的详细信息，如向[a]添加” sleek cabinets”，能够增强原始提示的指示能力。 情绪：指创作者想要通过图像传达的情绪，如喜悦或犹豫，这些情绪会影响图像的色调。 亮度：是决定人工智能生成图像的纹理和真实性的关键因素。 质量助推器：质量助推器是一些形容词(例如，高质量、2k分辨率或真实纹理)，能够提高生成图像的美学质量。 负面提示：描述可能降低图像质量的情况。
5. 总结：
GenAINet公众号简介
GenAINet公众号由IEEE Large Generative AI Models in Telecom (GenAINet) ETI成立，由GenAINet公众号运营团队负责维护并运行。
GenAINet公众号运营团队：
孙黎，彭程晖 （华为技术有限公司）
杜清河，肖玉权，张朝阳（西安交通大学）
王锦光，俸萍 （鹏城实验室）
编辑：张朝阳
校对：肖玉权
