论文分享
GenAINet通信大模型
Generative AI-Enabled Vehicular Networks: Fundamentals, Framework, and Case Study
Ruichen Zhang1,2, Ke Xiong1,3,4,5, Hongyang Du2, Dusit Niyato2, Jiawen Kang6, Xuemin Shen7, and H. Vincent Poor8
1School of Computer Science and Technology, Beijing Jiaotong University, China
2College of Computing and Data Science, Nanyang Technological University, Singapore
3Engineering Research Center of Network Management Technology for High Speed Railway of Ministry of Education, Beijing Jiaotong University, China
4Innovation Center of Railway Traffic Safety, Beijing Jiaotong University, China
5National Engineering Research Center of Advanced Network Technologies, Beijing Jiaotong University, China
6School of Automation, Guangdong University of Technology, China
7Department of Electrical and Computer Engineering, University of Waterloo, Canada
8Department of Electrical and Computer Engineering, Princeton University, USA
原文链接：
https://ieeexplore.ieee.org/document/10506539
介绍了不同类型的GAI技术，并分析了它们在车载网络中的潜在应用及面临的挑战。 提出了一种集成多模式架构的GAI车载网络框架，能够处理文本与图像数据，提供更可靠的车辆指导信息。 在该框架下，设计了一种基于深度强化学习（DRL）的资源分配方法，旨在通过优化通信资源和GAI资源，最大化系统的服务质量。仿真结果验证了该方法的有效性。
导航和路线优化: GAI可用于根据实时交通数据、道路状况、天气和其他信息创建路径，从而优化车辆路线。 交通模拟和预测: GAI可用于模拟和预测交通场景，帮助交通规划者和交通管理系统优化交通流量，减少拥堵。 驾驶数据生成: GAI可用于创建驾驶数据，例如事故场景，以增强道路安全。 保险和风险评估: GAI模型可用于分析驾驶行为、事故风险和其他因素，从而实现更可靠和个性化的保险定价和风险评估。
步骤1。语义信息提取:与传统的GAI框架类似，第一步是从实时道路图像中提取语义信息。 步骤2。图像骨架提取:图像骨架的提取非常重要，因为它提供了图像的基本结构，是提取更高级语义信息的基础。 步骤3。无线传输:在提取图像骨架和文本信息后，将它们组合成一个紧凑的数据包。然后，该数据包通过V2V通信无线传输到接收车辆。
步骤4。支持GAI的图像生成:GAI模型使用提取的图像骨架和语义信息生成与实际图像非常相似的路况图像.
步骤5。图像重建:在接收端重建生成的路况图像，并提供给智能助手，提醒驾驶员注意潜在的危险。智能助手分析重建图像，并将其与当前路况进行比较，以识别潜在的危险，如事故或路障。
针对所考虑的问题，作者们提出了一种基于双深度Q网络(Double Deep Q-Network，DDQN)的方法来解决GAI支持的V2V通信中的资源分配问题。DDQN是一种深度强化学习技术，它使用两个神经网络，即在线网络和目标网络，来近似Q值函数。具体来说，在线网络根据当前状态选择动作，而目标网络则用来估计后续状态的Q值。基于DDQN的方法增强了训练过程的稳定性，防止了Q值的高估。
图4显示了多模态语义感知GAI支持的V2V示例，其中从捕获的路况图像中提取接收到的图像骨架。由图可知，在安装了语义编码器的接收车辆中，呈现了生成图像的提示词的关键字的语义信息，其中图像表示通过不同的亮度级别反映了每个关键字的重要性;亮度越高，表示相应关键字的权重越大。原因是在图像生成过程中，设计了语义信息，智能地强调特定的关键词，便于基于图像骨架和文本提示创建更可靠的交通图像，从而对路况有更清晰、更全面的了解。
图4 多模态GAI中图像语义信息的压缩
图5 仿真结果
GenAINet公众号简介
GenAINet公众号由IEEE Large Generative AI Models in Telecom (GenAINet) ETI成立，由GenAINet公众号运营团队负责维护并运行。
GenAINet公众号运营团队：
孙黎，彭程晖 （华为技术有限公司）
杜清河，肖玉权，张朝阳 （西安交通大学）
王锦光，俸萍 （鹏城实验室）
