大家好！今天给大家介绍一篇我们的论文《Generative Diffusion Model (GDM) for Optimization of Wi-Fi Networks》（生成扩散模型(GDM)在Wi-Fi网络性能优化中的应用）。这篇文章研究了生成式人工智能领域的先进模型——生成扩散模型，在Wi-Fi网络性能优化中的应用。我们将已在Wi-Fi性能优化领域有着前沿研究成果的强化学习方法与生成扩散模型相结合，结合二者的优点，提出了D3PG算法并应用于Wi-Fi网络优化。我们的算法在Wi-Fi性能优化问题，尤其是多参数优化上表现更佳，能够有效提高系统总吞吐，提升训练稳定性。（本推文内容由论文作者方旭明教授团队提供）Generative Diffusion Model (GDM) for Optimization of Wi-Fi Networks
Tie Liu, Xuming Fang, and Rong He
Key Laboratory of Information Coding and
Transmission, Southwest Jiaotong University
https://arxiv.org/abs/2404.15684
https://faculty.swjtu.edu.cn/xmfang/
随着科技的发展，越来越多先进的网络应用开始涌现，例如8K视频流、增强/虚拟现实（AR/VR）以及远程手术。这些应用对网络性能提出了前所未有的挑战，现有的Wi-Fi标准（如802.11ax）已经难以满足这些需求。因此，下一代Wi-Fi技术（如IEEE 802.11be，即Wi-Fi 7）正在开发中，目标是提供极高的吞吐量和更低的延迟，以满足未来应用的复杂需求。最近几年，机器学习，尤其是强化学习算法[1]，为Wi-Fi网络通过参数调优改善性能提供了有效的解决方案。强化学习能够通过自适应学习能力和数据处理能力，绕过复杂的数学建模过程。同时，生成人工智能在计算机视觉领域[2]取得了显著进展，能够通过分析大量数据集（包括文本、图像和音乐）生成新内容。在数据增强领域[3]，生成模型能合成额外数据以支持机器学习模型，特别是在数据稀缺或存在隐私问题的情况下。在网络优化任务中，如联合优化相关参数，生成人工智能在处理复杂数据分布方面非常有价值。文献[4]中提出了生成扩散模型（GDM）作为一种生成式人工智能技术，它具有高表达性，能够捕获复杂的数据分布，并且可以与其他强化学习策略无缝集成，以减少所需的样本数量并增强强化学习性能。GDM利用去噪网络通过一系列估计步骤迭代收敛到真实样本的近似值。在获得初始输入后，GDM通过前向扩散过程逐渐引入高斯噪声。随后，训练神经网络来预测噪声并进行反向扩散，从而完成数据和内容的恢复。该模型显着优于传统的DRL算法，并具有较高的可扩展性和灵活性，适合解决无线网络中的各种优化问题[5]。目前，关于生成式AI与强化学习算法结合来优化Wi-Fi网络性能的研究还不足。如何将生成式模型与Wi-Fi通信领域的专业知识相结合，找到适合的参数组合，以实现网络性能的优化，是一个重要且尚未完全解决的问题。由此，探索和发展能够集成生成式AI和强化学习的新方法，成为Wi-Fi网络性能优化的一个重要研究方向。
在本文中，我们提出了一种基于生成扩散模型和强化学习算法的Wi-Fi网络性能多参数优化方案。主要贡献如下：- 提出了一种通过联合调整竞争窗口（CW）和帧长度的MAC层访问机制。长数据帧在占用信道时间较长时可能导致的碰撞问题，在高碰撞概率环境下，通过增加CW或减少帧长度可以提高网络的效率。
- 结合生成扩散模型和深度确定性策略梯度（DDPG）算法，提出了一种名为Deep Diffusion Deterministic Policy Gradient（D3PG）的方法，用于在高密度终端环境下优化Wi-Fi网络的吞吐量。D3PG能够处理无线网络中复杂的参数关系，如本文中竞争窗口和帧长度的联合优化。结合生成扩散模型的D3PG算法有更优的吞吐性能表现和更平稳的训练过程。
在我们的论文中，D3PG算法被应用于优化Wi-Fi网络的性能，特别是在用户密集的环境下。以下是具体的应用场景，如图1所示，D3PG算法代理被设置在中心AP处，多个STA与AP通信。图1 Wi-Fi网络结构：一个接入点和多个随机分布在周围的终端
4．基于D3PG的Wi-Fi网络多参数联合性能优化方案如图2所示，D3PG算法结构包括以下几个部分：Actor，目标Actor，Critic网络，目标Critic网络以及重放经验池。其中Actor和目标Actor都是基于扩散模型的策略网络架构。![]()
图2 D3PG算法结构
我们的方案在接入点（AP）处部署一个D3PG代理，代理收集信道空闲时间比例（ITP）和分组丢失率（PLR）等状态信息。这些状态信息反映了网络的整体情况，包括信道利用率和数据传输的可靠性。基于这些信息，D3PG算法调整每个站点（STA）的竞争窗口（CW）和帧长度，从而优化网络的总吞吐量。在训练过程中，D3PG算法获取环境的状态信息从高斯噪声开始进行逆向扩散，随后通过环境反馈的奖励信息来调整，最终生成GDM网络最优的参数设置。经过训练的GDM网络能够根据状态信息从噪声中还原出最优解。通过这种方式，D3PG能够有效地处理复杂的数据分布和动态的网络环境。仿真结果表明，D3PG算法在密集Wi-Fi场景中能显著提高网络性能，与现有的802.11标准以及其他强化学习算法相比，不仅在吞吐量方面有显著提升，而且在训练稳定性和收敛速度上也表现出更好的性能。我们使用PyTorch和NS3平台对D3PG算法的架构进行了实现，并创建了一个Wi-Fi场景进行仿真测试。仿真环境的参数包括不同数量的STA（从8到64个）、5GHz频率、最大A-MSDU大小为6160字节、最大A-MPDU大小为1586176字节、竞争窗口范围为15到1023、帧长度范围为1到256、以及80MHz的信道带宽等。流量模型采用常速模型，速率为1Gbps，仿真时间设为100秒。如图3所示，我们首先在64个STA的场景中比较了不同算法的吞吐量性能。选取了三种不同的基线算法进行对比：基线1为现有的802.11 ax标准的MAC层竞争接入机制，基线2为一种基于近端策略优化（PPO）的算法，基线3为不使用生成扩散模型的DDPG算法。结果显示，D3PG算法相较于基线1提升了74.6%的吞吐量，相较于基线2提升了13.5%，相较于基线3提升了10.5%。此外，D3PG算法在训练过程中的表现更加稳定，收敛速度更快，尤其在快速变化的Wi-Fi环境中，能够迅速重新训练并收敛，减少对用户体验的影响。我们还比较了不同规模网络中各算法的吞吐量性能。结果如图4，在不同用户数量的网络中，D3PG算法均能稳定提升性能，而基线1的性能在用户数量增加时会迅速下降。此外，如图5展示的，D3PG算法还表现出以下优势：稳定的训练过程：与其他算法相比，D3PG在训练过程中更稳定，波动较小。
快速收敛：D3PG算法的探索能力较强，能够更快达到最优性能，适应环境变化。
适应性强：在不同规模的网络中，D3PG算法能够持续提高性能，特别是在用户数量增加的情况下，保持较高的总吞吐量。
通过结合强化学习和生成扩散模型，D3PG算法在优化Wi-Fi网络性能方面展现了强大的能力，特别是在用户密集的环境中。这一创新方法为应对未来复杂网络需求提供了有力的技术支持。我们提出了一种基于D3PG算法的MAC层接入机制，通过联合调整每个站点的竞争窗口（CW）和帧聚合长度来提高网络吞吐量。这种机制旨在解决在密集Wi-Fi场景下，由于基本服务集（BSS）内部竞争增加而导致的吞吐量性能急剧下降的问题。此外，生成扩散模型在处理复杂数据分布方面表现出色，D3PG算法因此提供了更稳定的训练过程、更快的收敛速度以及更大的灵活性和适应性。结合生成扩散模型来优化Wi-Fi网络的MAC层性能，结果表明这种方法有效提升了性能。然而，我们研究的这些场景依然相对简单，进一步应用的有效性任需要更深入的研究。[1]
X. Qiu, Neural Networks and Deep Learning. Beijing: China Machine Press, 2020. [Online]. Available: https://nndl.github.io/ [2]
F. -A. Croitoru, V. Hondru, R. T. Ionescu and M. Shah, "Diffusion Models in Vision: A Survey," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 9, pp. 10850-10869, 1 Sept. 2023, doi: 10.1109/TPAMI.2023.3261988.[3]
Trabucco B, Doherty K, Gurinas M, et al. Effective data augmentation with diffusion models[J]. arXiv preprint arXiv:2302.07944, 2023.[4]
Du H, Zhang R, Liu Y, et al. Beyond deep reinforcement learning: A tutorial on generative diffusion models in network optimization[J]. arXiv preprint arXiv:2308.05384, 2023.[5]
H. Du et al., "Diffusion-based Reinforcement Learning for Edge-enabled AI-Generated Content Services," IEEE Transactions on Mobile Computing, pp. 1-16, 2024, doi: 10.1109/TMC.2024.3356178.GenAINet公众号由IEEE Large Generative AI Models in Telecom (GenAINet) ETI成立，由GenAINet公众号运营团队负责维护并运行。
GenAINet公众号运营团队：
孙黎，彭程晖 （华为技术有限公司）
杜清河，肖玉权，张朝阳 （西安交通大学）
王锦光，俸萍 （鹏城实验室）
编辑：张朝阳
校对：肖玉权
