图1. 6G六大应用场景
Ya-Feng Liu①, Tsung-Hui Chang②, Mingyi Hong③, Zheyu Wu①, Anthony Man-Cho So④, Eduard A. Jorswieck⑤, Wei Yu⑥
①(中国科学院数学与系统科学研究院)
②(香港中文大学（深圳）)
③(明尼苏达大学)
④(香港中文大学)
⑤(布伦瑞克工业大学)
⑥(多伦多大学)
Citation: Y. -F. Liu, T.-H. Chang, M. Hong, Z. Wu, A. M. C. So, E. A. Jorswieck, and W. Yu, "A Survey of Recent Advances in Optimization Methods for Wireless Communications," IEEE Journal on Selected Areas in Communications (early access), 2024.
论文版权归属期刊及IEEE版权方，本文分享只体现学术贡献，未经许可禁止用于商业用途。
一、 无线通信领域优化问题的新特点与新挑战
二、 非凸优化算法
本章综述了几类非凸优化方法的最新进展及其在无线通信领域的应用，包括分式规划、稀疏优化、近似点梯度算法、罚方法、基于对偶的方法，相关内容详见文章的第三章。
1）分式规划. 分式规划在无线通信系统设计中扮演着重要角色。许多刻画通信系统性能的指标都具有分式结构，例如度量通信可靠性的关键指标信噪比/信干噪比以及绿色通信的重要指标能效等。本节综述了分式规划的最新进展，包括针对分式求和优化问题提出的等价二次变换 (quadratic transform) 以及针对和速率的对数分式求和形式提出的拉格朗日对偶变换 (Lagrangian dual transform). 通过这两种变换，高度非凸非线性的和速率极大化问题可以被转化为易处理的等价形式。特别地，当信 (干) 噪比中存在形式复杂的变量 (例如离散/整数变量或乘积形式的变量) 时，和速率极大化问题的求解变得非常困难，此时这两种变换尤为重要。本文以下行波束成形和上行联合调度与功率控制问题为例，介绍了二次变换和拉格朗日对偶变换在无线通信系统设计中的应用。
2）稀疏优化. 稀疏优化是指解具有稀疏性的一类优化问题。随着压缩感知理论的发展，稀疏优化得到了广泛而深入的研究。一方面，利用解的稀疏性可以显著降低采样开销、计算复杂度和存储需求。另一方面，稀疏优化/压缩感知中发展的理论工具对于分析优化模型/算法的性质至关重要。在无线通信领域，稀疏优化对于建模、分析和求解系统设计问题具有重要意义。本文以在地化统计信道建模和大规模机器类通信中的活跃设备检测问题为例，探讨了稀疏优化在降低信道估计中的训练开销以及理解和分析活跃设备检测问题的理论性质方面的应用。
3）近似点梯度算法. 近似点梯度算法用于求解形如 的优化问题, 其中
是光滑函数，
是非光滑函数，其迭代形式如下：
4）罚方法. 罚方法是一种经典的优化方法，其主要思想是通过在目标函数中引入适当的惩罚项，将复杂的约束优化问题转化为一系列相对简单的无约束优化问题。经典的罚方法包括二次罚方法和增广拉格朗日算法。在罚方法中，一个重要的概念是精确罚性，即在罚因子足够大的情况下，罚问题与原始约束优化问题具有相同的全局（局部）最优解的性质。罚函数的选择对于相应罚方法的理论性质和数值表现至关重要。因此，设计罚方法的关键在于利用问题的特殊结构选取合适的罚函数，使得罚问题易于求解且满足精确罚性。本文以MIMO检测为例介绍了罚方法在无线通信系统设计中的应用。
5）基于对偶的方法. 拉格朗日对偶是优化领域的一个重要概念。从理论上，它能够揭示优化问题的深层结构：对于一些形式上非凸的问题，通过证明对偶间隙为零可以识别其隐凸性。从算法的角度，拉格朗日对偶将复杂的原始问题转化为更简单的对偶问题，是处理约束优化问题的一种强大工具。功率控制/波束成形设计中的上下行对偶理论是拉格朗日对偶在无线通信领域的经典应用。上下行对偶是指，在下行信道中实现一组给定信干噪比所需的最小总功率等于在（一个虚拟的）对偶上行信道中实现同一组信干噪比所需的最小总功率。基于此，复杂的下行问题可以被转化为等价的上行问题，并通过不动点迭代算法高效且全局地求解。近年来，上下行对偶理论与算法在各种无线通信场景得到了深入的研究。本文以带有压缩中继的多址接入和广播信道为例，介绍了其上下行对偶理论及基于对偶的高效求解算法。
三、 全局优化算法
全局优化算法旨在寻找优化问题的全局最优解。尽管其计算复杂度通常较高，但在无线通信系统设计中仍发挥着重要作用。首先，全局最优解可以帮助刻画无线通信系统的性能极限。其次，全局优化算法为评估更高效的局部次优算法的性能提供了参考标准。最后，快速的全局优化算法能够为监督学习提供高质量的训练集。两种最经典的全局优化框架为分支定界 (branch and bound) 法和分支切割 (branch and cut) 法。本文第四章综述了这两种方法在无线通信领域的最新进展。
四、 分布式优化和联邦学习
分布式优化利用多个节点和局部计算资源来优化全局目标函数，具有高效性、可拓展性等优点，在无线通信领域发挥着重要的作用。特别地，作为一种分布式优化方法，联邦学习受到了广泛关注。联邦学习是边缘人工智能 (Edge AI) 的关键推动力，旨在将人工智能服务从集中式数据中心扩展到边缘节点。这种扩展能够实现超低延迟和实时决策，推动了自动驾驶等新兴应用的发展。本文第五章综述了分布式优化和联邦学习的最新进展及其在无线通信领域的应用。
1) 两种分布式优化方法. 对偶分解方法是一种简单的分布式优化算法，适用于求解具有可分结构的凸优化问题。然而当问题非严格凸时，算法收敛往往很慢且输出解不一定可行。交替方向乘子法 (ADMM) 可以看作是对偶分解方法的一种改进，其适用范围更广且收敛速度更快。近年来，ADMM算法得到了深入研究。针对不同结构的优化问题，各种ADMM变体被提出，例如Gauss-Seidel ADMM, 邻近点ADMM等。文章以多小区协作波束成形问题为例，介绍了ADMM在无线通信领域的应用。与中心化算法相比，ADMM具有如下优点。首先，分布式的ADMM不需要将所有用户的信道状态信息 (CSI）集中到一个中央节点的集中处理，从而减少了回传信息的交换开销并提高了对时变环境的鲁棒性。其次，ADMM可以并行实现，在求解大规模问题时复杂度显著降低。
2）联邦学习. 在联邦学习中，分布式设备之间进行协同训练，并通过聚集和平均本地计算的更新来协作训练全局模型。文章以FEDAVG算法为例展示了联邦学习的过程。FEDAVG可以看作是随机梯度下降共识算法在星形网络的拓展，主要包含广播、局部模型更新、聚集三个步骤；见图2. 此外，本文还综述了FEDAVG算法的收敛性结果及其最新拓展。
图2. 联邦学习示意图
五、 基于学习的方法
近年来，机器学习和人工智能在语音识别、图像分类和自然语言处理等应用领域掀起了一场技术革命。特别地，深度神经网络（DNN）通过多层神经元的连接和训练，能够从海量数据中提取高级、抽象的特征。这使得它们在许多复杂任务中表现出色，达到甚至超过人类水平。
基于学习的方法在无线通信领域也引发了研究热潮。与传统模型驱动的通信建模和计算工具不同，基于学习的方法 (如深度神经网络和深度强化学习) 主要是数据驱动的。因此，一个自然的问题是：基于数据驱动的机器学习/人工智能方法能否显著增强通信网络的容量和性能？最近的研究表明，这些方法在编码解码、功率控制、波形设计等任务中可以实现显著的性能提升。本文综述了基于学习的方法在无线通信领域的最新进展，包括依赖信道状态信息的方法 (详见文章第6章) 和不基于信道状态信息的方法 (详见文章第7章) 。
1）依赖信道状态信息的方法. 文章以功率控制问题为例，介绍了基于学习的方法在无线通信领域的最新进展。首先是黑箱 (black-box) 方法，即利用深度神经网络直接学习输入（信道信息) 和输出 (最优功率) 之间的非线性关系。除了黑箱方法，另一种常见的方法是基于展开 (unfolding-based) 的方法。深度展开技术基于已知的迭代算法 (如WMMSE)，利用深度神经网络模拟优化算法的过程，其中每次迭代运算对应神经网络中的一层。通过这种方式，神经网络的设计受已有迭代算法的指导，具备更强的可解释性，并且相比黑箱方法所需学习的参数数量大幅减少。
2）不依赖信道状态信息的方法. 上述方法均假设CSI已知。然而，在无线通信系统设计中，CSI的估计是一个非常复杂的过程。特别是随着大规模MIMO的发展和智能反射面等新型设备的引入，信道中的参数数量急剧增加。同时，随着对低时延和高移动性应用的需求增加，CSI的获取时间大幅缩短，进一步加大了估计难度。因此，无线通信网络优化的瓶颈不仅在于优化算法的效率，还在于如何获得准确的CSI。
除了加速复杂算法的求解，基于学习的方法的更大潜力在于可以跳过CSI估计的过程，直接将信道相关的信息 (例如移动设备位置、环境图像或自动驾驶中的雷达/激光雷达等感知数据等) 作为输入，通过训练输出最优解 (如最优波束成形向量等)；见图3。这种融合多种信息的能力是数据驱动方法的关键优势，能够减少甚至完全消除对显式信道估计的依赖。文章以联合调度与功率控制、波束成形与RIS阵元相位联合设计、以及大规模MIMO系统中的感知定位与波束对齐为例，介绍了相关方法的最新进展。
图3 传统的无线系统设计遵循“先建模后优化”的范式，而基于学习的方法能够基于问题实例的表示直接学习最优解
