港科大iSING Lab论文Astraea被EuroSys‘24接收！实现公平有效的深度强化学习拥塞控制算法
文摘
科技
2024-01-19 14:01
中国香港
![]()
ACM EuroSys（The European Conference on Computer Systems）是计算机系统领域的著名学术会议。EuroSys’24会议将于2024年4月22日至25日在希腊雅典召开。本次会议中，香港科大智能网络与系统实验室iSING Lab的一篇论文被录用，题目为：Astraea: Towards Fair and Efficient Learning-based Congestion Control, 作者：Xudong Liao, Han Tian (co-first), Chaoliang Zeng, Xinchen Wan, Kai Chen.
近年来，基于学习的拥塞控制（CC）解决方案层出不穷，并且在性能上超越了传统的TCP方案。然而，由于这些方案的优化目标与拥塞控制的关键属性（包括“公平性”、“快速收敛”和“稳定性”）之间的不匹配，致使它们未能始终保持良好的收敛性能。尽管这些属性是直观的，但将其整合到现有的基于学习的拥塞控制中是具有挑战性的，原因是：1）它们的训练环境是为单流的性能优化而设计的，无法实现协作的多流优化；2）没有直接可测量的度量标准来将这些属性表达到训练目标函数中。本文提出了Astraea，一种新的基于学习的拥塞控制方案，确保拥塞控制快速收敛到公平性，并具有稳定性。Astraea的核心设计是一个多智能体深度强化学习框架，实现多个竞争流之间的交互策略学习，以至于在训练过程中明确地优化这些收敛属性，同时保持高性能（高吞吐量，低延迟等）。我们进一步实现了一个高保真度的多流仿真训练环境，该环境明确表达了收敛属性，以便在拥塞控制算法可以训练过程中优化它们。![]()
我们在Linux上实现了功能完备的Astraea原型。实验表明，Astraea能够快速收敛到公平点，并展现出比其同类拥塞控制方案更好的稳定性。例如，当多个流竞争相同的瓶颈带宽资源时，Astraea实现了近乎最优的带宽共享（即公平性），展示了高达8.4倍的收敛速度提升并且将吞吐量波动降低了2.8倍；同时Astraea实现了与以往解决方案相当或更好的性能。 本工作是iSING Lab继MOCC (EuroSys’22), Spine (CoNEXT’22) 之后，在基于强化学习的网络拥塞控制方向的进一步探索。
