港科大iSING Lab论文Jury被EuroSys'25接收！提出公平性可泛化的强化学习拥塞控制算法
文摘
科技
2024-08-27 22:31
中国香港
![]()
第19届ACM EuroSys（The European Conference on Computer Systems）将于2025年3月30日-4月3日在荷兰鹿特丹举行。EuroSys是计算机系统领域的重要国际会议之一，致力于讨论计算机系统与技术的最新发展和研究成果。本次会议中，港科大iSING Lab与中国科学技术大学合作的一篇论文被收录，题目为：Achieving Fairness Generalizability for Learning-based Congestion Control with Jury, 作者：Han Tian, Xudong Liao, Decang Sun, Chaoliang Zeng, Yilun Jin, Junxue Zhang, Xinchen Wan, Zilong Wang, Yong Wang, Kai Chen.
近年来，基于机器学习的拥塞控制方法层出不穷，本文对这些方法分析发现它们在不同带宽环境下无法保持统一的学习行为，导致公平性无法推广。具体来说，为了实现公平性，这些方案需要在模型输入中加入带宽/吞吐量等信号。这使得模型能够学习到区分不同流量的行为，让占用较大带宽的流量更加保守，让占用较小带宽的流量更加积极，从而达到公平的带宽分配。但问题在于，这些带宽相关的输入信号会随着网络环境的不同而发生变化。比如在100Mbps的网络中学习到的最大吞吐量阈值，到了350Mbps的网络就可能完全不同。由于模型输入发生了变化，之前学习到的公平策略就失去了适用性，导致公平性无法推广到新的网络环境中。Jury旨在解决基于DRL的拥塞控制方案在不同网络环境下表现不一致的问题，特别是在公平性方面。尽管DRL在众多领域表现出色，但在网络传输中，DRL模型通常难以在训练时未见过的网络环境中保持公平性。为了应对这一挑战，Jury采用了一种创新的方法，通过在DRL模型中分离公平性控制任务，使其不受模型训练过程的影响。具体而言，Jury通过转换网络信号为一致的输入视图，并在后处理阶段动态调整发送率，以确保在不同流量间实现公平的带宽分配。1. 统一输入信号：Jury的DRL决策过程中不包含与带宽相关的信号输入，只使用RTT和丢包数据。另外，模型的输入不是一个单一的速率，而是一个速率区间。因此，所有在同一网络瓶颈下的竞争流接收到的信号输入一致，保证了模型输出的区间的一致性。2. 后处理阶段：Jury在DRL模型的输出基础上，根据估计获得的流的当前带宽利用率进行对DNN模型输出的发送速率区间的再次动态调整，使得较大流量选择较低的发送速率，因此更为保守，较小流量选择较高的发送速率，因此更为激进，从而实现公平的带宽分配。Jury的设计不仅在理论上保证了公平性，同时也在多种仿真和实际网络条件下展现了其高效的公平性和性能。实验结果显示：• Jury能够在各种网络环境中保持一致的良好公平性收敛特性，包括不同的链路带宽、时延和丢包率特征，以及不同数量的竞争流情况。• 不论是相同协议流量之间的公平性，还是不同RTT流量之间的公平性，或是长短流量之间的公平性，Jury都能很好地解决。• 除了公平性，Jury在性能方面也保持了一致的高水平，无论是在模拟环境还是真实互联网环境下，其表现都非常出色。评估的网络环境包括5Mbps到10Gbps不等的带宽，10ms到400ms不等的单向时延，以及0到1.5%的丢包率。Jury的这一创新性研究为基于机器学习的网络控制方案在现实网络中的实际应用提供了新的可能性。研究团队计划在未来将Jury的代码开源，以便于更广泛的应用和进一步研究。本工作是iSING Lab继Astraea (EuroSys’24) 之后，在基于强化学习的网络拥塞控制方向的进一步探索。![]()
