港科大 iSING Lab 提出一种针对隐私保护机器学习的加速方案被 EuroSys’24 接收

文摘   科技   2023-09-13 12:00   中国香港  


 


关于 EuroSys



ACM EuroSys 是关于系统软件研究和开发(包括其对硬件和应用的影响)的主流会议之一。EuroSys’24会议将于2024年4月22日至25日在希腊雅典召开。本次会议中,香港科大智能网络与系统实验室iSING Lab的一篇论文被录用,题目为:Accelerating Privacy-Preserving Machine Learning With GeniBatch, 作者:Xinyang Huang, Junxue Zhang, Xiaodian Cheng, Hong Zhang, Yilun Jin, Shuihai Hu, Han Tian, Kai Chen




论文简介



隐私保护机器学习 (Privacy-Preserving Machine Learning, PPML) 中采用半同态加密算法 (Partial Homomorphic Encryption, PHE) 实现跨组织的安全数据融合以及模型训练任务。然而,PHE会导致密文数据膨胀,使PPML中的计算及通信开销急剧上升。以往的工作采用batch优化以降低数据膨胀程度,但此方法并不能适用于大部分PPML应用,原因是经batch优化后的密文仅能支持受限的向量操作并可能导致数据损坏。


为此,港科大iSING Lab提出一种batch编译器,称为GeniBatch。GeniBatch允许原始PHE程序包含PPML应用所需的4种向量操作 (向量加法,标量乘法,哈达玛积,累加),其编译后的程序将使用batch优化以降低计算/通信开销,并保证在执行过程中不存在因比特溢出导致的数据损坏。GeniBatch以数据流图 (dataflow) 的形式表示PHE程序,采用一系列转换规则来保证后续每一步运算结果都会以碎片的形式存在,从而在解密后能得到正确的密文运算结果。此外,GeniBatch设计了比特位预留算法,保证在dataflow执行过程中不存在比特溢出,同时最大化batch优化性能。GeniBatch兼容开源隐私计算平台FATE,并提供了SIMD接口以兼容GPU等硬件加速方案。实验表明,在常用的PPML应用中使用GeniBatch可以带来1.59 – 22.6倍的端到端性能提升。



近年来,港科大iSING Lab一直关注如何在系统层面上提高隐私保护的机器学习性能,通过挖掘上层应用的特性,降低训练过程中的计算/通信开销。GeniBatch是iSING Lab继Sphinx (IEEE S&P 2022)、FedSVD (ACM SIGKDD 2022) 、Flash (USENIX NSDI 2023)和CORA (USENIX Security 2024)之后,在隐私和安全方向发表的又一篇主要论文,实验室将继续探索如何更好地构建安全,高效且隐私保护的人工智能系统。




iSING Lab
香港科技大学网络与系统实验室(iSING Lab)专注于数据中心网络和机器学习系统的研究和创新。