作者：欧阳小敏
图片来源于网络
研究背景
我们研究的异构多模态联邦学习工作 [1] 被移动计算与物联网系统顶级会议MobiSys 2023接收。
多模态传感系统越来越多地部署在现实世界的应用中，例如健康监测、自动驾驶和人机交互。大多数多模态学习的研究都基于集中式学习方法 (centralized learning)，需要上传用户的原始数据，带来严重的隐私问题。联邦学习（Federated Learning）只需要传输机器学习模型而不暴露用户原始数据，因此提供了一个保护隐私的分布式学习框架。
现有的联邦学习方法大多侧重于仅使用单个模态的数据训练单模态模型，然而，多模态联邦学习系统中通常存在模态异质性(modality heterogeneity)，不同节点上可用的传感器数据模态差异很大。例如，即使来自同一供应商，不同型号车辆的自动驾驶系统也可能配备不同类型的传感器；传感器在实时运行中也有可能会出故障，导致数据模态发生变化。在多模态联邦学习系统中，异构模态的节点具有显著不同的模型架构(model architecture)，使得模型聚合更具挑战性，并影响模型训练的准确性和收敛表现。
图1 Harmony的一个典型应用场景：阿尔兹海默症日常行为监测
研究方法
通过基于真实世界的多模态数据集的分析，我们发现：（1）现有的单模态和多模态联邦学习方法在异构多模态数据上的模型性能不尽如人意。（2）在异构多模态联邦学习系统中，多模态和单模态节点的模型在训练过程中会产生信息不一致，直接聚合它们的特征编码器(feature encoder)反而会导致模型性能的下降。
在此背景下，我们设计了Harmony，一种用于异构多模态联邦学习的系统，其关键思想是将多模态模型的训练分解为两个阶段，即分模态联邦学习(modality-wise federated learning)和联邦融合学习(federated fusion learning)，来避免异构模态节点进行模型聚合的负面影响。在modality-wise FL中，多模态节点训练多个单模态网络而不是多模态融合网络，因此将有多个单模态联邦学习子系统(unimodal FL subsystem)并行运行，减少了子系统内的模型差异。同时，多模态节点将对本地的单模态训练任务进行动态资源分配，以平衡不同单模态联邦学习子系统的延迟，从而减小系统整体训练延迟。在 modality-wise FL 之后，多模态节点通过联邦融合学习协同训练分类器层(classifier)的模型参数。为了应对多模态节点的数据非独立同分布(non-i.i.d.)的挑战，服务器将根据节点的模态偏差(modality bias)对节点进行聚类，并对同一个聚类内的节点进行模型聚合。
图2 Harmony系统框架
研究结果
我们将 Harmony 部署在真实世界的多模态传感器测试平台进行实验，其中有16个节点安装在老年受试者家中用于阿尔茨海默病监测。结果表明，Harmony 能有效利用三种传感器（深度摄像头、毫米波雷达和麦克风）准确检测十几种日常行为。我们还评估了 Harmony 在来自三个不同应用，多达 210 个节点的公开数据集上的性能。结果表明Harmony 在模型准确性上优于现有的几种机器学习范例，且具有更低的训练延迟。
图3 自主搭建的多模态传感器测试平台以及采集的数据样本
相关论文
[1] Xiaomin Ouyang, Zhiyuan Xie, Heming Fu, Sitong Cheng, Li Pan, Neiwen Ling, Jiayu Zhou, Guoliang Xing*, Jiayu Zhou, Jianwei Huang*, “Harmony: Heterogeneous Multi-Modal Federated Learning through Disentangled Model Training,” The 21st ACM International Conference on Mobile Systems, Applications, and Services (MobiSys), 2023.
写在最后
我们的文章可以转载了呢~欢迎转载与转发呦
想了解更多前沿科技与资讯？
长按二维码关注我们！
欢迎点击右上方分享到朋友圈
香港中文大学（深圳）
网络通信与经济学实验室
微信号 : ncel_cuhk
