多模态数据融合可真哇塞！连续3篇成果登上Nature大子刊！其中模型CLRW更是在临床重症预测任务中，性能飙升！
且在各顶会中，也不乏其身影！像是NeurIPS上的Regbn、AAAI上的LDS2AE等，都分别在不同任务中达到了近100％的准确率！
其所以这么好发高区，主要在于：一方面，其能提高信息处理的准确性、效率、降低模型过拟合风险。它的特质在于，能整合不同来源的数据，获取更全面、准确的信息，避免单一模态信息的局限。这便更能适应当前海量数据、来源丰富的现实场景。另一方面，该领域还不算卷，比较好打动审稿人。
想发论文的伙伴，可以这么入手：开发能处理缺失模态的自适应融合模型；构建大型预训练模型；提高模型可解释性……为让大家能够获得更多idea启发，实现快速涨点，我给大家准备了15篇必读论文和源码！
扫描下方二维码，回复「多数融合」
免费获取全部论文合集及项目代码
MEDFuse: Multimodal EHR Data Fusion with Masked Lab-Test Modeling and Large Language Models
内容：本文提出了一种名为MEDFuse的多模态电子健康记录（EHR）数据融合框架，旨在通过结合掩码实验室检测建模和大型语言模型，有效整合结构化实验室检测结果和非结构化临床笔记，以提升临床预测性能。该框架通过解耦模态特定和模态共享信息，优化多模态嵌入表示，并在MIMIC-III和FEMH数据集上验证了其在多疾病预测任务中的有效性，取得了超过90%的F1分数，展示了其在临床决策支持中的潜力。
Mosaic integration and knowledge transfer of single-cell multimodal data with MIDAS
内容：文章提出一种用于单细胞多组学数据马赛克整合和知识迁移的计算工具。它基于自监督学习和信息论方法，能够实现单细胞多组学马赛克数据的模态对齐、数据补全和批次校正。MIDAS通过VAE架构，分离生物状态和技术噪声，并支持多源异构数据的稳健整合。此外，MIDAS能够高效地将知识从参考数据集转移到查询数据集，支持下游生物分析，如细胞类型识别和伪时间分析。该工具在消除批次效应和保留生物信号方面表现出色，优于其他同类方法。
扫描下方二维码，回复「多数融合」
免费获取全部论文合集及项目代码
RegBN: Batch Normalization of Multimodal Data with Regularization
内容：本文介绍了一种名为 RegBN 的新型多模态数据归一化方法，旨在解决多模态数据融合中的异质性、混杂因素和依赖性问题。RegBN 使用 Frobenius 范数作为正则化项，通过最小化不同模态特征之间的线性关系，去除混杂因素的影响，并在多种数据模态上验证了其有效性。实验结果表明，RegBN 能够显著提高多模态模型的性能，且无需额外的可学习参数，简化了训练和推理过程。
Event Traffic Forecasting with Sparse Multimodal Data
内容：本文提出了一种基于稀疏多模态数据的城市活动交通预测模型，旨在解决城市中各类活动（如体育赛事、展览、音乐会等）对周边交通模式产生的显著影响。这些活动会导致现有交通预测模型失效，因此作者提出了一个结合事件描述文本和历史交通数据的多模态交通预测问题，并设计了一个名为 T3的模型来处理这一问题。
扫描下方二维码，回复「多数融合」
免费获取全部论文合集及项目代码
