论文标题：Improving Item-side Fairness of Multimodal Recommendation
via Modality Debiasing
作者：Yu Shang, Chen Gao, Jiansheng Chen, Depeng Jin, Yong Li
发表：Proceedings of the ACM Web Conference 2024（WWW 2024）
论文链接：https://dl.acm.org/doi/pdf/10.1145/3589334.3648156
导读
多模态推荐系统已经被广泛应用于电商和短视频平台，现有方法普遍通过引入物品的多模态内容（如图像、文本）来提升推荐性能。然而，这种训练方式倾向于优先推荐具有主流模态内容的物品，导致物品侧的不公平问题，即部分物品被过度推荐，而大量物品则缺乏推荐机会，这一问题使得相当一部分内容创作者遭受不公平对待。为解决这一问题，本文提出了一种基于反事实推断的公平性感知的模态去偏框架。在训练阶段通过单模态分支捕捉模态偏差；在推理阶段通过公平性感知的反事实推断自适应消除这种偏差。该框架与具体模型无关，可灵活应用于多种多模态推荐方法。实验结果表明，该方法在显著提升物品侧公平性的同时仍能保持优异的推荐性能，为缓解内容创作者在多媒体平台中的不公平待遇提供了有效方案。
背景
多模态推荐系统在电商和短视频平台等领域得到了广泛应用，通过融合物品的多模态内容（如图像、文本）为用户提供更精准的推荐。然而，由于训练数据中模态内容分布不均，现有方法在学习过程中容易产生“模态偏差”：如果某种模态（如某类图片风格或文本描述）在用于训练的历史交互数据中频繁出现，模型会将其作为用户偏好的主要依据，从而过度推荐此类物品，而忽视其他模态内容丰富的物品。这种偏差导致部分物品在推荐中被过度曝光，而大部分物品则几乎没有推荐机会，形成物品侧的严重不公平现象。长期来看，这不仅损害用户体验，还剥夺了大量内容创作者的展示机会，阻碍了平台生态的健康发展。因此，亟需新的方法解决模态偏差问题，提升多模态推荐系统的公平性，让更多物品能够获得平等的推荐机会。
方法
1. 模态偏差的来源分析
多模态推荐系统在处理物品的视觉和文本等多模态内容时，由于训练数据分布的不均衡，容易导致模态偏差。例如，当某种模态（如视觉模态）的特定特征在训练数据中频繁出现时，模型会倾向于将这些特征作为用户偏好的主要依据。这种现象使得具有主流模态特征的物品被过度推荐，而其他物品则缺乏推荐机会，导致推荐结果的严重不公平。
2. 因果视角下的模态偏差分析
图1 模态偏差对推荐结果影响的因果分析
为理解模态偏差如何导致推荐系统的不公平，该研究通过因果图模型，系统地分析了偏差的形成机制和传递路径。传统多模态推荐系统的偏好预测主要依赖于以下两个因果路径：
🔹用户与物品匹配路径（U & I → Y）：这是核心的推荐机制，用户表征（U）和物品表征（I）的匹配决定了偏好分数（Y）。该路径通过结合用户和物品的特征，反映出用户对物品的真实偏好。
🔹模态内容对物品表征的影响路径（M & V → I → Y）：单模态特征（V）通过影响物品的多模态表征（I），间接影响偏好分数（Y）。这代表着多模态特征融合操作。
然而，在存在模态偏差的情况下，会出现一种模态内容直接影响预测的路径（V → Y），即某些模态特征（如视觉模态）直接影响最终偏好分数（Y），而不依赖于融合后的物品表示（I）。这种通路是一种“虚假捷径”，模型简单地将某种单模态信息作为用户偏好的主要依据，而忽视了其他模态的作用。例如，在服装推荐中，模型可能只根据视觉模态中的“白色”特征进行推荐，而忽略了文本模态的关键信息。
通过因果图分析，该研究揭示了这种直接路径（如V → Y）是导致模态偏差的根本原因。它使得高频模态特征对推荐结果具有显著影响，而其他模态信息的影响被削弱，导致主流模态特征的物品被过度推荐，引发推荐结果的不公平。
3. 公平性感知的模态去偏框架
针对模态偏差的根源，该研究设计了一个公平性感知的模态去偏框架，从训练和推断两个阶段系统解决这一问题。具体方法包括以下三个关键步骤：
3.1 多任务学习训练机制
在训练阶段，该框架引入了单模态预测分支，旨在更精准地捕捉模态偏差的直接影响。这一机制通过多任务学习优化，确保模型能够同时优化以下三项目标：
🔹多模态特征融合目标：传统多模态推荐的目标函数，通过结合所有模态特征预测用户偏好。
🔹视觉模态预测目标：针对视觉模态单独训练一个分支，用于学习视觉模态对偏好分数的直接影响。
🔹文本模态预测目标：针对文本模态单独训练一个分支，用于学习文本模态对偏好分数的直接影响。
图2 模态去偏框架的训练流程示意图
3.2公平感知的去偏强度设计
在推断阶段，为实现更精确的去偏效果，该研究设计了一个动态调整去偏强度的机制。研究发现，模态偏差对不同物品的影响程度不一，具体取决于（1）物品偏好分数排名：偏好分数排名越高的物品，越可能因模态偏差而被错误地过度推荐（2）模态内容频率排名：物品模态内容的出现频率越高，越可能引发模态偏差。
基于上述思想，模型对于模态内容频率排名较高且偏好分数排名靠前的物品，加大去偏力度，避免其过度推荐；对于模态内容频率排名较低的物品，减少去偏力度，避免对小众模态物品的推荐造成负面影响，该部分设计如图3所示。通过这一动态机制，框架在消除模态偏差的同时，保证了推荐结果的多样性和公平性。
图3 动态模态去偏强度设计示意图
3.3反事实推断
通过反事实推断技术，首先计算某一模态特征对推荐结果的直接影响（即模态偏差）。具体而言，研究构建了一个反事实场景，假设该模态特征的影响完全被移除（即该模态特征固定为某一常量），然后计算以下两部分：
🔹直接效果（Natural Direct Effect, NDE）：表示该模态特征（如视觉模态）直接影响偏好分数的部分。
🔹间接效果（Total Indirect Effect, TIE）：表示通过物品多模态表示（I）间接影响偏好分数的部分。
如图4所示，研究通过消除直接效果（NDE）来消除模态偏差的干扰，从而获得更公平的推荐分数。
图4 反事实推断消除模态偏差示意图
结果
在亚马逊平台的两个公开电商数据集上的实验结果表明（如表1所示），所提出的模态去偏框架在提升推荐公平性方面表现突出，优于多种基线方法，主要结论如下：
1.推荐公平性显著提升
模态去偏框架有效缓解了推荐系统中模态偏差导致的物品分布不均问题，使更多物品能够获得推荐机会。无论在不同数据集还是不同场景中，方法均显著改善了物品端的公平性（Gini index、Entropy、Coverage指标），推荐列表的多样性和均衡性得到了大幅提升。
2. 取得推荐准确性与公平性的最佳平衡
与其他方法相比，模态去偏框架不仅提升了公平性，同时在推荐准确性上也保持了竞争力。与现有多种方法在提高公平性时牺牲准确性的情况不同，本框架实现了准确性和公平性之间的良好平衡，为多模态推荐提供了更加全面的优化方案。
3. 模态偏差是公平性问题的主要来源
研究进一步发现，模态偏差对推荐系统的不公平性影响远大于流行度偏差。针对模态偏差的去偏方法在提升公平性方面更具成效，充分验证了本框架的针对性和有效性。
表1 Amazon-Baby数据集实验结果
结语
本研究首次关注到多模态推荐中模态偏差导致物品推荐不公平问题，并提出了基于反事实推断的公平感知模态去偏框架。该框架有效缓解了主流模态特征引发的过度推荐问题，在显著提升物品端公平性的同时，保持了高水平的推荐准确性。该方法为多模态推荐系统的公平性优化提供了重要支持，有助于改善多媒体平台中内容创作者的不公平待遇。
