点击下方卡片，关注“CVer”公众号
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
AI/CV重磅干货，第一时间送达
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
来源：东北大学计算智能与自然学习团队
Kaifang Long, Guoyang Xie, Lianbo Ma*, Jiaqi Liu, Zhichao Lu. "Revisiting Multimodal Fusion for 3D Anomaly Detection from An Architectural Perspective." Accepted by AAAI-25. (CCF A)
从架构视角审视 3D 异常检测的多模态融合方案
工业异常检测有望像人工检查员一样准确地找出正常样本和异常之间的差异.现有的促进 3D 异常检测 (3D-AD) 多模态融合的努力主要集中在设计更有效的多模态融合策略上。然而，很少有人关注分析多模态融合架构 (拓扑) 设计对 3D-AD 的贡献。在本文中，我们旨在弥合这一空白，并系统地研究多模态融合架构设计对 3D-AD 的影响。这项工作考虑了模块内融合级别的多模态融合架构设计，即独立的模态特定模块，涉及具有特定融合操作的早期、中期或晚期多模态特征，以及模块间融合级别的多模态融合架构设计，即融合这些模块的策略。在这两种情况下，我们首先通过理论和实验探索架构设计如何影响 3D-AD 来获得见解。然后，我们扩展 SOTA 神经架构搜索 (NAS) 范式，并首次提出 3D-ADNAS 来同时搜索多模态融合策略和模态特定模块。
图1：3D-ADNAS 的总体框架
不同融合模式对3D-AD性能影响的直观展示
图一展示了在MVTec 3D-AD数据集上不同的融合模式，即早期融合、中期融合、晚期融合和混合融合，对3D-AD性能的影响。单独使用中期特征融合比早期或晚期特征融合效果更佳，而单独使用晚期特征会降低 3D-AD 性能。但是，当与其他融合策略结合时，晚期特征融合可以持续提高大多数 3D-AD 任务的性能。
图2：融合模式的选择对3D-AD性能的影响
不同特征选择对3D-AD性能影响的直观展示
图三展示了在MVTec 3D-AD数据集上不同的特征选择对3D-AD性能的影响。通常来说，选择前两层中间特征进行融合对 3D-AD 训练更有利，而不是选择标准 3D-AD 中使用的所有中间特征
图3：融合特征的选择对3D-AD性能的影响
实验结果
表一至表三展示了在Eyecandies数据集和MVTec 3D-AD数据集上的实验性能。结果表明，与最新的方法相比，我们的方法达到了最好的性能。
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集
CVPR 2024 论文和代码下载
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集
多模态和异常检测交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者异常检测微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者异常检测+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！
▲扫码加入星球学习
▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
