在智能制造闭环中（生产制造-缺陷检测-工艺优化-生产制造）的闭环中，基于AI的全自动缺陷检测是一个至关重要的环节。而这个环节缺少一个大规模细粒度丰富语义的数据集。这是笔者在思谋科技时参与的工作，被ECCV2024接收。
Github: https://github.com/EnVision-Research/Defect_Spectrum
Paper: https://arxiv.org/abs/2310.17316
DataSet: https://huggingface.co/datasets/Andyson/DefectSpectrum
摘要
缺陷检测在闭环制造系统中至关重要。然而，现有的缺陷检测数据集通常缺乏实际应用所需的精确度和语义粒度。我们开源了"Defect Spectrum"，这是一个全面的基准测试数据集，为各种工业缺陷提供了精确、语义丰富的大规模注释。基于四个关键的工业缺陷检测benchmark，我们的数据集细化了现有标注，并引入了丰富的语义细节，区分了单个图像中的多种缺陷类型。此外，我们介绍了"缺陷生成器"（Defect-Gen），这是一个两阶段的基于扩散的生成器，旨在创建高质量和多样化的缺陷图像，即使在有限的数据集上也能工作。"缺陷生成器"生成的合成图像显著提高了缺陷检测模型的有效性。总体而言，"Defect Spectrum"数据集展示了其在缺陷检测研究中的潜力，为测试和完善缺陷检测通用大模型提供了坚实的平台。
数据重标注
当前的工业数据集往往缺乏详细缺陷检查所需的粒度，许多数据集只提供二分类的mask或只有image-level的缺陷图像分类标注。在本号之前的推送中，也说到计算机视觉领域是如何逐步细化标注的（从硬标签到自然语言标注，从全图level到pixel level）：从one-hot谈起 —— CV监督学习标注演变史
因此我们构建了一个大规模的工业缺陷数据集，为各种工业缺陷提供pixel level、更强语义信息、更大规模的标注，提高了缺陷检测系统的精度。但受限于工业数据的保密需求，仅仅只开源了其中部分数据，这些开源数据来源是各种现有开源的工业缺陷检测数据集。具体来说，Defect Spectrum构建了四个开源的行业benchmark，相比于原始数据，完全重新进行了pixel-level的标注，确保精确表示细微缺陷，并减少了原始数据中大量的漏标注现象。我们的数据集提供了丰富的语义标注，可以在一张图像中识别数十种缺陷类型。此外，我们还为每个样本提供了自然语言的描述性说明（caption），为未来的视觉语言模型研究铺平了道路。
Defect-Click
缺陷的像素级标注，是一项要求很高的任务。我们提出了“Defect-Click”，这是一种先进的交互式分割工具，可以根据用户点击自动分割缺陷，利用预先训练的工业缺陷知识。使用Defect Click，我们在注释方面节省了超过60%以上的标注时间（尽管标注的人力成本依然很夸张，但会随着数据飞轮的运转，后期标注成本会越来越低），显著简化了工业领域的缺陷注释过程。这也是工业数据飞轮构建的重要环节。（更多更好的数据->更好的交互分割模型和缺陷检测模型->更低成本标注更多更好的数据）
Defect-Gen
许多工业数据集都存在缺陷样本数量有限的问题，即使是像VISION这样相对大规模的开源数据集也是如此。为了克服这个问题，我们提出了“Defect-Gen“，这是一种基于两阶段扩散的生成器。这种生成模型擅长于生成多样化和高质量的图像，即使在有限的数据上进行训练时也是如此。
生成数据同样可以作为数据飞轮的一部分，并加速其运转。
我们在下图中展示了使用生成数据实现的性能提升。值得注意的是，像MiT-B0这样的基于transformer的模型比基于CNN的模型从合成数据中受益更多。
点击👇关注 “思源Source”
👇点个“赞”和“在看”吧
