人工智能推动矿物/岩石自动识别技术的发展，该技术减少了人工成本和对个人经验的依赖。随着仪器仪表的数字化，图像识别发挥着越来越重要的作用。清华大学联合中国地质大学近期在期刊Advanced Intelligent Systems（JCR Q1, 影响因子7.4）发表论文“Application of Image Sensing System in Mineral/Rock Identification: Sensing Mode and Information Process”，重点介绍了用于矿物/岩石识别的图像传感系统，并将其重新划分为传感模块、成像模块和信息处理模块。
https://onlinelibrary.wiley.com/doi/10.1002/aisy.202300206
本文基于传感、成像和显示技术对传感和成像机理进行了总结，并将信息处理分为单模态识别和多模态识别。本文分析了单模态识别的局限性，讨论了多模态识别的优势和意义。此外，总结了当前矿物/岩石识别面临的挑战，如公共数据库、多模式学习和便携式传感系统。最后，对跨学科传感技术进行了探索，并探讨了其应用可行性。本文旨在为矿物/岩石自动识别和传感系统优化的研究提供参考。
图 1 用于矿物/岩石识别的图像传感系统。它由传感模块、成像模块和信息处理模块组成。成像模块捕获来自传感模块的光信号并生成矿物/岩石图像。信息处理模块接收并处理数据以输出样本类别和属性。
1 传感和成像模块
传感成像模块依靠光学系统采集光信号。光的能量和波长反映了物质的性质。可见光由于具有亲和力，可以适应于无损检测。x射线和可见光没有本质上的区别，但x射线具有更高的能量和穿透性。光电显示器为观测者提供信息可视化，将图像数据输入信息处理模块，得到识别结果。由于光学系统具有兼容性，因此一些多模态器件集成了多类型的传感模块来获取多模态信息。高精度依赖于复杂的光学系统。因此，便携式仪器的光学集成仍然是一个巨大的挑战。
图 2 成像和显示的过程
2 自动数据采集自20世纪60年代以来，随着扫描电子显微镜的发展，自动识别研究逐渐展开。鉴定过程包括扫描样品、收集数据、分析数据和输出结果。数据大小与收集方法有关。人工采集需要更换样品、固定样品、调整放大倍数、旋转样品和记录数据。随着数据的大量增长，自动数据采集系统取代了效率低下的人工采集。例如，利用微型计算机控制由连续驱动电机和齿轮箱组成的等速电动工作台来调节扫描角度。采集系统还配备了自动装载机，用于自动更换矿物样品，或者使用计算机控制的扫描电子显微镜和电子成像系统实现了高度自动化的矿物数据采集。3 矿物/岩石数据的单模态识别
深度学习模型采用数据驱动的方法训练参数，其泛化程度与数据大小相关。自动数据采集平台为大规模数据采集提供了方便。因此，研究人员可以建立大型矿物/岩石数据库，使模型的性能能够通过公开数据进行验证，以获得公正的评估。传统的机器学习方法对多维数据的空间特征不敏感。CNN利用卷积机制提取具有多维相关性的空间信息。两种方法的结合可以在特定的任务中发挥互补的作用。网络结构和特征提取机制与数据类型相匹配。例如，1D-CNN对拉伸光谱数据进行伪二维特征提取。在矿物属性识别任务中，通过卷积编码将抽象数据信息转换为语义信息。该网络结合了编码器和解码器来重建微观特征。考虑到矿物特征的复杂性和抽象性，多模态识别是智能识别的发展趋势。
4 矿物/岩石数据的多模态识别
矿物/岩石的多模态识别还处于低水平的融合和学习研究阶段。尽管研究人员试图建立数据之间的相关性，但他们缺乏对特征层次的逻辑探索。此外，多模态特征的深度表示和多维关联还不够清晰。融合可能导致某些特征的重叠和底层特征信息的遗漏。特征融合的学习策略与融合数据的学习策略相似。将这些学习策略引入到特征融合中进行独立的特征提取。多模态融合技术的主要目标是减少语义子空间的分布差异，同时保持模态特定语义的完整性。模态相关性很难在数据层面建立。融合可能无法充分实现模式之间的互补，并导致冗余向量的输入。矿物数据的多样性增加了融合和学习的难度。本文认为多模态矿物识别研究需要关注以下几个问题:1)模态相关判别:模型应融合相似特征，同时避免不相关信息，从而提高模态融合程度和融合效率;2)特征偏差学习:利用注意机制获取不同模态的重要性分布概率，重新加权融合特征具有更优化的特征表示;3)探究不同模态之间的共性和个性:共性是模态相似表达的基础，个性凸显模态信息的互补性;4)提高多模态数据的质量:在保持子空间中信息的完整性和一致性的同时，尽可能满足信息同构。
图 3 多模态识别包含融合和学习
5 前沿传感技术探索-视触觉传感一些研究探索了视触觉传感器在木材识别中的应用。本文认为它有潜力提供高质量的矿物/岩石信息，并与便携式传感系统集成。首先，弹性体的弹性特性和自适应变形保证了传感器对矿物/岩石精细纹理细节的敏感性。其次，制备优化提高了硬件维护。此外，涂层耐磨性的提高延长了视触觉传感器的生命周期，从而降低了零件更换的频率。最后，视觉的多模态特性有利于便携式仪器的功能集成和结构优化。图 4 视触觉传感器获取植物/古生物化石的触觉信息
6 总结
本文以图像传感系统为核心，对矿物/岩石识别技术进行了综述。将传感系统重新划分为传感模块、成像模块和信息处理模块。三个模块分别负责信号产生、图像采集和信息处理。基于深度学习的图像识别已经成为矿物/岩石识别的主要方法。传统的机器学习方法在学习特定矿物特性方面也具有优势。它们的结合可以提供技术互补。
矿物/岩石识别已从单一模式发展到多模式。多模态识别具有精度高、信息互补性强、检测针对性强等优点。传感集成是扩大识别范围的关键，特别是在便携式传感系统中。数据融合多用于同构数据，特征融合可以处理异构数据。图像数据同构性为多模态融合提供了天然的便利。利用层次融合可以增强多维特征的表达能力。未来多模态识别应解决模态相关判别、特征偏差学习、模态数据共性与个性、数据质量等问题，增强融合和学习效果。
触觉感知也是属性识别的一种重要方式。触觉可视化提高了触觉和视觉信息的融合质量。这种机制可以丰富矿物/岩石数据的多样性。视触觉传感器是一种结构简单的新型光学传感器。便携式设计可满足野外使用。稳定的传感系统可以抵抗环境干扰。高兼容性使得传感器可以很容易地与其他传感模块集成。本文认为视触觉传感器有潜力集成到便携式仪器中，以提高矿物识别性能。
图像识别顺应了数字化发展的趋势。视觉集成为仪器的多模态传感提供了技术支持。多模式识别和便携式仪器有望推动矿物户外识别技术的发展。这符合矿物识别智能化的发展趋势。本文旨在为模态集成和传感系统的发展提供参考，并从技术细节上加深科研界对成像传感的理解。
Zhang, S., Yang, Y., Sun, F. and Fang, B. (2023), Application of Image Sensing System in Mineral/Rock Identification: Sensing Mode and Information Process. Adv. Intell. Syst. 2300206. https://doi.org/10.1002/aisy.202300206.（fangbin@tsinghua.edu.cn）
