点击蓝字 · 关注我们
近日，海南大学食品科学与工程学院云永欢联合清华大学宋惟然博士、 中国农业科学院油料作物研究所张良晓研究员，在国际知名期刊《Food Chemisty》（IF=8.5，中科院大类一区TOP）上发表题为“Detection of camellia oil adulteration based on near-infrared spectroscopy and smartphone combined with deep learning and multimodal fusion”的研究性论文，海南大学2021级硕士研究生邓焯文为论文第一作者。
研究背景
山茶油是是一种风味独特、口感纯正的食用植物油，因其较高的营养价值和商业潜力，受到消费者和商家的广泛关注。然而，一些不法商家为谋取利益，掺入其它低价食用油，以次充好，影响油品质量并损害消费者权益。因此，迫切需要一种快速、准确的山茶油掺假识别方法。
色谱法是常用的食用油掺假检测技术，适用于低浓度掺假物的定量分析，但存在检测速度慢、样品处理复杂且具有破坏性的问题。此外，傅里叶变换红外光谱（FT-IR）、近红外光谱（NIR）和高光谱成像（HSI）等光谱技术也被广泛应用于油品鉴定，它们能提供油样的分子组成和化学特性，支持定性和定量检测掺假油，但设备成本较高。
计算机视觉 （CV）结合智能手机，具有图像信息采集便捷、成本低的优势，但CV仅能获取有限的数据信息。此外，智能手机视频成像（SVI）技术可通过捕捉样品的颜色变化以量化掺假水平，但依赖经验选择感兴趣区域（ROI），这可能导致重要信息的丢失。
深度学习，特别是卷积神经网络（CNN），是高效的特征提取工具，按输入数据维度可分为1D CNN、2D CNN和3D CNN。其中，1D CNN处理序列数据，2D CNN处理图像数据，3D CNN处理视频数据。结合视频数据，3D CNN能自动提取时间和空间信息，避免依赖经验选择ROI，从而提高检测精度。
成果简介
本研究提出了一种基于近红外光谱（NIR）和智能手机结合深度学习与多模态融合的山茶油掺假检测方法。首先，通过NIR技术获取掺假油样的光谱信息，并结合深度学习算法构建判别模型。其次，使用智能手机采集样品的图像和视频，获取计算机视觉（CV）和视频成像（SVI）信息，并与多个深度学习模型结合，探索它们在识别掺假山茶油方面的能力。最后，将CV和SVI数据与NIR数据融合，整合光谱和视觉信息，以补偿CV和SVI技术的局限性。研究结果表明，在视频数据上训练的深度学习模型可达最高的识别准确率（96.30％），且多模态融合可在一定程度上提升鉴别模型的性能。综上，本研究提出了一种实时检测山茶油真实性的新方法，为未来利用智能手机进行快速在线检测奠定了基础。
研究亮点
1. NIR和智能手机有效用于山茶油掺假检测。
2. 比较了基于NIR、图像和视频数据的鉴别模型性能。
3. 视频数据结合深度学习展现了出色的掺假鉴别能力。
4. 多模态融合提升了鉴别模型的性能。
图1. 图像和视频采集平台的示意图
图2. 侧面（A）和垂直（B）角度下三个不同品牌的纯山茶油和纯菜籽油；侧面（C）和垂直（D）角度下各浓度的掺伪山茶油；Camera2Video应用软件在智能手机屏幕上生成光的颜色变化（E）
图3. 油样的原始 NIR 光谱图像 （A） 和预处理（SG 平滑、SNV 和 1st Der）光谱图像 （B）；（C） 基于 NIR 的 1D CNN 模型的结构示意图（C：卷积层；S：最大池化层；FC：全连接层）
图4. 多模态深度学习模型示意图
图5. 纯山茶油和纯菜籽油各类数据的t-SNE可视化结果：（A）NIR数据；（B）侧面角度图像数据；（C）垂直角度图像数据；（D）侧面角度视频数据；（E）垂直角度视频数据
表1. NIR 、图像和视频数据的深度学习模型分类结果
表2. 多模态深度学习模型分类结果
图6. 各模型测试集的混淆矩阵结果：（A）基于NIR数据构建的1D CNN模型；（B）基于侧面图像数据构建的ResNet34模型；（C）基于垂直图像数据构建的ResNet18模型；（D）基于侧面视频数据构建的ResNet10模型；（E）基于垂直视频数据构建的ResNet10模型
# 研究结论 #
本研究将近红外光谱（NIR）、计算机视觉（CV）和手机视频成像（SVI）技术与深度学习算法结合，应用于定量检测掺假山茶油样品。基于NIR的1D CNN模型在盲样测试中取得了92.59%的准确率。基于迁移学习的ResNet18模型在垂直图像数据中的准确率为94.44%。此外，基于视频数据的多种深度学习模型（如ResNet10、ResNet18和MobileNetV3）均达到了96.30%的最佳分类准确率。其中，MobileNetV3的高效率为未来使用智能手机进行现场实时检测山茶油真伪提供了重要参考。视频数据结合3D CNN模型的表现整体优于图像数据和NIR数据，表明提供更丰富信息的视频数据在未来食品掺伪检测中具有较大发展潜力。最后，使用多模态深度学习模型结合NIR信息和CV信息，其中光谱结合垂直图像的多模态模型在性能上有所提升。
此外，本研究所得结果是在受控实验室条件下获得的，模型仍需在更广泛的掺假物种类和不同条件下进行验证，以提高鲁棒性。优化这些模型有望实现更快、更精准的实时检测，并拓展到其他食用油或液态食品的检测中。若将此技术集成到消费级智能手机中，可以使食品真实性检测更加普及，扩展系统支持的掺假物种类将进一步提升其在各行业食品安全保障中的应用价值。
原文链接
https://doi.org/10.1016/j.foodchem.2025.142930
通讯作者简介
云永欢，博士，副教授，博士生导师。现为海南大学食品科学与工程学院副院长，海南省院士团队创新中心负责人。入选海南省南海创新人才，海南省科协青年托举人才，海南省拔尖人才。2022至2024年连续三年入选“年度科学影响力”全球前2%顶尖科学家榜单。担任海南省食品安全委员会专家，海南省食品安全风险评估专家委员会和食品安全地方标准委员会委员，海南省食品科学技术学会副秘书长，中国仪器仪表学会近红外光谱分会理事。研究方向为食品品质安全的智能化快速无损检测技术与真实性研究，主要从事化学计量学与人工智能算法与应用、围绕椰子水、山茶油、热带果蔬、水产品等海南地理标志农产品的开发利用、品质评价、分类分级与真实性鉴别研究。
主持2项国家自然科学基金、10余项省部级及各类项目以及1项海南省高等学校教育教学改革研究重点项目。以第一作者或通讯作者在TRAC-trends in Anal. Chem, Trends in Food Science & Technology, Food chem., Anal. Chim. Acta等期刊发表论文40余篇（JCR1区30余篇，入选ESI高被引2篇）。谷歌学术总引用次数6000余次，H指数为40。合著出版英文学术专著2部。担任Journal of Analysis and Testing、Journal of Future Foods和Metabolites等SCI期刊编委/青年编委和《食品安全质量检测学报》青年编委。
获2022年中国仪器仪表学会第四届“陆婉珍近红外光谱奖”青年奖。获海南省教学成果二等奖（2020）、中国仪器仪表学会科技进步三等奖（2023）和中国商业联合会科技进步二等奖（2024）。获海南大学“十佳好老师”“优秀班主任”和“五一劳动之星”“优秀本科生学业导师”等荣誉称号。获全国高校食品科学与工程专业实验教学案例一等奖（2024）。获海南大学第五届青年教师“教学能手”比赛一等奖（2024）。获第五届海南大学教师教学创新大赛一等奖（2024）。
宋惟然，博士，清华大学博士后。研究方向为机器学习和高光谱成像。以第一作者发表SCI论文16篇。主持国家自然科学基金青年项目一项。
第一作者简介
邓焯文，海南大学2021级硕士研究生，现为江南大学2024级博士研究生。主要从事深度学习算法与食品安全研究，目前以第一作者在Trends in Food Science & Technology，Food Chemistry，Journal of Food Composition and Analysis和 Chinese Journal of Analytical Chemistry期刊发表SCI论文4篇。2024年获海南大学优秀硕士学位论文和海南大学优秀毕业生。
版权声明
本文转载自“FoodAI”微信公众号，原标题“AI+手机视频成像技术|海南大学云永欢联合清华大学、中国农科院油料所知名学者在食品顶刊发表重要研究成果”。转载仅用于学术分享，若有侵权，请后台留言联系修改或删除！
