超实时 火焰检测 + 事件相机

文摘   科学   2024-12-02 07:30   中国香港  
丁赛喆 张予馨 黄鑫炎 香港理工大学
张皓瑞 宋卫国 中国科学技术大学
火焰检测技术在消防安全应用中至关重要,尤其是基于视觉的火焰检测方案已逐渐成为主流。然而,由于传统相机的成像原理,仍存在一些无法完全解决的挑战。例如,静态背景或运动模糊可能导致误报,而曝光过度则会影响火焰定位的精度(如图 1)。此外,高分辨率图像数据冗余,不仅影响传输速度,还增加了复杂的预处理步骤和大规模模型结构的负担。
图1:传统相机在火焰检测中存在的缺陷
一种新型的仿生相机——事件相机[1],有望突破这些限制。事件相机的成像原理模仿了生物视网膜的工作机制,每个像素独立、异步工作,仅在场景亮度发生变化时输出(即触发事件)。在该成像原理下,事件相机具有极高的动态范围(> 120 dB)和高时间分辨率(< 1毫秒),有效克服了环境光变化和运动问题[2],见图 2。
图2:事件相机在成像上表现出的优势

利用事件相机的异步特性,我们可以突破传统火焰检测技术的限制,带来以下优势:

(1)静态背景去除:事件相机仅关注动态物体,显著减少了由静态物体引起的误报。

(2)高动态范围:事件相机能够在极高的动态范围内工作,不受光照变化影响,确保在明亮或昏暗环境中的稳定性能。

(3)超高响应速度:事件相机在微秒级别响应,迅速捕捉火焰的瞬时变化,提供更快、更准确的火灾预警。

(4)低功耗:仅在像素变化时激活,显著减少了功耗,适用于长时间监控任务。

然而,目前尚未有任何基于事件相机的火焰检测数据集被公开。基于此,我们拍摄并发布了一个基于事件的单火焰目标检测数据集FlaDE,该数据集包括多种照明条件和干扰物体,同时包含事件数据和传统灰度图像数据(如图 3所示)。此外,为了解决事件相机在低光照场景中可能存在大量噪声的问题,我们设计了一个递归去噪模块对数据集中的噪声进行人工预处理

图3:基于事件的火焰检测数据集FlaDE部分场景示例

随后,基于火焰的事件分布特性[3],我们设计了一个高速的火焰检测算法BEC-SVM,如图 4所示。该算法首先通过生成器对可能存在火焰的区域进行提取,随后送入分类器中对运动物体进行分类,从而实现火焰的检测[4]。得益于事件相机的高时间分辨率和SVM算法的高计算效率,该检测算法在FlaDE数据集上实现了96.6%的mAP检测精度,同时仅在CPU上就达到了500FPS的检测速度。

图4:基于事件的火焰检测算法BEC-SVM框架

目前,相关研究成果已发表在《Expert Systems with Applications》。未来的研究工作将引入深度学习的方法,以提高算法的鲁棒性。

相关链接文献

[1] Gallego at al. (2022). Event-Based Vision: A Survey. IEEE Trans. Pattern Anal. Mach. Intell., 44(1), 154–180.
[2] Brandli et al. (2014). A 240 × 180 130 dB 3 µs Latency Global Shutter Spatiotemporal Vision Sensor. IEEE Journal of Solid-State Circuits, 49(10), 2333–2341.
[3] Lin et al. (2022). Autofocus for Event Cameras. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 16323–16332.
[4] S. Ding, H. Zhang, Y. Zhang, X. Huang,  W. Song (2024) Hyper real-time flame detection: Dynamic insights from event cameras and FlaDE dataset. Expert Systems with Applications, 125746.

主要作者简介

丁赛喆香港理工大学博士生,主要研究智慧消防及虚拟现实在消防中的应用。

▲长按识别二维码

查看丁赛喆个人网页

黄鑫炎:香港理工大学副教授、博士生导师,研究领域包括基础燃烧科学和火灾安全应用。

▲长按识别二维码
查看黄鑫炎个人网页


相关阅读

图文 | 丁赛喆

编辑 | 谢伟康

审核 | 黄鑫炎


理大火灾安全科学
香港理工大学火灾安全科学实验室(黄鑫炎教授课题组),致力于消防安全领域的科普,火灾科学与技术的分享。
 最新文章