智慧应急:特殊群体目标检测数据集 HBDset

文摘   科学   2024-06-04 07:30   安徽  

‍丁一飞 陈星好 王自龙 黄鑫炎 

香港理工大学 建筑环境与能源工程系
在灾害事故发生时,正确的疏散策略和快速高效的逃生行动对保障群众的生命安全至关重要。然而, 由于身体或心理上的缺陷,孕妇、老年人、儿童、残疾人等特殊群体(1) 在疏散过程中行动缓慢,往往更容易受到伤害, 也会造成阻塞等,进一步拖慢整体逃生进程,造成大面积伤亡。
图1:(a) 台风中的妇女儿童;(b) 疏散中的残疾人

一项美国的调查表明,建筑火灾遇难者中,老年人占比高达32%,远远高于其在总人口的占比(13%[1]因此在制定消防设计方案和应急管理政策时,我们必须充分考虑到弱势或需要特殊帮助的群体的疏散问题。

在医院、车站、机场等特殊公共场景中,存在大量的特殊弱势群体(图2)。当灾害发生时,现场工作人员需要能够及时发现该类群体,并给予帮助快速,如提供必要的搀扶、轮椅或担架等。这对现场应急工作的安全监测能力和资源调配效率提出了很高的要求。

图2:典型的高铁候车大厅

然而现有的监控设备和应急设施不能精准监测到弱势群体并快速响应,仍需投入大量人力资源。因此,我们提出利用人工智能、计算机视觉等智能技术,实现对弱势群体的自动识别定位和安全监测,从而提供更有针对性的帮助和救援策略。

这种基于智能技术的公共应急管理方案,可以提高事故响应的效率和精准度,降低人力投入成本,更好地保障在紧急情况下特殊群体的生命安全。这对于我们构建以人为本、智能化的公共安全体系具有重要意义。

计算机视觉的特殊人群检测数据集

香港理工大学火灾实验室在前期的研究中提出了以计算机视觉和深度学习算法驱动的楼宇应急安全数字孪生系统框架(见前文:智慧消防 之 人员疏散数字孪生)[2],旨在实时为人员疏散监测提供更准确、集成和多样化的信息。

在此基础上,我们基于对现有目标检测深度学习模型的二次开发,增加了对特定弱势群体的识别检测功能(图3)。我们构建了一个人类特征与行为检测数据集(HBDset),包含8种公共场合常见人特征或群行为,总数量超过2900个样本。这个数据集可以用于训练目标检测模型, 旨在实现对常见人类行为及弱势群体人员的精准识别检测 [3]。

图3:本文的总体方法
HBDset 数据集将应急场景的常见行为分为8类(如表1),包括

  • 身体无异常特征的普通行人,

  • 需要特别关注的弱势群体如残疾人、老年人、儿童及孕妇,

  • 在疏散过程中可能阻碍逃生的行为,如拖拽大行李和玩手机。

每一类人群,我们收集约200张图片,并按照目标检测任务的标准格式进行了数据标注。

表1:HBDset数据集的统计描述

我们使用标注过的HBDset数据集成功训练了当下几款热门的目标检测模型,并在测试集上取得了精确的检测效果。如图4所示,我们训练的AI模型已经具备了准确识别、分类和定位不同人员群体(包括普通行人和各类特殊弱势群体等)的能力,这对于提升应急响应的针对性和效率非常关键。

图4:包括弱势群体的人类行为智能检测效果

智慧应急管理的应用展望

上文中所提出的弱势群体检测方法可以用于开发功能丰富、响应迅速、高自动化的应急监测管理系统。为此,我们设计了一个可应用在车站、机场等公共场所的智慧应急安全系统框架(图5)。该系统可接入公共场所监控设备,用于初始视频信号的捕捉并传输至运算中心。运算中心的人工智能模型部署在边缘计算设备或云端,负责实时处理视频,识别和检测不同人群尤其是弱势群体的动向和状态。中央控制室接收检测结果根据提取到的关键信息如需帮助人数、所需资源等自动向现场工作人员和机器人发布调配指令,如需要多少轮椅或担架,是否有孕妇需要特殊的救助,提醒玩手机的乘客专注疏散等 [3]

图5:应急检测系统框架

该系统既可用于日常安全监测,又能在应急状况下协助疏散引导。这种智能化、自动化的监测和管理方式,不仅能帮助工作人员提高工作效率,降低劳动强度,还能在紧急情况下对需要特殊协助的不同群体提供精准救助。

综上,弱势群体的智能检测方法有助于推动应急管理系统向更高智能化水平发展,为解决弱势群体疏散安全问题提供了有效可行的解决方案。未来,本团队将继续检验本方法在复杂高密度疏散场景的应用能力,并结合多视频流追踪及多模态监测技术等,力求推出面向大应急场景的实时数字化系统开发框架

该项研究受香港主题研究计划(SureFire)和国家自然科学基金资助,已发表于安全科学领域的核心刊物《Journal of Safety Science and Resilience》,数据集及相关代码已开源于

https://github.com/JDmoric/HBDset-A_Human_Behaviour_Detection_Dataset

全文链接请见下方二维码。香港理工火灾安全科学研究团队将持续推进相关工作,助力智慧城市消防从理论走向实践。

相关链接文献

[1] Gilbert, D.T. Butry, Identifying vulnerable populations to death and injuries from residential fires, Inj. Prev. 24 (2018) 358–364.

[2] Y. Ding, Y. Zhang, X. Huang, Intelligent emergency digital twin system for monitoring building fire evacuation, J. Build. Eng. 77 (2023) 107416.

[3] Y. Ding, X. Chen, Z. Wang, Y. Zhang, X. Huang (2024) Human Behaviour Detection Dataset (HBDset) for Using Computer Vision in Public Safety and Emergency Response, Journal of Safety Science and Resilience. https://doi.org/10.1016/j.jnlssr.2024.04.002


作者介绍

丁一飞:香港理工大学博士生,研究方向为基于人工智能的智慧消防

 

▲长按识别二维码

查看丁一飞个人网页

黄鑫炎 博士香港理工大学副教授、博士生导师,研究领域包括基础燃烧科学和火灾安全应用。

▲长按识别二维码
查看文章全文

相关阅读

图文 | 丁一飞

编辑 | 谢伟康

审核 | 黄鑫炎

理大火灾安全科学
香港理工大学火灾安全科学实验室(黄鑫炎博士课题组),致力于消防安全领域的科普,火灾科学与技术的分享。
 最新文章