随着港口交叉腹地范围的扩大，港口不仅提供传统的装卸和储存服务，还为产品提供增值服务，成为国际物流与国内物流的交汇点‌。港口通过货物装卸和转运功能，实现全球范围内的高效运输‌，而大型集装箱起重机设备，是完成物流环节的重要载体。 大型集装箱起重机是港口重要的作业设备，负责集装箱的装卸作业。随着港口集装箱吞吐量的不断增长，大型集装箱起重机的作业强度也随之提高。然而，大型集装箱起重机作业环境复杂，存在许多安全隐患，例如起重机操作员疲劳、注意力不集中、违规操作等，这些因素都可能导致事故发生。据统计，近年来港口起重机事故频发，造成了人员伤亡和财产损失。仅2022年，全球范围内就发生了数十起大型集装箱起重机事故，造成数十人死亡和受伤。 传统的大型集装箱起重机安全管理主要依靠安全培训和人工监控。然而，这些方法存在诸多局限性。安全培训难以持续有效地改变操作员的不安全行为，而人工监控难以实时全面地监测操作员的行为。因此，国芯智科开发一种更加有效的安全管理方法，能够及时识别和预警起重机操作员的危险行为，帮助预防事故发生。 

▼

驾驶员行为分析智能预警系统

国芯智科开发的港口大型物流集装箱起重机驾驶员行为分析智能预警系统,利用计算机视觉和传感器技术对起重机操作员的行为进行实时监测，并采用人工智能算法识别潜在危险。

技术特点：

实时性强：能够实时监测起重机操作员的行为，及时发现危险行为；

准确性高：采用人工智能算法识别潜在危险，识别准确率高；

可扩展性强：可以扩展到其他类型的起重机和作业设备等。

其研究的成果具有提高大型集装箱起重机的安全运行水平，减少了事故发生的概率。改善了港口作业人员的安全生产条件，保障了港口生产安全的重要意义。 

本产品采用以下方法进行研究，

数据收集：在大型集装箱起重机作业现场采集了大量视频数据和传感器数据。视频数据包含起重机操作员的图像和行为信息，传感器数据包含起重机的运行状态信息；

数据分析：对视频数据和传感器数据进行分析，提取起重机操作员的行为特征；

算法开发：采用人工智能算法识别起重机操作员的危险行为；

系统开发：基于算法开发了大型集装箱起重机智能预警系统。

▼

系统创新性

1、基于精细采集与数据增强的驾驶人员作业过程中不安全行为数据集构建。利用高清摄像头等先进设备，精细采集作业现场的高清视频和图片数据。运用数据融合技术，将不同来源、不同格式的数据进行有效整合。采用图像截取、饱和度调整等数据增强手段，对原始数据进行合理变换和扩充。同时，引入生成对抗网络（GAN）技术，生成更加丰富多样的不安全行为样本，提高模型的泛化能力。在实现AI视频识别的过程中，对原始视频数据进行预处理，对比度增强、色彩空间转换等操作，使用计算机视觉技术检测视频中目标区域，例如人脸、人型等。目标检测算法通常基于深度学习，如卷积神经网络（CNN），对检测到的目标进行特征提取，以描述目标的特征，将提取的特征输入到分类器中进行识别。分类器可以是简单的阈值比较器，也可以是复杂的深度学习模型。对分类识别的结果进行后处理，包括数据融合、过滤、标注等操作，以便更好地理解和使用识别的结果。

2、基于端到端高泛化性多任务学习的不安全行为识别模型训练评估及应用。设计一个基于端到端的多任务学习模型，能够直接从原始数据中学习特征，并同时处理多个相关任务，如行为分类、行为定位、行为描述等。引入多模态时空注意力机制，对不同模态的数据进行融合分析，提取关键特征。采用多帧的图像序列（TDN）和人体姿态及骨骼关键点（CTR-GCN）检测和深度学习技术，实现图像多维度的特征提取。利用主干网络和分支网络相结合的方式，实现多任务同时关联处理。通过不断地迭代和优化，使模型能够逐渐学习到如何根据特征来准确识别作业现场的关键不安全行为。 

3、基于算法结构优化和模型压缩技术的边缘端不安全行为识别算法优化。针对边缘计算环境特点，通过简化算法结构、优化特征提取指标等方法，对行为识别算法进行优化。同时采用剪枝、量化等模型压缩技术，减少模型的大小和计算量，提高识别模型的精度和运算速度。引入多任务学习强泛化性不安全行为识别方法，通过共享底层网络结构和参数，在多个任务之间传递知识，提高整体性能。将识别模型应用于码头作业现场，确保其在实际应用中的有效性、适应性和稳定性。

产品实用性

本产品采用C/S架构，由客户端和服务器端两部分组成。客户端安装在起重机操作员的移动终端上，负责采集行为数据并发送到服务器端。

服务器端负责分析行为数据，识别潜在危险行为，并发出预警信息。

客户端负责采集起重机操作员的行为数据，包括图像数据、视频数据、音频数据等。

客户端可以采用固定摄像头、可移动摄像头、可穿戴设备等多种方式采集数据。

客户端还负责将采集到的行为数据发送到服务器端。

服务器端主要包括数据接收模块：负责接收客户端发送过来的行为数据;

数据预处理模块：负责对接收到的行为数据进行预处理。

人员行为特征提取模块：负责提取起重机操作员的行为特征，包括姿态特征、动作特征、面部表情特征等。

潜在危险行为识别模块：负责识别起重机操作员的潜在危险行为，包括疲劳驾驶、注意力不集中、违规操作等。

智能预警机制模块：负责发出预警信息，提醒起重机操作员采取措施避免危险。

该产品的创新技术应用，能够有效减少因不安全行为导致的事故，降低人员伤亡和经济损失，同时提高作业效率和安全管理水平。与国外同类技术相比，本产品更注重实际应用场景的复杂性和多变性，在功能集成、实时性和用户友好性方面具有明显优势，能够满足现代港口作业的需求。

未来，是国内大型集装箱必不可少的产品应用 ，国芯将不断完善技术创新和数据分析能力，进一步在港口扩展其应用范围，融入更多智能化元素，如大数据分析和云计算平台，提升港口物流作业决策支持能力。

低成本、高回报‍‍‍‍‍

本产品通过传感器、监控摄像头等设备，实时采集环境和行为数据，在工业互联网时代，这些产品都是物流应用必不可少的产品，利用大数据技术，对收集的数据进行清洗、分析和存储，构建数据模型，为后续的风险评估提供基础。 

本产品不但投资成本低，投资回报率极高，产品经济性从该产品设计开始考虑了客户端和服务端的图像视频数据采集，报警分析，也考虑了与港口各种管理信息系统的对接成本、一次性项目投入可以终身使用，在提高安全性的同时且无需扩充新的安全监管人员，使得该产品的经济技术综合指标达到最佳状态。

▼

落地案例

该产品先后在多个集装箱码头得到应用和成功运行，在青岛港前湾集装箱码头有限责任公司的成功上线，开创全国首例“基于人员行为分析的大型集装箱起重机智能预警系统”的成功应用，产品应用部署在11台大型集装箱桥吊设备上。整套设备包括摄像头、核心边缘计算机，报警器，PLC控制单元等，以及服务器端的分析系统 ，项目从立项到成功部署验收大概两个多月，期间与甲方客户相关领导和现场物流车辆管理层以及桥吊大队管理层及一线驾驶员走访调研20多次，积累素材40万条视频、图片进行模型优化，9个大版本更新，最终达到系统的识别率99%，识别准群率99%，自改系统上线2个月内司机的不规范操作行为降低96%。‍