滴滴青桔黄海斌：AI+硬件在两轮车安防中的应用 | 嘉程创业流水席228席精彩回顾

场站更多的是通过摄像头捕获更灵敏、更快捷的信源，以及通过电池的BMS系统拿到电池的数据量。终端和云端在计算时分工配合，通过终端去部署边缘计算的设备，快速的响应和计算处理，同时把数据收集到云端，做日常模型的不断优化迭代。

近日，嘉程创业流水席第228席【探讨2024 AI+硬件在不同场景落地的最新趋势】，邀请了滴滴青桔首席工程师黄海斌分享，主题是《AI+硬件在两轮车安防中的应用》。

大家好，今天要跟大家分享的是AI+硬件在滴滴青桔两轮车安防的应用，与其他嘉宾不同，我分享的可能不是最新的AI技术或者业界技术，而是“安防”，一个在两轮车行业里非常重要的话题。

两轮车，相信很多人都有或者在路上看见过。两轮车在业态里最主要的两个安全问题，一是路上的骑行安全，包括用户不遵守交通规则、闯红灯、不佩戴头盔、超载和车辆硬件故障导致骑行中的安全事故。主要的防控手段以用户宣教、通过车上sensor告知用户车辆当前状态并对其行为进行提醒和通过智能头盔锁、超载检测去管理防控三种方式为主。

二是场站消防事故，因为锂电池相当易燃，共享两轮车尤其电单车又需要场站进行充电换电。右图是多家共享电单车集中堆放的囤积场，其中一辆车起火，迅速把1/3的车辆全都烧焦了。锂电池从起火到整辆车被烧毁的时间非常快，只需要20~40分钟。近年来发生多起私家电动车在楼宇里充电引发的消防事故，尤其今年南京的一起事故，使国家对电动两轮车的消防安全问题非常重视。国标和政府命令上实行了非常多举措。作为共享两轮车的头部企业，今年我们也在安防领域做了大力推广。

就场站里的消防安全而言。如图这是标准两轮车的充电场站布局。场站最左边是一排集中式充电柜，类似蜂巢或者美团的外卖柜，每个格口都可以放进一块电池，充满之后拔出来。中间这些框是装电池的电池框，用塑料框把电池分隔开，因为锂电池叠在一起更容易造成起火。

整个场站相对空旷，保证通风，避免电池都垒在一起增加隐患。主要的消防设施有消防柜、灭火器和蓝色水桶。锂电池有发生起火的特性，在行业中称为热失控，可能由电池短路或者外部有热源导致。一边升温，里面的电压随之升高，电流加大会反过来促进升温，形成双向循环，使电池里的热量越来越多，最后导致燃烧起火。发生热失控最好的方法就是第一时间把它放到水桶里降温，把电流和温度降下来。

整个场站里需要管控的元素是充电柜、电池、消防设施以及作业人员是否作业规范。每台充电柜都是联网的，监控充电的当前状态，电池不管是否充好，只要不在柜子上的都需要有序排布和叠放。场站需要配备消防设施、灭火器、水桶并且保证设施能够正常运作。最关键的是作业人员是否作业规范，包括是否按照规范操作、消防服装是否到位、还有安全巡视。

在消防环节，就隐患角度而言，第一是谨防场站里有冒烟明火，比如抽烟，故意或无意引入明火都会导致一系列的火灾隐患。二是电池热失控，热失控既有可能是外部带来的，比如撞击跌落导致里面短路，也有可能是因为电池自身的寿命导致，这是需要被干预的。三是人员的规范性，是否按照规范戴安全帽，穿好安全标识的衣服，并且闲杂人等不要随意进入场站管控。

在控制方面，发现和识别安全的隐患后要第一时间去触达和处理，在最前面把消防事故扑灭。如果已经发生事故要去做补救，包括对人员、舆情、资产等的补救。从技术手段来讲，防和控是最关键的。AI硬件是用在最前面的场站隐患和事故发现研判的阶段。

整体的平台方案从左到右分三大模块，最左边的模块在场站里面，负责边缘侧的设备和计算，以普通的监控摄像头和烟感的sensor作为最主要的感知设备。最早期更多是依靠烟感，烟感准确率比较高，但问题在于覆盖面比较小，刚才展示的场站有很多死角是覆盖不了的。

最近两三年，我们更多依赖监控摄像头，用搭载边缘计算的AI box去发现和识别，好处是摄像头可以多路布设，把场站的各个角落都监控到。边缘计算的AI box使视频流快速被处理，不用等到云端，先过一道网络流量，再去推理、判断识别，速度会快很多。

我们没有选择商业上比较常见的AI摄像头，因为除了监控火灾之外，电池是否堆放规范、人员是否规范作业都需要被监控。算法是可以不断的更新迭代的，只要在云端发起升级，把边缘计算的设备升级，算法和模型进行迭代就可以做到更多场景的适配。在边缘触发、感知之后，再运用边缘计算进行识别，把情况上报到云端再做一层数据的流转和处理。

最右侧是云端客服监控的工作台。前面识别可能有明火、有烟雾、热失控的隐患，客服会做人工的告警和研判。如果确定事发，迅速的发起工单流程，让仓库里的安全人员快速到现场处理。比如有热失控的电池快速放到水桶里，或者快速扑灭起火。所以硬件要求、监控设备方面，监控摄像头选用比较标准的1080p就足够。重点在于AI box的选型，以及对算法不断升级迭代，使各种场景里都得到更多的适配。

我们现在使用的AI box是和厂商合研的设备，它的核心算法芯片是NV的Jetson芯片，单台的设备472GFLOPS每秒的浮点运算，在边缘端追求快速识别、快速发现。同时模型做了大量精简和性能优化、性能压缩，所以只用到FP16的浮点运算精度就已经可以了。单台设备的基本功耗在10~15瓦低功耗，里面有网口，通过交换机连接各路摄像头，把数据推进处理。两款的AI box，分别应对12路的摄像头视频流接入和4路的视频流接入，这取决于仓库的大小，成本不一样，计算情况也不一样。

在AI box里落地的算法模型中，比较成熟的主要有冒烟和起火的检测，例如抽烟隐患的检测。其他的比如人员的是否穿马甲、戴安全帽等相关检测也在不断迭代优化过程中。现在用的算法相对流派来讲还是比较传统的，通过抽取图像里的特征做识别和推理。我们从去年开始引入大模型去做数据造样，大幅的降低对数据采集的难度。

每天在全国的场站里面都是百万次的检测。如图这是识别效果，左上是冒烟，对烟雾的边框识别和推理，执行度的识别情况，反应还是非常快的。左下是对明火的识别，这是实验检测算法的效果，对火焰的识别和追踪。最右面是抽烟检测，因为在场站里经常会发生这种很容易引起隐患的情况，在实际的操作中，烟的火是非常微小的，但是会根据人的动作、烟的形状等特征去推断和识别抽烟的动作。

这是客服巡检的工作台，可以看到场站里面的情况。工作台有一个好处，可以帮助收集更多场站的数据，不管是正样本，比如电池和设施都是摆放整齐的、比较规范的正样本，还是被人工识别可能有很多不当的地方，都可以作为训练样本，客服的人工标记能帮助我们不断提升算法的效果。

在电池热失控的数据建设方面，热失控有温度和电压差的双向循环过程。对电池来讲，不管在电柜里还是在车里，都会实时监控它的电压、实时电流、电芯温度、循环次数等数据，通过数据积累来分析电池发生热失控先兆的数据表征，最明显的就是温度爬升和电压压差下降，电流变大，经过这几年的数据收集，进行数据建模之后，目前拿到了90%准确度的热失控预测模型。我们也有跟实验室去做联合测试，目前能够做到的是，当预判可能有热失控的先兆后，10分钟之内就能够完成干预，抓住从热失控到起火25分钟的黄金时间，最早期把电池热失控扑灭掉。

关于安防话题，场站更多的是能够通过摄像头捕获更灵敏、更快捷的信源，通过电池的BMS系统拿到电池的数据量。同时终端和云端在计算时做分工配合，因为起火要快速响应，通过终端去部署边缘计算的设备，快速的响应和计算处理，同时把数据收集到云端，做日常模型的优化迭代，不断升级和提升效果。我们往后会更关注场站规范性、人员规范性持续的发现和研判，不断前置安全，做好隐患环节的识别和判断。

我的分享结束，谢谢大家。

席友：您现在功能和服务是开始就放在根源处进行运算，还是开始在云端，后来又改到边缘侧的？

黄海斌：是开始在云端，后面再改的。从云端的视角来讲算力肯定是更强的，模型也可以做的更复杂，精度也会更高。但后来发现，一是时效性不够，视频流弊性比较大，网络传输很容易出现断、丢的情况以及厂家网络信号不一定是稳定的，很多场站的部署可能会在相对偏远的地方，所以需要考虑到场景。

发现这个情况之后，我们尝试改到边缘侧，开始觉得算力不行，但是这些年硬件设备的能力提升上来。加上算法和模型不断优化之后，发现边缘侧算力足够了，模型识别速率也足够，所以坚定了走边缘侧做主要的识别，云端做整体数据的采集记录和优化的过程。

席友：模型训练时间大概要多久？

黄海斌：模型训练的时间是两周左右去迭代和训练一版模型，但卡点不在于模型本身的迭代和训练时间，主要在数据的采集和标注。虽然现在视觉大模型可以帮忙造样，但是很多标注可能还是靠人工来做，尤其是起火样本的识别，以及场站光线明暗或者背光的情况下更多是依赖人工的。

我们的投资涵盖人工智能、硬科技、数字医疗与健康、科技全球化、生物科技与生命科学、企业服务、云原生、专精特新、机器人等领域。投资案例包括元气森林、熊猫速汇、寻找独角兽、店匠、士泽生物、芯宿科技、未名拾光、橄榄枝健康、硅基仿生等多家创新公司。

嘉程资本旗下的创投服务平台包括「嘉程创业流水席」，「NEXT创新营」、「未来联盟」等产品线，面向不同定位的华人科技创新者，构建了大中华区及北美、欧洲和新加坡等国家地区活跃的华人科技创新生态，超过3000位科技行业企业家与巨头公司高管在嘉程的平台上分享真知灼见和最新趋势。

嘉程资本投资团队来自知名基金和科技领域巨头，在早期投资阶段富有经验，曾主导投资过乐信（NASDAQ:LX）、老虎证券（NASDAQ:TIGR）、团车（NASDAQ:TC）、美柚、牛股王、易快报、PingCAP、彩贝壳、云丁智能等创新公司的天使轮，并创办过国内知名创投服务平台小饭桌。

嘉程资本是创新者思考的伙伴，成长的伙伴。