2023年以ChatGPT为代表的大语言模型横空出世,它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力,为人工智能技术的发展开辟了新的可能性。同时,人工智能技术正在进入各种应用领域,在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。
柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件,与全球创客爱好者共建“模型仓”,通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术!
本期介绍:模型案例:| 行李检测模型!
LeYOLO
在深度神经网络应用中,针对嵌入式和移动AI对象检测应用需求不断增加,目前基于FLOP的高效目标检测计算的神经网络架构不能适应轻量级实时目标检测。
针对嵌入式和移动AI对象检测应用对高效计算的需求,提出了LeYOLO模型,该模型通过优化骨干网络、引入快速金字塔结构网络(FPAN)和解耦网络中网络头(DNiN),显著提高了基于YOLO的目标检测模型的效率。
LeYOLO模型在保持高精度(如COCO val上达到38.2% mAP)的同时,大大降低了计算负载(如与YOLOv9-Tiny相比减少42%的FLOP),实现了高效的计算效率。
LeYOLO模型的特点
· 轻量化:在每次浮点运算(FLOP)的准确率方面,LeYOLO与当前最先进的轻量级目标检测神经网络相比,在0.5到8 FLOP(G)范围内实现了最佳准确率;
· 可扩展性:LeYOLO为工业、边缘计算和嵌入式设备提供了一种新的机会,即使用具有最先进扩展效率的轻量级YOLO模型;
· 多种选项:尽管研究侧重于找出精度与计算成本的最佳比例选项,但作者通过研究所有不同选项后提出了不同的替代方案;
· 新架构:LeYOLO模型提出了新的计算高效块,并通过实验进行了验证;
· 高可复现性:研究优先关注改进深度神经网络的架构。使用来自ultralytics API的可重用训练方法来实现结果,state-of-the-art。
LeYOLO提出的架构FPAN和DNiN采用诸如逐点卷积和深度卷积等轻量级操作,构建了一个专门用于目标检测的高效神经网络,其轻量级程度与基于SDDLite的解决方案相当。这在成本-精度比方面开创了新局面。
· 通过构建这些优化,实现了更高效的YOLO缩放,并提出了一系列新的YOLO模型,这些模型在MSCOCO上实现了具有竞争力的mAP分数,同时专注于一系列FLOP资源约束。
行李检测模型
该 AI 模型利用先进的 Swift yolo 算法,专注于行李识别,可以在实时视频流中准确检测和标记行李。它特别适用于 Seeed Studio Grove Vision AI (V2) 设备。
应用场景
机场安检:通过图像识别技术,系统可以自动识别行李和其中可能存在的违禁物品,提升安检效率,确保乘客安全。
行李跟踪:在航空公司和物流中心,通过识别行李标签和行李本身的特征,实时跟踪行李在运输过程中的状态,减少丢失和误送概率。
行李领用:在行李提取区域,通过智能摄像头识别旅客的行李,自动匹配到旅客信息,加快行李领取流程。
自动化仓库管理:在物流和仓储行业,通过行李识别算法,优化仓库管理,实现自动化存取和管理,提高效率。
安防监控:在大型公共场所,如车站、商场等,通过行李识别系统,实时监控可疑行李,协助安保人员进行快速响应。
智能客服和导览:在机场或火车站,利用行李识别系统提供个性化服务,如行李寻回、导航等。
物联网(IoT)应用:结合物联网设备,实现智能行李管理,通过识别算法提升行李互动和数据收集能力。
在Grove-Vision AI V2模块上部署此模型
1、打开SenseCraft AI平台,如果第一次使用请先注册一个会员账号,还可以设置语言为中文。
平台地址:https://sensecraft.seeed.cc/ai/#/model
2、在公共AI模型第6列表中找到【行李检测】模型,单击此模型图片,如下图所示。
3、进入【行李检测】模型介绍页面,单击“部署模型”按钮,如下图所示。
4、进入部署【行李检测】模型页面,按提示步骤先连接摄像头,再连接设备到电脑USB接口上,最后单击【连接设备】按钮,如下图所示。
5、弹出部署模型窗口,单击“确定”按钮,如下图所示。
6、弹出连接到串行端口窗口,选择端口号后单击“连接”按钮,如下图所示。
7、开始进行模型部署、固件下载、设备重启等过程,完后在预览中即可看到当前摄像头视频内容,在“设置”中调整置信率数值可以提供识别率,将摄像头对准行李相关的图片查看预测效果,如下图所示。
8、模型推理演示,请看如下视频。
硬件清单
通过IIC接口将XIAOESP32C3和Grove AI视觉模块V2连接到一起,将蜂鸣器连接到XIAO开发板的D0接口上,上传预测程序后当检测到行李并且置信率大于60开启蜂鸣器报警,这样就可以设计一个识别行李后并报警的智能装置。下面视频预览如下:
Grove Al视觉模块 V2套装介绍
Grove Al视觉模块 V2
OV5647-62摄像头
Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器和Arm Ethos-U55嵌入式神经网络加速单元(NPU), 该处理器采用 ArmCortex-M55双核架构。
Arm Ethos-U55 嵌入式神经网络处理器(NPU)
嵌入式神经网络处理器(NPU)是一种特别设计用于执行神经网络计算的高效率处理器。它主要基于数据驱动并行计算架构,特别擅长处理视频、图像等大量的多媒体数据。NPU模仿了生物神经网络的架构,与CPU、GPU相比,它能够通过更少的指令(一条或几条)完成神经元的处理,因此在深度学习的处理效率方面具有明显优势。
它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。
有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。
主要硬件配置
- 板卡基于WiseEye2 HX6538处理器, 采用双核ARM Cortex-M55架构
- 配备集成Arm Ethos-U55嵌入式神经网络处理器(NPU), 兼容的树莓派相机
- 板载PDM麦克风, SD卡插槽, Type-C, Grove接口, 丰富的外设支持样机开发
- Seeed Studio XIAO的可扩展性, SenseCraft Al的现成AI模型用于无代码部署。
- 支持各种有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.
写在最后
SenseCraft-AI平台的模型仓数量还很少,但是好消息是它支持自定义模型上传并输出推理结果,平台会逐渐增加模型仓的数量和分享有爱好者设计的模型仓原型,敬请关注!
粉丝福利
扫码领取
Grove Al 视觉模块 V2
优惠卷
首单 118 元 !
即可体验模型仓中的各种模型
本文图片素材来源于网络,如有侵权后台联系删除!
往期模型案例回顾
新一代信息技术赋能|人才升级|产业创新
Seeed Studio物联网设备试用中心落地柴火!
Chaihuo x.factory|深圳,河北