探索AI在嵌入式系统中的应用,电机检测、人脸跟踪...端侧AI说我都要

企业   2024-11-27 18:07   上海  


如今,人工智能(AI)已成为嵌入式系统不可或缺的一部分。AI的集成使得这些系统能够执行复杂的任务,如图像识别、自然语言处理和预测分析,而无需依赖于外部计算资源。AI在嵌入式系统中的应用正推动着从智能家居设备到自动驾驶汽车等多个行业的创新,它不仅提升了用户体验,还为设备制造商带来了新的商业机会。恩智浦全面的MCU和处理器产品组合针对汽车、智能工业和物联网行业的机器学习应用进行了优化,其eIQ Neutron神经处理单元(NPU)也提供了广泛算力支持。

11月30日(本周六),RT-Thread将携手恩智浦在苏州发起线下智能视频监测动手实践培训,培训将覆盖:RT-Thread移植、RW007 网络应用、智慧家居视频监测系统实战、CherryUSB 实践、以及多人脸识别实战。同时我们准备了精美的签到礼以及开发板奖品,下划点击“阅读原文”立即报名!

扫描二维码报名

复制链接报名:https://jsj.top/f/oZiJ3Y

培训时间

11月30日,13:00 - 17:30

培训地点

苏州市新区竹园路288号NXP(一楼阶梯教室)

AI dmeo:可在端侧训练的基于支持向量机的AI电机异常检测系统

仅使用30个3轴加速度计进行电机异常检测模型训练,训练时间小于1秒。同时可以在设备上进行单类SVM的训练和推理,用户可以实时“重新定义”正常状态。SVM使用Libsvmcu实现,这是针对MCU的SE修改版Libsvm:没有动态RAM,模型格式紧凑。

应用程序逻辑:数据收集+特征计算,SVM检测模式和训练模式。评估被监控设备的“健康”指标。同时提供直观的GUI显示最近的系统健康状况和实时状态,以2D状态空间可视化的形式呈现。


背景及挑战


  • 时间序列机器学习任务通常需要片上训练,因为实际数据往往与生命周期中的数据有很大差异

  • 目前的深度学习解决方案不支持片上训练

  • 竞品提供经典机器学习方案

  • 基于时间序列的异常检测和预测性维护任务变得越来越受欢迎

  • 在MCU生命周期内,学习过程可能需要多次执行

demo功能框图及性能指标:


创新点


  • 从零到一实现片上训练的经典机器学习异常检测演示

  • MCU友好的基础设施设计,支持片上训练

  • 优化的堆内存管理

  • 采用增长配对堆栈替代传统堆

  • 新的对象序列化方法,支持XIP Flash

  • 数据类型压缩技术


解决方案


  • 仅使用正常加速度计数据在设备上训练SVM模型

  • 在设备上进行SVM推理,检查异常数据样本

  • 用户可以通过30秒内的重新训练,实时重新定义异常阈值

  • 模型可序列化到Flash并使用XIP(无需重建或复制到RAM)

  • MCU友好的Ubsvm重构,仅使用10KB Flash和2KB RAM

AI demo: MCX N人脸追踪风扇项目

本系统以切片的方式从SmartDMA获取640x480x3彩色图像,并实时把切片通过FlexIO发送给3.5寸液晶屏。与此同时,它把切片下采样并生成更小的160x128x3彩色图像,并交给一个基于YOLOv3的定制物体检测模型。利用NPU的加速,此模型在40ms内检测一帧图像,速度差不多是CPU的40倍。同时,PID算法计算出发送给舵机的指令,调整风扇以对准被检测出的人脸。以上所有任务都由单个运行在150MHz的MCXN947微控制器处理,没有外部扩展存储器。

硬件组成

  • MCXN947主控制器

  • OV7670摄像头模块

  • X-LCD-PAR-S035显示屏

  • LVGL图形库支持

客户需求与目标应用

  • 智能风扇/空调送风

  • 实时追踪快速移动目标

  • 低成本、低功耗的目标检测

技术要点

  • VGA图像采集,降采样至160x128x3用于YOLOv3变体检测

  • NPU加速推理,比CPU快40倍(21ms推理时间)

  • 使用PID控制伺服电机追踪最大检测目标

  • 单片MCXN947 @150MHz完成所有任务,无需外部内存


——————End——————

想要在RT-Thread平台或社区投放内容?或想参与相关直播活动及赛事?RT-Thread已开放对接窗口,请通过邮件与我们取得联系,期待合作!

合作邮箱: tongfangyi@rt-thread.com 
↓ 点击“阅读原文”报名培训


RTThread物联网操作系统
帮助您了解RT-Thread相关的资讯。
 最新文章