RT-Thread AIOS,让小车更懂你!

企业   2024-10-31 18:16   上海  

1

   

概要

如何在嵌入式系统上玩转 AI,到底是独立部署?云端部署?一直是一个争议不断地问题。同时,随着人形机器人技术的快速发展,移动设备对智能化的需求也变得尤为迫切。在这样一个背景下,RT-Thread AI 团队经历对大量芯片厂商和下游应用业务公司的咨询和讨论,认为在可预见的未来,AI 会产生一种端侧和云端混合部署的形态,即大规模、大参数模型运行在云端,如大语言模型,而中小规模、中小参数模型则运行在端侧,形成一种分布式 AI 部署的形态。
本章将以智能小车的整个开发过程为例,向大家全景展示如何通过这种分布式 AI 的部署方式,最终实现传统小车的智能化过程。在这个过程中,我们将最大限度的保留原有小车硬件资源,而通过 RT-Thread AIOS 架构,最终实现大模型和端侧小模型协作,将传统小车智能化。

2

   

硬件与软件架构

硬件上,智能小车的车控部分搭载了意法半导体最基础的 STM32407VET 芯片,该模块结合蓝牙模块、OLED 显示屏、激光雷达等模块,同时将 RT-Thread AIOS 框架集成在该芯片上,实现小车和云端大语言模型的交互。同时,小车配备了 Vision-Board 开发板,为智能小车构建了一个高性能的机器视觉模块。Vision-Board 开发板搭载 Cortex-M85 架构的 RA8D1 处理器,配备 LCD 显示屏和摄像头,能够进行实时图像处理和显示,通过串口和 STM32407VET 芯片进行交互。
软件上,两款芯片均使用了 RT-Thread 实时操作系统作为控制系统,提供了一系列应用组件和驱动框架,如 TCP/IP 协议栈,虚拟文件系统,POSIX 接口,图形用户界面,FreeModbus 主从协议栈,CAN 框架,动态模块等。通过对智能小车车控功能语义级别的学习和应用,最终通过云端的大模型控制小车实现各种复杂功能。
在大模型方面,智能小车采用基于开源大模型 SenseVoiceSmall 和通义千问大模型的微调模型进行联合处理。其中,SenseVoiceSmall 作为一个轻量化的语音识别模型,能够高效地将语音实时转化为文本。通义千问则对文本内容进行智能解析和理解,最终转换成小车可执行的逻辑和指令。
在端侧的计算机视觉方面,为达到智能感知的效果,智能小车采用 openMV 进行图像处理,其搭载的处理器和摄像头可以轻松胜任小车的诸多功能,通过 openMV 实现了循迹、色块追踪、二维码识别、人脸追踪等功能,同时可以在 LCD 显示器上迅速、直观地看到 openmv 图像处理的过程。

智能小车支持 C/Python 等多种编程语言,提供丰富的接口,方便开发者灵活调用各类功能模块。

3

   

一些例子

语音控制基于 SenseVoiceSmall 和通义千问实现,深度融合了 AI 技术,用户通过语音指令对小车进行控制,不仅可以在多种模式之间随心切换,还能精准控制小车的运动状态。常用的模式包括循迹、色块追踪、二维码识别、人脸追踪、雷达避障、雷达跟随以及雷达走直线等。

3.1

   

示例 1:智能小车底盘控制

通过语音识别切换到寻迹模式后,智能小车通过摄像头实时采集图像,智能分析路面状况,精准识别并追踪指定路线。

3.2

   

示例 2:目标追踪

在色块追踪模式中,智能小车能够识别特定颜色的物体,并自动调整运动轨迹以追踪目标。小车还可以识别并获得二维码中的信息。

智能小车具备人脸识别功能,能够人脸录入系统中。录入后,小车便能自动追踪库中包含的目标人物,智能地跟随其移动。

以上功能充分展示了机器视觉在智能小车中的灵活应用,通过与小车的互动,能够深入理解图像处理和物体识别等关键技术。



3.3

   

示例 3:激光雷达应用

为了一步提升小车的智能化水平和环境感知能力,我们在小车上加装了激光雷达,这使小车能够实时获取距离信息,从而更有效地避开障碍物,加装激光雷达后,小车的整体性能得到了显著提升。

例如,基于激光雷达的避障功能,即使小车在一个狭小的空间内,也可以行动自如。

上文中我们提到了人脸追踪功能,在激光雷达加持下,即使我们没有录入人脸也可以实现跟踪,启动雷达跟踪可以使小车跟踪附近的一个物体并保持一定距离。

另外,雷达走直线模式通过对参照物体的识别来实现小车的直线运动。小车能够以其左侧的物体平面作为参照,保持稳定的直线行驶。如果需要更换其他角度作为参照,只需对代码进行相应修改或直接修改雷达角度即可。

3.4

   

总结:

我们已经展示的功能显示了在 RT-Thread AIOS 框架上,可以通过语音交互对基于 RT-Thread OS 的设备进行智能化,最终使得系统理解指令、执行指令实现指令发出者的控制目标。此外,用户也可以自行增加定制的源语级控制函数到 AIOS 框架中,并通过云端大模型进行理解和学习,最终通过语音交互进行控制,使得系统变得更加灵活、智能。

小车配件:

  1. 智能小车、软件和文档采购可以通过留言咨询。

  2. vision board 开发板采购网址:

    https://item.taobao.com/item.htm?abbucket=6&id=765743204571&ns=1&priceTId=214782df17300787219991324e7498&spm=a21n57.sem.item.7.415c39035TDWQl&utparam=%7B%22aplus_abtest%22%3A%22091ac83065d19fefd7a065a289c6e762%22%7D ( https://item.taobao.com/item.htm?abbucket=6&id=765743204571&ns=1&priceTId=214782df17300787219991324e7498&spm=a21n57.sem.item.7.415c39035TDWQl&utparam=%7B%22aplus_abtest%22%3A%22091ac83065d19fefd7a065a289c6e762%22%7D )


——————End——————



👇 点击阅读原文进入官网

RTThread物联网操作系统
帮助您了解RT-Thread相关的资讯。
 最新文章