2023年以ChatGPT为代表的大语言模型横空出世,它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力,为人工智能技术的发展开辟了新的可能性。同时,人工智能技术正在进入各种应用领域,在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。
柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件,与全球创客爱好者共建“模型仓”,通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术!
本期介绍:模型案例:| SenseCraft Al平台模型训练与部署!
经典CNN卷积神经网络架构
卷积神经网络(Convolutional Neural Network,简称CNN)是一种深度学习算法,广泛应用于图像识别、视频分析、自然语言处理等领域。
卷积神经网络的基本结构包括输入层、卷积层、激活函数、池化层和全连接层。卷积层通过滑动窗口的方式对输入数据进行局部感知和特征提取,池化层则进行下采样,减少参数数量,降低计算复杂度。激活函数引入非线性,增强模型的表达能力,全连接层则将前面提取的特征进行整合,输出最终的预测结果。
LeNet-5架构
LeNet由Yann Lecun 提出,是一种经典的卷积神经网络,是现代卷积神经网络的起源之一。它于1998年推出,广泛用于手写方法数字识别。
LeNet-5 有 2 个卷积层和 3 个完整层,LeNet-5架构有60,000个参数。
LeNet-5 能够处理需要更大、更多 CNN 卷积层的更高分辨率图像。
AlexNNet架构
AlexNet CNN 架构在 2012 年 ImageNet ILSVRC 深度学习算法挑战赛中以较大的方差获胜,达到了 17%,而排名第二的 top-5 错误率达到了 26%!
它是由 Alex Krizhevsky(创始人姓名)、Ilya Sutskever 和 Geoffrey Hinton 引入的,与 LeNet-5 非常相似,只是更大更深,并且它首先被引入将卷积层直接堆叠在彼此模型之上,而不是在 CN 网络卷积层上堆叠一个池化层。
AlexNNet 有 6000 万个参数,因为 AlexNet 总共有 8 层,5 个卷积层和 3 个全连接层。
AlexNNet 首次将(ReLU)整流线性单元作为激活函数,这是第一个使用GPU来提高性能的CNN架构。
GoogleNet架构
GoogLeNet,也被称为 Inception-v1,是由 Google 的研究人员设计的一种深度卷积神经网络(CNN),并在 2014 年的 ImageNet 大规模视觉识别挑战赛(ILSVRC 2014)中获得了第一名。
GoogLeNet 的主要设计目标是在不显著增加计算成本的前提下,提高网络的深度和宽度,从而提高模型的准确率。GoogleNet 的参数比 AlexNet 少,比例为 10:1(大约 600 万而不是 6000 万)
ResNet架构
残差网络 (ResNet)是 ILSVRC 2015 挑战赛的获胜者,由 Kaiming He 开发,其 CNN 深度极深由 152 层组成,训练如此深度网络的一个重要因素是使用跳跃连接(也称为快捷连接),进入某一层的信号被添加到堆栈中更高层的输出中。
训练神经网络时,目标是让它复制目标函数 h(x),通过将输入 x 添加到网络的输出(跳过连接),网络可以建模 f(x) = h(x) – x,这种技术称为残差学习。
DenseNet架构
DenseNet是指Densely connected convolutional networks(密集卷积网络)。它的优点主要包括有效缓解梯度消失、特征传递更加有效、计算量更小、参数量更小、性能比ResNet9 更好。它的缺点主要是较大的内存占用。
DenseNet从特征入手,通过对前面所有层与后面层的密集连接,来极致利用训练过程中的所有特征,进而达到更好的效果和减少参数。
SenseCraft Al平台
SenseCraft Al平台,是柴火母公司矽递科技旗下的AI平台,支持Grove-Vision AI V2、XIAO ESP32S3 Sense和NVIDlA Jetson设备的模型部署、模型训练和数据输出。SenseCraft Al平台为使用者提供海量模型,简化模型训练过程并提供专业的AI视觉工作空间。
Grove Vision AI V2模块上训练和部署模型
SenseCraft Al平台提供简单、方便的AI模型训练和部署功能,可以让技术小白也能快速进行特定场景的AI模型训练和部署,下面以办公桌上常用到的剪刀和马克笔为例,设计一个分类识别模型,并部署到Grove - Vision AI V2模块,并在SenseCraft Al平台显示预测结果。
1、打开SenseCraft AI平台,如果第一次使用请先注册一个会员账号,还可以设置语言为中文,在顶部菜单栏上单击【模型训练】选项,如下图所示。
平台地址:https://sensecraft.seeed.cc/ai/#/model
2、进入【模型训练】页面后单击左侧的【分类识别类别】选项,如下图所示。
3、将Grove - Vision AI V2模块先连接到电脑的USB接口上,在右侧可以看到“Webcam”选项,单击此下拉菜单选择“Grove Vision AI (V2)”,如下图所示。
4、选择完成后单击【连接】按钮,弹出连接到串口窗口选中端口号后单击【连接】按钮,如下图所示。
5、设备连接后可以在右边看到视频预览窗口,左侧有两个默认的Class1和Class2类别名称,单击修改图标可以修改类别名称,如果有多个类别可以单击底部的【添加类别】按钮,如下图所示。
6、这里设置三个类别分别是:剪刀(scissor)、马克笔(marker)、其他(other),如下图所示。
7、选中剪刀(scissor)类别,会显示为绿色边框,将Grove - Vision AI V2模块的摄像头对准要采集的剪刀图片后按下【按住可录制】按钮,就会能采集多个剪刀图片,这里采集了31张图片,也可根据需要多采集不同形态的图片,如下图所示。
8、接着选中马克笔(marker)类别,先单击【停止预览】按钮,在单击【开启预览】按钮这样视频预览窗口就可以重新工作了,如下图所示。
9、选中马克笔(marker)类别,将Grove - Vision AI V2模块的摄像头对准要采集的马克笔图片后按下【按住可录制】按钮,这样就可以采集马克笔的图片了,如下图所示。
10、选中其他(other)类别并重新启动下预览功能,采集些桌面上其他图片,如下图所示。
11、三个类别的图片素材采集完成后,在第二步:模型训练中单击“高级设置”可以设置周期数、批次大小和学习速率参数设置选项,根据需要调整相应的参数。比如预测结果不好可以增加训练周期数,这里采用默认设置。最后,单击【开始训练】按钮,注意设备类型要选中“Grove - Vision AI V2”如下图所示。
12、可以看到训练的进度,如下图所示。
13、模型训练结束后,会显示训练完成,在右侧“效果预览”中可以看到预测的结果,单击【停止预览】后再单击【启动预览】即可重新打开摄像头功能,这样就可以对准剪刀和马克笔来预测下结果,如下图所示。
14、单击“点击此处”前往使用模型,如下图所示。
15、进入“模型列表”中,先选择设备类型,再选择Grove - Vision AI V2,选中新训练的模型文件,单击【部署到设备】按钮,如下图所示。
16、进入部署模型窗口,单击【确定】按钮,如下图所示。
17、弹出连接串口窗口,选中串口号后单击【确定】按钮,如下图所示。
18、等待一段时间后,进行烧录和部署模型,将Grove - Vision AI V2对准剪刀或马克笔后在预览中可以看到预测结果,如下图所示。
模型推理演示,请看如下视频
Grove Al视觉模块 V2套装介绍
Grove Al视觉模块 V2
OV5647-62摄像头
Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器和Arm Ethos-U55嵌入式神经网络加速单元(NPU), 该处理器采用 ArmCortex-M55双核架构。
Arm Ethos-U55 嵌入式神经网络处理器(NPU)
嵌入式神经网络处理器(NPU)是一种特别设计用于执行神经网络计算的高效率处理器。它主要基于数据驱动并行计算架构,特别擅长处理视频、图像等大量的多媒体数据。NPU模仿了生物神经网络的架构,与CPU、GPU相比,它能够通过更少的指令(一条或几条)完成神经元的处理,因此在深度学习的处理效率方面具有明显优势。
它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。
有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。
主要硬件配置
- 板卡基于WiseEye2 HX6538处理器, 采用双核ARM Cortex-M55架构
- 配备集成Arm Ethos-U55嵌入式神经网络处理器(NPU), 兼容的树莓派相机
- 板载PDM麦克风, SD卡插槽, Type-C, Grove接口, 丰富的外设支持样机开发
- Seeed Studio XIAO的可扩展性, SenseCraft Al的现成AI模型用于无代码部署。
- 支持各种有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.
写在最后
SenseCraft-AI平台的模型仓数量还很少,但是好消息是它支持自定义模型上传并输出推理结果,平台会逐渐增加模型仓的数量和分享有爱好者设计的模型仓原型,敬请关注!
粉丝福利
扫码领取
Grove Al 视觉模块 V2 模块
优惠券
首单 113 元 !
即可体验模型仓中的各种模型
本文图片素材来源于网络,如有侵权后台联系删除!
往期模型案例回顾
新一代信息技术赋能|人才升级|产业创新
Seeed Studio物联网设备试用中心落地柴火!
Chaihuo x.factory|深圳,河北