ESP32 AI LLM:让你的ESP32拥有强大的对话能力

文摘   2024-11-05 00:01   湖南  

你是否渴望让你的ESP32拥有更强大的功能?是否希望它能够理解你的语音指令,并进行自然流畅的对话?ESP32_AI_LLM项目正是为此而生!它利用ESP32芯片,结合科大讯飞星火大模型、豆包大模型(流式调用)、通义千问大模型等,实现语音对话聊天功能,并支持在线语音唤醒、连续对话、音乐播放等,还外接了一块显示屏实时显示对话内容。

项目特点

  • • 多模型支持: 可选用科大讯飞星火大模型、豆包大模型、通义千问大模型,满足不同需求。

  • • 语音交互: 支持在线语音唤醒,识别用户的语音指令,进行自然流畅的对话。

  • • 连续对话: 支持连续对话功能,让对话更加自然和人性化。

  • • 音乐播放: 支持音乐播放功能,让你随时随地享受音乐。

  • • 屏幕显示: 外接显示屏,实时显示对话内容,方便用户了解对话过程。

功能概述

1. 语音唤醒功能

设备启动连接网络后,会直接进入待机状态,开启录音并连接讯飞的stt服务进行唤醒词识别。你只需说出设定好的唤醒词,即可唤醒ESP32,开始对话。

2. 语音对话功能

通过语音唤醒或者按下板载的boot键,即可开始对话。ESP32会将你的语音输入发送到科大讯飞的STT服务进行语音识别,然后将识别结果发送至你所选择的大模型,得到模型的回复,最后将回复内容转换为语音播放出来。

3. 便捷配网功能

ESP32支持自动连接网络。如果无法连接,ESP32会启动AP模式,创建临时网络热点,方便你通过手机或电脑配置网络。

4. 音乐播放功能

项目利用网易云的音乐服务器,可以播放你喜欢的音乐。你可以通过配置网页界面添加和删除音乐信息。

5. 音量调节和开关灯功能

通过语音指令,可以实现音量的调节和显示,以及LED灯的开关。

6. 音乐暂停和恢复播放指令

你可以通过语音指令来暂停和恢复音乐播放。

7. 大模型切换功能指令

你可以通过语音指令在豆包、星火、通义千问三个大模型之间进行切换。

项目部署教程

  1. 1. 下载vscode和platformIO插件

  2. 2. 开通讯飞相关服务(可选:开通豆包大模型服务)

  3. 3. 克隆项目到本地,在vscode中打开整个文件夹,然后等待依赖库下载完毕

  4. 4. 找到.pio\libdeps\upesy_wroom\TFT_eSPI路径下的User_Setup.h文件,删除它,然后将根目录下的User_Setup.h文件剪切粘贴过去

  5. 5. 填写main.cpp中要求填写的讯飞账号参数(可选:填写豆包大模型的参数)

  6. 6. 安装esp32的驱动

  7. 7. 编译、烧录

总结

ESP32_AI_LLM项目为ESP32赋予了强大的对话能力,使其能够理解你的语音指令,并进行自然流畅的对话,还能播放音乐、调节音量等。该项目易于部署,功能丰富,适用于多种应用场景,例如智能家居、机器人控制等。

项目地址:https://github.com/Explorerlowi/ESP32_AI_LLM


DIY太阳系
分享嵌入式系统知识,写精华文章!
 最新文章