SenseCAP Watcher 实体AI代理人，充当导购、前台、提醒员、管家......以各式各样打工人的身份，打造更智能的空间。
大语言模型（LLMs）功能强大，现已能够理解文本、音频、图像，甚至视频。想象一下，将特定空间的图像输入给它，LLM将能够理解那里发生的事情。
例如，它可以检测到一个人手中拿着任天堂Switch，站在书架前，或两位穿着西装的人在阅读。这种能力可以根据场景自动触发多种动作，比如向持有Switch的人推荐最新游戏，并向销售人员发送消息以前来提供帮助。
因此，将LLMs引入物理世界可以显著提升智能建筑和智能家居的智能水平。然而，如何以简单的方式将其能力添加到现有的自动化系统中呢？
方案是SenseCAP Watcher，针对智能空间的物理LLM代理。
SenseCAP Watcher基于ESP32S3构建，集成了Himax WiseEye2 HX6538人工智能芯片，配备Arm Cortex-M55和Ethos-U55，擅长图像和向量数据处理。配备摄像头、麦克风和扬声器，SenseCAP Watcher可以看、听、说。加上LLM支持的SenseCraft套件，SenseCAP Watcher能够理解你的命令，感知其周围环境，并相应地触发动作。
简单地说出你的命令。
只需对Watcher说出你的要求，告诉它要监控的内容，当指定事件发生时，它会立即通知你。
你可以通过按下说话按钮或使用SenseCraft应用轻松发送指令。
理解所见的事物。
运行在设备上的人工智能模型，使SenseCAP Watcher能够检测不同的事物：人、苹果、宠物等。然而，Watcher最出色的特点在于与LLMs的集成。
通过利用LLMs，Watcher可以捕捉到你指定的精确事件，这意味着它超越了简单的目标检测，深入分析行为和状态。例如，“狗 + 玩球，房间内没人”或“穿着DHL制服的人员到达”等。Watcher真正理解所监控场景的动态。
频繁调用像ChatGPT这样的LLMs会产生高昂的成本。因此，Watcher采用了设备内人工智能与LLMs的架构。Watcher上的设备内人工智能模型检测目标，随后由LLM进行分析，以生成准确且可操作的洞察。
例如，对于任务“告诉我狗是否在撕纸”，当设备内模型检测到狗时，关键帧将发送给LLM进行进一步分析 - 它在撕纸吗？LLMs将不会因人、猫、松鼠或其他事物被触发。这大大降低了LLMs的成本。
通过声音响应。
在检测到指定事件后，Watcher可以通过语音与目标互动。例如，你可以将其设置为：
指定事件：某人拿起粉色键盘；
指定两种反应：1）通过语音回复，称赞“好选择！这是我们的最新款，灵感来源于......”；2）通过短信告知销售人员：“有人对最新键盘感兴趣！请尽快去货架那边。”
将Watcher置于不同场景中可以使响应更加灵活。例如，当看到一只狗撕扯纸巾时，可以说“停下，狗子！”；当看到有人在禁烟区吸烟时，可以说“禁止吸烟！”
将Watcher连接到像Home Assistant这样的物联网平台，你的Watcher充当行为传感器，在各种环境中激活量身定制的动作。例如，当检测到人时，Watcher会分析情况并自动触发相应的行动：阅读时灯光打开，睡觉时灯光熄灭。
当有人在睡觉时 + 调暗灯光：
当有人在阅读时 + 打开灯光：
Watcher不仅仅是视觉传感器，它可以与其他传感器扩展，实现多模态感知。
在Watcher的背面，I2C接口被保留用于容纳100多个Grove传感器。这种灵活性使Watcher能够整合广泛的数据源进行全面分析并做出适当响应。你将能够构建类似于检测室温并相应调整空调的应用 - 当你穿西装时，将温度调至22°C，或在穿短裤时调至26°C。
将Watcher添加到你的Node-RED流程，只需三个模块，你就可以通过Node-RED将Watcher检测到的结果流式传输到互联网上的任意位置，操作简单。
想将AI代理添加到流行的微控制器和单板计算机（如Arduino / ESP32 / Raspberry Pi）吗？只需通过UART、HTTP或USB连接至Watcher，你可以探索智能的新边界。
Watcher也可以成为你机器人中的酷炫头部。
SenseCAP Watcher通过独特的“模式”来自适应你的指令。它会“倾听”你的指示，然后切换到“监视模式”，以保护你指定的空间等等。
但是乐趣并不止于此！你可以上传自己的情感设计，赋予你的Watcher独特的个性。
只需准备一个 PNG 文件，并在几秒钟内将其上传到Watcher！
你甚至可以为你的 SenseCAP Watcher自定义设计独特的用户界面（UI）。
除了居家使用，不想管理员工的老板可以试试AI员工了。
