公开课 | 你做指令,你的作品做出反馈?一个月做完一个“聪明”的交互作品

文摘   2024-12-10 20:30   上海  



 惟学交互系列公开课



AI与Arduino的结合

多模态交互设计



你的作品是“人工智能”

还是“人工智障”?


4场讲座 学一学如何让AI辅助你完成交互作品!



通过结合 Arduino 和 AI人工智能,课程聚焦于视觉、手势、语音的多模态交互的实际应用,帮助学生激发创造力。课程内容包括计算机视觉、手势识别和语音交互的整合,帮助学生理解如何通过多感官输入增强交互体验,从而增加作品集的智能化与创意性


 © kay van den aker




导师介绍


JOJO

米兰理工大学 - 数字与交互设计硕士

同济大学 - 软件工程学士


先后担任某国企AI产品经理、百度AI产品实习、字节跳动技术产品实习。擅长领域包括在交互设计中增加工科思维,关注设计过程,帮助按顺逻辑,可以协助路专业选校申请文书、提供实习面试建议等。



• 导师作品 •

 © JOJO




课程安排


第一讲:12月16日(周一)20:00~21:00

第二讲:12月23日(周一)20:00~21:00

第三讲:12月30日(周一)20:00~21:00

第四讲:01月06日(周一)20:00~21:00


陪你跨进新的一年~每周一晚八点整

课程将以腾讯会议线上直播形式进行

直播最后会有约10分钟自由提问环节




参与方式



长按扫码进群免费参与直播



长按添加客服:WIIISH惟小狼








第一讲:

Arduino、AI与多模态交互的结合潜力

12月16日(周一)20:00~21:00



本节课将介绍Arduino基础操作人工智能(AI)的基本应用,引入“多模态交互”的概念,并帮助学生初步理解AI如何增强交互的智能性。

通过探讨多模态交互(视觉、手势、语音等交互方式)的应用场景,从Arduino基础操作和AI入门知识开始着手,为接下来的创意设计奠定技术基础


本讲要点

1.多模态交互的介绍
• 什么是多模态交互:通过多种感官输入(如视觉、手势、语音等)增强人与设备之间的互动,让互动更加自然和直观。
• 多模态交互的优势:结合多种输入方式可以使交互更智能、更具创意,提升用户的沉浸感和参与感。
• 多模态交互的应用场景:介绍在智能家居、智能汽车和艺术装置中的实际应用案例,展示多模态交互如何提升交互体验。

2.Arduino与AI基础
• Arduino的简单介绍:简要讲解Arduino的功能和硬件特性,帮助学生理解如何通过Arduino进行硬件控制。
• AI的基础概念:简要介绍人工智能的概念和基本应用,帮助学生初步理解AI如何增强交互的智能性。
• 学习路径介绍:介绍如何从Arduino基础操作(如硬件控制)和AI基础知识(如数据处理)开始,逐步结合多模态交互,实现富有创意和表现力的交互体验。


https://muilab.com/en/products_and_services/muiboard/
https://lumalenscape.com/en/bmw-visionsfilme
- Leap Motion Controller 2 by Ultraleap





第二讲:

计算机视觉与Arduino交互

12月23日(周一)20:00~21:00



讲解计算机视觉技术的原理,展示如何结合Arduino实现基于视觉输入的硬件控制,从而增强交互设计的智能化和表现力。学习图像识别技术的应用方法,例如用手势或颜色控制设备,理解计算机视觉在交互设计中的作用。


本讲要点

1.计算机视觉的基础概念
• 介绍计算机视觉的基本原理和应用场景,帮助学生理解计算机视觉在交互设计中的作用,以及交互场景里常见的一些计算机视觉技术如面部识别、眼神识别、图像识别分类等。

2.图像识别与Arduino结合
• 讲解如何通过图像识别技术,将视觉数据传递给Arduino,实现基于视觉输入的硬件控制。例如,通过摄像头识别手势或物体颜色来控制灯光或马达。

3.计算机视觉驱动的交互案例
• 展示一个结合计算机视觉和Arduino的互动案例。


https://fifteen2022.bartlettarchucl.com/dfpi-2022-1/embot
https://2023.rca.ac.uk/students/aijia-wang/





第三讲:

手势交互、语音交互与Arduino结合

12月30日(周一)20:00~21:00



本节课将分别讲解如何通过手势交互和语音交互技术与Arduino结合,创建基于手势或语音控制的互动项目,实现多模态的交互设计,提升项目的互动性和技术深度。


本讲要点

1.手势交互的基础概念
• 介绍手势交互的基本原理和常见应用场景,帮助学生理解手势交互在多模态交互中的作用,例如手势识别、动态控制等。

2.手势交互与Arduino结合
• 讲解如何通过手势识别技术,将手势数据传递给Arduino,实现基于手势输入的硬件控制。同时介绍手势交互驱动的交互案例。

3.语音交互的基础概念
• 介绍语音交互的基本原理和常见应用场景,帮助学生理解语音识别在多模态交互中的作用,例如语音命令、智能家居控制等。

4.语音交互与Arduino结合
• 讲解如何通过语音识别模块,将语音指令传递给Arduino,实现基于语音输入的硬件控制, 介绍具体交互案例。


https://www.friend.com/wearable/product.html
https://publications.risdmuseum.org/grad-show-2023-design-engineering/bubble





第四讲:

多模态交互在作品集中的创意表达

01月06日(周一)20:00~21:00



本节课将聚焦于多模态交互在作品集中的应用,结合Arduino和AI工具,学习如何将多种交互方式整合并应用到作品中,探讨如何在作品集中更好地展示出交互设计的过程和技术实现的效果,让作品更具互动性和专业性。


本讲要点

1.何时使用多模态交互
• 应用场景引导:通过具体项目实例,帮助学生理解在什么情况下需要使用多模态交互,例如在需要提升互动性或丰富用户体验时。引导学生识别哪些项目适合通过多模态交互(如手势、语音、视觉)来增强交互效果。

2.如何选择适合的交互方式
• 选用交互元素的决策:引导学生根据项目目标选择最合适的多模态交互方式。例如,讨论在不同的项目中是使用手势交互还是语音交互更加有效,以及如何权衡这些选择的优缺点,使作品更具创意和实用性。

3.如何实现多模态交互
• 技术实现实战:结合Arduino和AI工具,介绍如何在作品集中呈现出技术实现的效果,例如选用何种工具、如何通过电路连接图、代码片段、视频或图像展示交互设计过程和最终效果,以突出作品的技术深度和互动性。


https://www.creativeapplications.net/objects/narratron-shadow-play-with-a-storytelling-ai/
https://designawards.core77.com/consumer-technology/95285/i-mnot-Yamaha-music-instruments-for-non-musicians

(文中作品案例源自网络,如有侵权请联系删除)



你也想做交互作品?
了解更多交互设计一线内容,
欢迎关注WIIISH惟学交互。
需要更多一对一辅导可以联系下方客服~





详细咨询


Contact us


WIIISH惟学交互 留学咨询二维码

WIIISH惟学交互 25/26/27FALL留学申请报名中
更多留学院校信息、作品集、文书等相关内容
长按二维码 添加客服咨询详情~




系列内容


Series





联系我们


Connect


↓  长按图片 ↓  关注公众号不迷路  ↓ 

喜欢  在看  亮灵感

WIIISH惟学交互
汇集哈佛、MIT、RCA、CMU、UW、TUD等全球顶尖院校师资,联合谷歌、亚马逊等头部互联网公司的精英设计团队。指导领域涵盖UI/UX、服务设计、人机交互、数字媒体、设计学、算法等多个方向,助力新一代交互设计师。
 最新文章