本期为TechBeat人工智能社区第622期线上Talk。
北京时间9月4日(周三)20:00，清华大学博士生诸子钰的Talk将准时在TechBeat人工智能社区开播！他与大家分享的主题是: “面向具身智能的通用3D视觉语言理解”，届时将深入探讨具身智能和3D视觉语言模型，介绍两项最新研究成果PQ3D和SG3D。
长按识别二维码，一键预约TALK！
具身智能是最近一段时间十分受人关注的研究话题，随着像GPT-4V这样的大型视觉语言模型以及机器人系统RT-2的出现，能够进行家用的具身智能体离我们又进了一步。在这一领域，3D视觉语言模型扮演着智能体的“眼睛”和“大脑”，对于智能体感知世界、理解人类语言并执行相应动作具有关键作用。本期Talk将深入探讨具身智能和3D视觉语言模型，介绍我们的两项最新研究成果PQ3D和SG3D。在PQ3D，Unifying 3D Vision-Language Understanding via Promptable Queries,我们提出了一个通用的3D视觉语言模型，能够利用Voxel,Point,Image三种表征形式，去解决多种3D视觉语言任务。在SG3D中，我们针对具身智能任务规划设计了一个评测language grounding的benchmark, 把每一步动作指令对应到了相应的物体上，并且测试了two-stream, query-based以及3D-LLM在这一任务上的表现。
1. 具身智能的相关背景。
2. 3D视觉语言模型在具身智能中的意义。
3. 介绍我们在ECCV24上的最新工作，PQ3D，Unifying 3D Vision-Language Understanding via Promptable Queries, 能够灵活利用多种表征来解各种3D视觉语言任务的通用模型。
4. 介绍我们面向具身智能的3D视觉语言benchmark, SG3D, Task-oriented Sequential Grounding in 3D Scenes。
5. 总结与展望。
Talk·预习资料
▼
![]()
项目链接：
https://3d-vista.github.io/
![]()
https://pq3d.github.io/
![]()
https://sg-3d.github.io/
![]()
项目链接：
https://embodied-generalist.github.io/
![]()
https://sqa3d.github.io/
Talk·提问交流
▼
在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！![]()
你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！![]()
诸子钰，清华大学计算机系四年级博士生。研究方向为3D视觉语言学习，生成式模型，在ICCV，ECCV，ICML，AAAI，TMM等顶级会议和期刊发表多篇论文。个人主页:
https://www.techbeat.net/grzytrkj?id=8463
![]()
如果你也想成为讲者
▼
单人Talk | 团队专场 | 录播or直播 | 闭门交流
![]()
TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区
