为了向青年研究人员提供展示与交流的平台,具身触觉社区在“大咖面对面”的基础上增加了一档全新的分享栏目:“新锐论前沿”。新锐话前沿将邀请全球范围的从事触觉以及相关领域的博士、硕士等青年研究人员为社区分享最新的研究成果,并为社区的伙伴和作者提供交流与讨论的平台。在本系列的第一期,我们将邀请到来自卡内基梅隆大学机器人研究所的在读博士研究生高睿晗,为大家带来触觉内容生成方面的研究工作。请感兴趣的伙伴们扫描海报二维码或点击阅读原文进行报名。
一、报告简介
本次报告将介绍我们在多感官和触觉增强内容创作方面的最新研究工作,着重探讨如何通过深度生成模型弥合视觉真实感与触觉交互之间的差距,并介绍我们两项最新的研究工作。在我们的第一项研究 Controllable Visual-Tactile Synthesis中,我们开发了一种生成模型,从可编辑的草图和文本提示中合成高质量的多感官体验,以解决视觉和触觉输出合成的挑战。通过利用定制的视觉-触觉数据集和与触觉设备兼容的渲染流程,我们提供了一个沉浸式平台,使用户可以与数字材料进行交互。
项目网站:https://visual-tactile-synthesis.github.io/
在第二项研究中,Tactile DreamFusion: Exploiting Tactile Sensing for 3D Generation进一步扩展至3D生成,利用高分辨率触觉感知来为生成的三维对象添加真实的几何细节。通过创新的纹理场和基于法线的ControlNet,我们的方法在视觉和触觉领域之间实现了对齐的真实3D纹理。总体而言,这些工作在丰富内容创作的触觉真实感方面迈出了开创性的步伐,适用于电子商务、虚拟现实和交互式设计等领域。
项目网站:https://openreview.net/pdf/66c775642c7d37aa0f454574a3c06f89c19fcdf2.pdf
二、嘉宾简介
高睿晗是卡内基梅隆大学机器人研究所的四年级博士生,在朱俊彦教授和原文祯教授的指导下开展研究工作。她的研究兴趣集中在多模态生成建模、触觉感知和触觉渲染的交叉领域,在ICCV, IROS, ICIP, Journal of Ambient Intelligence and Humanized Computing等著名期刊和会议上发表10余篇研究论文。她于2020年获得新加坡南洋理工大学电气与电子工程学士(荣誉)学位。随后,加入了新加坡科研局(A*STAR I2R) 担任研究工程师,开始与林芝平教授合作进行生物医学图像分析方面的研究,并与吴龑博士及其团队在ASTAR的机器人触觉感知项目中进行合作。高睿晗曾获得多项荣誉,包括李光耀金奖、国家科学奖学金(5年博士资助)、南洋理工大学科学与工程奖学金(4年本科资助)、PREMIA 最佳学生报告奖,并与CHRIS团队一起入围KUKA创新奖决赛。
个人主页:https://ruihangao.github.io/
具身触觉社区将不定期举办触觉与机器人等相关领域的学术技术讲座与交流活动,敬请您的关注。