为了向青年研究人员提供展示与交流的平台，具身触觉社区在“大咖面对面”的基础上增加了一档全新的分享栏目：“新锐论前沿”。新锐话前沿将邀请全球范围的从事触觉以及相关领域的博士、硕士等青年研究人员为社区分享最新的研究成果，并为社区的伙伴和作者提供交流与讨论的平台。11月13本系列的第一期活动顺利举办，卡内基梅隆大学机器人研究所的在读博士研究生高睿晗，为大家带来触觉内容生成方面的研究工作。
触觉传感器的研究与应用
主要讨论了传感器的设计和应用，包括光学传感器、压感传感器、电容传感器等。由于触觉传感器的多样化设计，每个传感器对于同种材料的感知也是不同的。会议分享了两项工作：一是可控视觉触觉合成，旨在提升内容创作的真实性纹理信息；二是利用触觉感知进行三维内容生成，主要在三维网格上增加纹理信息。
触觉与视觉融合的探索与应用
主要讲述了触觉与视觉的融合在衣服生成方面的应用。触觉对于人、机器人来说都是很重要的，但视觉在纹理层次的信息上有所欠缺。因此，通过触觉和视觉的融合来弥补这一空缺。会议中提到了一个平面的渲染设备——surface rendering device，它结合了视觉和触觉，用模型生成一件看起来和摸起来都比较真实的衣服。此外，还介绍了一种名为time touch的设备，通过电极产生摩擦力的变化，用户用手划过屏幕时可以感知不同材料的信息。
视觉触觉融合的衣物纹理生成
主要讲述了如何将触觉传感器和视觉信息融合，以生成更精细全面的纹理信息。首先，通过触觉传感器采集数据，然后将这些数据转换成摩擦力图，最后输入给渲染设备。在这个过程中，视觉提供了全面的信息，而触觉则提供了精致的纹理。为了实现这一目标，会议提到了使用marker tracking system来捕捉触觉传感器的位置，并与视觉信息对应起来。最后，通过这种方法生成的衣服可以具有不同的细节，如小花或口袋边缘等。
衣服信息生成与可视化研究
主要介绍了一种通过sport sample和边缘图来生成整件衣服信息的方法。该方法采集了20件衣服的信息，涵盖了不同材料、样式和纹理。通过设计不同的神经网络，可以学到有用的信息并保持高精度。生成的图片与ground truth相比，在真实性和细节方面有显著提高。此外，还发现Piece to pix hd和高干相对于piece to piece新的一些视觉方法，更着重于生成高精度的视觉图片。
用户实验与触觉设备应用探索
主要介绍了用户实验中使用的fresh map，通过在表面触觉设备上渲染视觉和触觉输出，实现对不同衣服和材料的识别。同时，通过user study比较直接触摸和canvas touch，验证了用户对不同衣服和材料的偏好。此外，还介绍了text to textile模型，通过文本描述生成衣服的视觉和触觉输出，并进行了用户研究。最后，讨论了工作局限性，如无法渲染立体物体和无法测量物体的硬度等，并表示未来会考虑这些问题。
触觉反馈设备的应用与挑战
与会者讨论了面向触觉反馈的设备，该设备由美国西北大学实验室研发，名为touch。设备通过黑白图片来提供触觉反馈，用户可以通过控制pixel value来调整摩擦力。然而，由于精度限制，设备的表面渲染效果可能会有所不同。此外，与会者还探讨了触觉方面的客观评估指标，包括视觉和触觉的感知损失score以及SID（选一个patch跟他training distribution有多么接近）等。最后，讨论了训练数据量的问题。
触觉感知在三维生成中的应用
主要讨论了如何利用触觉感知进行三维生成，以增强模型在数字世界中的真实感和细节。会议中提到，现有的文本到三维和图像到三维技术虽然能产生视觉上令人满意的结果，但往往缺乏具体的信息和细节。因此，他们希望通过将触觉感知与三维生成结合起来，利用触觉数据和文本来生成更真实、更细节的三维模型。此外，会议还提到了训练数据量的问题，以及如何处理不同衣服之间的交互等问题。
3D模型生成与纹理信息处理
主要介绍了一种三维模型生成方法，通过texture field将3D点云映射到纹理场中，然后根据不同相机位置渲染图像。该方法采集了18种材料的触觉信息，并利用这些信息生成不同的纹理。实验结果显示，用户更倾向于选择该方法，特别是在衡量纹理细节和几何一致性方面。此外，还提到了与其他方法的比较，如wonder three D和dreamcraft three D，发现该方法在保持细节和几何一致性方面表现更好。
多部分物体纹理编辑与触觉生成
主要介绍了多部分编辑技术，允许物体不同部分对应不同的纹理，通过text prompt来学习对应的颜色和标签。实验中，从上面和下面提取的信息完全不一样，生成的输出更一致和真实。此外，还讨论了深度图的获取方法，是通过设备直接刻出来的。在训练数据和测试数据的划分上，采用了200个patch，其中100个作为训练数据，50到80个作为测试数据。最后，提到了触觉没有全局监督的问题，通过两个模态的优势，用同一个encoder来保证触觉能从视觉学到全局信息，视觉能从触觉学习到对应细节纹理。
触觉感知与深度图重建技术探讨
讨论了触觉感知技术的设备、交互接口和未来发展。提到了平面的反馈设备、超声波和可穿戴式设备等，以及基于纹理的渲染。同时，也探讨了未来触觉技术可能走向模块化或统一表征的技术路线，以及将不同传感器信息整合的可能性。此外，还提到了将视觉、语言和触觉结合起来的多模态技术，认为这是一个有趣且具有挑战性的发展方向。
高博士分享与社群交流
本次活动中，高博士分享了关于触觉设备的技术报告，包括如何完成整个服装模型的全部纹理信息，以及用户在触摸时能感受到局部信息。活动结束后，大家可以在群里继续交流和讨论。高博士感谢大家的支持，并表示期待有机会再次分享新的工作成果。
