本工作主要贡献如下:
提出了一种空间和表面交互表达,能够有效编码交互的全局特征和局部特征;
提出了一种空间和表面对应场,能够在两个物体空间中建立表面和空间对应关系;
提出了一种基于空间和表面约束的交互优化,能够生成准确且有效的目标交互。
图1 SSCF流程图
图3展示了在人-椅静态交互和手-杯静态交互上的对比结果,针对人-椅交互的例子,本工作能够在具有不同结构和几何形状的椅子上迁移各种交互姿势,例如,本方法能够准确地将手与椅子扶手之间的接触转移到其他椅子上。针对手-杯交互,本方法迁移后的交互也准确地保留了重要的交互语义。本方法在智能体方向、物体穿透、交互语义以及交互相似性上均超过了所有基线方法[2, 3, 4, 5, 6]。
图4展示了一个动态交互的例子,相比其他基线,本方法能够生成更加稳定、平滑的运动序列。
图5展示了在残缺扫描物体输入的迁移结果,可以发现本方法能够产生更加合理的交互迁移。
表1和表2展示了本方法与其他基线方法的定量比较,本方法不仅在穿透指标上展现出显著的优势,同时也保持了最高的交互相似性。
-- End--
[1] Yu Deng, Jiaolong Yang, and Xin Tong. Deformed implicit field: Modeling 3D shapes with learned dense correspondence. Conference on Computer Vision and Pattern Recognition (CVPR). 10286-10296, 2021.
[2] Andriy Myronenko, and Xubo Song. Point set registration: Coherent point drift. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). 32(12), 2262-2275, 2010.
[3] Diego Rodriguez, and Sven Behnke. Transferring category-based functional grasping skills by latent space non-rigid registration. IEEE Robotics and Automation Letters (RAL). 3(3), 2662-2669, 2018.
[4] Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. OakInk: A large-scale knowledge repository for understanding hand-object interaction. Conference on Computer Vision and Pattern Recognition (CVPR). 20953-20962, 2022.
[5] Yeonjoon Kim, Hangil Park, Seungbae Bang, and Sung-Hee Lee. Retargeting human-object interaction to virtual avatars. IEEE Transactions on Visualization and Computer Graphics (TVCG). 22(11), 2405-2412, 2016.
[6] Anthony Simeonov, Yilun Du, Andrea Tagliasacchi, Joshua B Tenenbaum, Alberto Rodriguez, Pulkit Agrawal, and Vincent Sitzmann. Neural descriptor fields: SE(3)-equivariant object representations for manipulation. International Conference on Robotics and Automation (ICRA). 6394-6400, 2022.