动画与软体机器人：文本引导的草图动画；软体机器人转笔，自监督学习，手部模拟
FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations
2024-11-16｜U Surrey|🔺7
http://arxiv.org/abs/2411.10818v1
https://huggingface.co/papers/2411.10818
https://github.com/hmrishavbandy/FlipSketch
研究背景与意义
在当今数字创作领域，手绘动画作为一种重要的视觉表达方式，吸引了越来越多的关注。传统的动画制作过程复杂且耗时，通常需要专业艺术家的参与。而现有的自动化技术仍然需要大量的艺术努力，例如精确的运动路径或关键帧的指定。因此，如何简化动画创作过程，同时保持手绘作品的艺术本质，成为了一个亟待解决的问题。
本文提出的FlipSketch系统，旨在将静态草图转化为动态动画，借助于文本引导的方式，重新赋予手绘作品生命。该研究不仅解决了传统动画制作的复杂性，还为用户提供了更直观的创作体验。通过利用文本到视频的扩散模型，FlipSketch能够生成流畅的草图动画，捕捉到传统动画的表现力和自由度。
研究方法与创新
FlipSketch的核心创新体现在三个方面：
草图风格帧生成的微调：通过对现有文本到视频扩散模型的微调，FlipSketch能够生成连贯的线条绘图序列，同时利用来自视频数据的复杂运动先验。这一过程确保了生成的动画在视觉风格上与用户的输入草图保持一致。
参考帧机制：该机制通过对输入草图进行噪声精炼，提取出捕捉草图本质风格的规范噪声模式。这种方法在后续帧的迭代精炼中，能够保持细致的草图细节，同时允许自然运动的演变。
双重注意力组合：在去噪过程中，FlipSketch引入了一种新的双重注意力机制，能够在生成的动画中实现流畅的运动，同时保持草图的身份。这一机制为动态变换提供了支持，使得生成的动画不仅限于简单的线条操作。
与现有的矢量动画技术相比，FlipSketch的光栅帧支持动态草图变换，捕捉到传统动画所具有的表现自由。这使得用户能够通过简单的草图和文本描述，轻松生成高质量的动画。
实验设计与结果分析
在实验中，FlipSketch的性能与多种基准模型进行了比较，包括Live-Sketch等。结果显示，FlipSketch在生成动画的灵活性和质量上均表现优异。具体来说，用户研究表明，FlipSketch生成的动画在文本提示的忠实度和草图一致性方面均得到了较高的评价。
此外，通过对生成的动画进行定量分析，FlipSketch在草图到视频的一致性和文本到视频的对齐性指标上均超过了其他方法。这表明，FlipSketch不仅能够有效地保持输入草图的身份特征，还能生成符合文本描述的动态内容。
结论与展望
FlipSketch为草图动画生成提供了一种新的可能性，展示了光栅草图作为一种潜在替代方案，能够在保留艺术表现力的同时，简化动画创作流程。未来的研究可以进一步探索如何结合更多的用户输入和控制机制，以提升生成动画的个性化和多样性。同时，FlipSketch的应用前景也包括在实际视频生成中的潜力，特别是在结合现有的扩散模型和视频编辑技术时。
Soft Robotic Dynamic In-Hand Pen Spinning
2024-11-19｜CMU|🔺8
http://arxiv.org/abs/2411.12734v1
https://huggingface.co/papers/2411.12734
https://soft-spin.github.io
研究背景与意义
动态手中操作是现代机器人研究中的一个重要挑战，尤其是在软机器人领域。当前的研究显示，软机器人因其柔韧性和适应性，能够安全地与环境互动，但在快速且精确的动态操作中仍面临诸多困难。
本文提出的SWIFT系统，旨在通过试错学习来实现软机器人在手中快速旋转笔的能力，展示了软机器人在动态任务中的潜力。此研究不仅填补了软机器人与人类手部灵巧性之间的差距，也为未来的动态操作任务提供了新的思路。
研究方法与创新
SWIFT系统通过以下几个创新点来解决动态操控问题：
自我监督学习：该系统不依赖于物体的先验知识，而是通过真实世界的交互数据进行学习，体现了自我监督的特性。
优化参数搜索：采用协方差矩阵适应进化策略（CMA-ES）来优化动作参数，包括抓取位置、旋转参数和延迟时间，这种方法能够有效探索复杂的参数空间。
动态反馈控制：系统通过RGB-D摄像头实时监测笔的状态，并利用图像处理技术（如Hough变换和PCA）来估计笔的旋转状态和位置，从而实现动态控制。
多场景适应性：SWIFT不仅在不同重量和重心分布的笔上表现出色，还成功应用于其他形状和重量的物体（如刷子和螺丝刀），展示了其广泛的适应性。
实验设计与结果分析
SWIFT系统的实验设计包括以下几个步骤：
抓取与重置：通过预设位置和姿态，确保每次实验的可重复性。
动作执行：MOE手通过优化后的参数执行抓取、旋转和捕捉动作。
结果评估：通过RGB-D摄像头捕捉实验过程，并通过后处理算法评估旋转的成功与否。
实验结果显示，SWIFT在不同的笔配置上均达到了100%的成功率，且在其他物体上（如刷子和螺丝刀）也表现出良好的适应性，成功率分别为100%和50%。
结论与展望
SWIFT系统展示了软机器人在动态手中操作中的巨大潜力，特别是在无需物体物理属性知识的情况下，依然能够实现高效的动态操作。未来的研究可以进一步扩展到其他类型的物体和任务，以提升系统的通用性和效率。此外，结合更多的传感器反馈（如本体感知和接触估计）将有助于提高系统的性能和可靠性，为动态操作任务的研究开辟新的方向。
