字节推出单图视频驱动模型 X-Portrait 2 超低成本高效的肖像动画技术

科技   科技   2024-11-07 16:32   福建  

近日,字节跳动推出一款最新肖像动画技术X-Portrait2,旨在以超低成本和高效的方式创造富有表现力和逼真的角色动画。

用户只需提供静态肖像图像和表现驱动视频,X-Portrait2即可通过将视频中的表情转移至肖像中生成动画视频,从而简化了传统动作捕捉和角色动画的复杂流程。

该技术的核心在于其先进的表情编码器模型,该模型经过大规模数据集的训练,能够隐式编码输入中的微小表情

结合强大的生成扩散模型,X-Portrait2可以生成流畅且极具表现力的视频,传输演员细微的面部表情,甚至包括撅嘴、吐舌头、鼓起脸颊和皱眉等挑战性表情。同时,生成的视频在情感表现上也保持高保真度。

在训练表情编码器时,开发团队确保外观和动作的强分离,使编码器专注于视频中与表情相关的信息。这种设计使得模型能够实现跨风格和跨领域的表情迁移,适用于现实故事讲述、角色动画、虚拟代理和视觉效果等多种场景。

与现有的最先进方法如 X-Portrait 和 Runway Act-One 相比,X-Portrait2在速头部动作、微小表情变化和个人情感传递方面展现出更高的准确性,这些方面对于高质量的动画内容创作至关重要,例如动画和电影制作中的动画内容。

地址:https://byteaigc.github.io/X-Portrait

关于AIbase>>

一个致力于让更多人了解并参与未来AI发展的平台


这里有最新AI资讯、100+ AI赚钱案例库、15000+AI产品库、保姆级AI工具教程


更多AI硬核内容直接访问AiBase官网,一键开启你的AGI之旅!


官网:https://www.aibase.com/zh/tools/


点击阅读原文,进AIbase官网

AIbase基地
每日AI新闻聚合阅读,掌握AI前沿资讯、AI新品、政策动向,洞察AI行业趋势,深思未来。
 最新文章