AI时光机MyTimeMachine正式上线!只需上传50张照片,AI便能根据你的面部特征,模拟不同年龄段的你,无论是重回青春、见证中年风采,还是预见未来的老年模样,统统轻松实现。想知道自己20岁时的样子,或是80岁时的模样吗?MyTimeMachine让这一切都变得可能!
相关链接
论文:https://arxiv.org/pdf/2411.14521
主页:https://mytimemachine.github.io/
代码:Coming soon...
论文阅读
摘要
面部衰老是一个复杂的过程,高度依赖于性别、种族、生活方式等多种因素,因此在准确预测任何个人的衰老之前,了解整体衰老情况极具挑战性。现有技术通常可以产生逼真且合理的衰老结果,但重新衰老的图像通常与目标年龄的人的外表不相似,因此需要个性化。在虚拟衰老的许多实际应用中,例如电影和电视节目中的视觉特效,访问用户在短时间间隔内(20 通常可以使用最小二乘法(即 40 岁)来重新老化图像。然而,在个人照片集上个性化全局老化技术的简单尝试往往会失败。
为了解决这个问题,北卡罗来纳大学提出了MyTimeMachine(MyTM)方法,它结合了全球衰老模型和用户个人的照片集(最多只需要50张图片),来学习个性化的衰老效果。该方案不仅适用于静态图像,还可以扩展到视频,生成高质量、保持身份特征且时间一致的衰老效果,能够更准确地呈现目标年龄时的真实外貌,且效果优于现有的最先进方法。
方法
给定一个输入脸, 在她 70 岁时,我们的适配器将她的脸部重新变老,使其看起来像她 30 岁时的样子,同时保留输入图像的风格。为了实现个性化的重新变老,我们收集 50 张不同年龄段的个人图像,并训练一个适配器网络,该网络可更新全局年龄编码器 SAM 生成的潜在代码。当目标年龄在训练数据中看到的年龄范围内时,我们的适配器会在插值过程中保留身份,同时还可以很好地推断出未见过的年龄。
实验结果
动画片
年龄回归(从~70岁开始抗衰老)
年龄进展(从~40岁开始衰老)
结论
MyTimeMachine是一种个性化的面部年龄变换技术,它将个人的纵向照片集(少至 50 张图像)与全局老化先验相结合。主要技术贡献包括新颖的适配器网络架构、个性化老化损失、外推正则化和自适应 w 范数正则化,这些贡献使个性化老化先验的学习成为可能。广泛的定量和定性评估表明,该方法优于现有的年龄变换和简单的个性化方法。
限制。 虽然模型有效地执行了年龄变换,但由于 e4e 编码器的限制,它在佩戴配饰(例如眼镜)时会遇到困难。此外,预训练的 SAM 模型在
将头发颜色改为白色或从白色改为白色方面存在困难—这是其他老化研究中的常见挑战。 生成老面孔时会产生红眼伪影。尽管我们提出的 w 范数正则化可以缓解这些问题,但这些问题尚未完全解决。
道德考虑。 面部衰老是一个复杂且本质上具有挑战性的问题,即使采用个性化,我们的模型在所有代表性不足的人群中也可能缺乏稳健性。我们的方法还可能产生真实个体的操纵图像,这构成了重大的社会风险。这个问题在生成模型中很常见,强调了未来在检测合成图像合成方面进行研究的必要性。
感谢你看到这里,也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群,一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术,欢迎一起交流学习💗~