“AI换脸”背后,深度合成人脸内容是什么原理?(上)

文摘   科学   2024-07-08 08:28   北京  


点击蓝字·关注我们

电影《流浪地球2》中的“数字生命”图丫丫

近年来,AI换脸、AI生成视频等内容在互联网上日益火热,甚至用AI工具让逝者“复活”的案例也屡见不鲜。深度合成作为人工能技术的新应用、新实践,因此备受关注。

深度合成技术是指利用以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术。深度合成内容被广泛应用于新闻传媒、影视制作、娱乐、教育和电子商务等领域。

视频、图像中的深度合成人脸内容主要包括人脸替换、人脸生成、表情操纵、人脸属性编辑4类方式,本文将首先为您介绍前2种。


人脸替换

人脸替换是图像、视频中人脸深度合成技术中最典型的方式之一,是将原始对象替换为目标对象,涉及身份信息的更改,可实现目标对象出现在其未出现过的视频场景中。
在训练阶段,原始对象与目标对象训练一个权值共享的编码器,用于编码人脸特征;
在解码阶段,原始对象和目标对象各自训练独立的解码器用于重构人脸;
在测试阶段,先用编码器对目标对象进行编码,再用原始对象的解码器来解码目标对象的人脸特征,由此实现将原始对象人脸特征解码到目标对象上,如图1所示。
深度合成中这种自动编码器的结构大大提升了人脸替换的可操作性,降低了技术门槛,随着算法的不断优化演进,生成内容的真实感和生成过程的可控性也不断提升。
图1 利用人脸替换生成深度合成内容过程

人脸生成

人脸生成是通过训练大量人脸图像或视频数据集,使用深度神经网络学习人脸的内在特征和规律,并使用这些特征来生成新的人脸图像或视频。
通常使用一个编码器来提取原始对象和目标对象之间的语义信息,并使用一个解码器来生成目标对象。
在训练过程中,使用生成对抗网络(GAN)等技术,生成器和鉴别器之间进行博弈,以最大化生成器生成的目标对象与原始对象之间的差异,生成高分辨率、逼真自然的人脸图像或视频。
【摘编自《保密科学技术》2024年1月刊《视频实名认证中基于深度合成的AI检测技术应用研究》,作者:温暖、刘冬

END

「往  •  期  •  精  •  选」

源代码外泄防范对策(上)
源代码外泄防范对策(下)
源代码外泄的影响有哪些?

欢迎关注

公众号:保密科学技术

保密科学技术
宣传保密科技工作方针政策,推动保密科学技术发展和应用,普及保密科学技术知识,为保密工作提供技术交流、信息服务、常识教育和学科建设的重要平台。
 最新文章