《现代电影技术》｜AIGC 技术在动画电影美术设计中的跨界应用

本文刊发于《现代电影技术》2024年第5期

作 者 简 介

赵  晴

中国传媒大学数据科学与智能媒体学院助理实验师，主要研究方向：AIGC、融媒体技术。

中国传媒大学数据科学与智能媒体学院大学本科在读，主要研究方向:AIGC、图像处理。

李奕泽

袁  璐

中国传媒大学数据科学与智能媒体学院师资博士后，主要研究方向:AIGC、虚假信息检测。

中国传媒大学媒介音视频教育部重点实验室副研究员，主要研究方向：智能媒体分析、音频信号处理。

蔡娟娟

叶  龙

中国传媒大学数据科学与智能媒体学院院长，中国传媒大学媒介音视频教育部重点实验室研究员，主要研究方向：智能音视频处理技术、虚拟现实技术。

人工智能生成内容（Artificial Intelligence Generated Content，AIGC）正日益成为内容创作领域的重要力量。该技术通过人工智能（AI）来辅助人类创作或在某些情境下能够独立生成内容。根据用户提供的关键词或具体需求，AIGC能够在文本、图像、音频等多个领域生成相应的作品^[1]。该技术已在电影行业初显成效，在剧本撰写、视觉艺术设计、声音设计等方面，都展现出其推动创新和提高效率的潜力^[2]，通过大量的数据训练和学习，辅助电影中的剧本创作、概念图绘制、图像合成、特效制作、场景重建等任务，从而提高了电影制作的效率和质量^[3]。

在动画电影制作中，美术设计扮演着重要的角色，其创新性和艺术性对提升电影质量和观众观影体验至关重要。美术设计涉及场景设计、角色设计、色彩设计、特效制作和视觉效果等方面。AIGC技术在电影美术设计领域的运用，打破了传统影视制作的桎梏，极大提高了生产效率，增强了制作能力，为影视制作注入了更多创新可能性^[4]。当前，其在电影美术设计中的研究和实践仍处于发展起步阶段。本文将深入探究AIGC在动画电影美术设计领域的应用可行性，以期为未来的研究与实践提供新的视角和启示。

从传统的专业生产内容（Professional Generated Content, PGC）、用户生成内容（User Generated Content, UGC）到如今的AIGC，从文本生成、图像生成到视频生成，AIGC正逐步应用于各行各业，成为支撑内容创作丰富性和创新性的关键技术。

在文本生成领域，AIGC主要应用于文本摘要、对话系统等，代表工具有ChatGPT^[5]、讯飞星火大模型^[6]、文心一言^[7]等。ChatGPT是OpenAI公司开发的语言模型对话系统，讯飞星火大模型与文心一言分别是国内企业科大讯飞和百度开发的语言模型对话系统，他们在文本摘要、文本生成等方面具有强大的功能。

在图像生成领域，AIGC主要应用于图像合成、图像修复等，如Stable Diffusion^[8]、DALL·E^[9]、Midjourney^[10]等。Stable Diffusion由Stability AI于2022年发布，主要用于生成以文本描述为条件的详细图像，其还可用于图像修补等方面。DALL·E 是由 OpenAI 开发的基于神经网络的图像生成模型，旨在生成与给定文本描述对齐的图像^[11]。Midjourney是由同名独立研究实验室创立，它可通过文本描述合成图像，快速生成逼真的人物、场景和动画。

在视频生成领域，代表应用为OpenAI开发的文本生成视频AI 模型Sora^[12]，经过训练，该模型可根据文本指令生成真实或想象场景的视频，并显示出模拟物理世界的潜力^[13]。

图像生成是指利用人工智能技术，根据给定的数据进行单模态或跨模态生成图像的过程。根据任务目标和输入模态的不同，图像生成主要包括图像合成（Image Composition）、图像生成图像（Image⁃to⁃Image）以及文本生成图像（Text⁃to⁃Image）等。根据生成图像的理念，将文本生成图像任务分为3大类：基于生成式对抗网络（GAN）架构生成图像、基于自回归模型（Autoregressive Model）架构生成图像、基于扩散模型（Diffusion Model）架构生成图像^[14]。

生成式对抗网络（GAN）通过生成器和判别器进行博弈训练以不断提升生成能力和鉴别能力，使生成网络的数据愈发趋近真实数据，从而达到生成逼真图像的目的^[14]。但在发展过程中，GAN存在稳定性较差、生成图像缺乏多样性、模式崩溃等问题。

自回归模型是用于将文本数据转化为图像数据的模型^[15]，将图像表示为像素序列，以先前生成的像素为条件，逐个像素地生成图像，从而产生新的样本^[16]。利用Transformer架构中的自注意力机制能够优化GAN的训练方式，提高模型的稳定性和生成图像的合理性。

扩散模型^[8]是通过一个从数据分布到高斯分布的扩散过程和一个从高斯分布到数据分布的去噪过程来建模数据，其在训练稳定性和结果准确性方面提升明显。而对于电影行业应用中的大量跨模态图像生成需求，则需要结合对比语言-图像预训练（Contrastive Language-Image Pre⁃Training, CLIP）进行，CLIP基于文本-图像对的训练方式能够建立跨模态的连接，是OpenAI 设计和开发的一种基于神经网络的模型，旨在训练文本和视觉数据的表示。该模型同时训练文本和图像，显著提升了生成图像的速度和质量。

目前，市面上有大量基于扩散模型和CLIP实现的文本到图像 、图像到图像等图像生成模型，利用简单的交互和快速生成图像的功能，显著地降低了操作门槛，并且越来越多地应用于商业服务，目前主流的工具有Stable Diffusion、Midjourney和DALL·E等^[17]，各模型简介如表1所示。

利用AIGC生成美术设计图片，主要流程为线稿设计和色彩设计。本文探索了如何通过使用Stable Diffusion、Midjourney、DALL·E等目前主流的图像生成工具，自动完成美术设计中的角色设计、场景设计、特效设计、色彩设计等任务，对比各工具的优劣，探索AIGC在动画电影美术设计领域中应用的可行性，帮助设计师从AIGC生成的设计中汲取设计灵感和思路，丰富角色设计元素和视觉表现力，促使作品焕发出艺术生命力^[18]。对没有基本绘图或设计技能的用户，AI可以提供方便的图像生成服务，能够将文字转换为视觉图片^[19]，AIGC将对动画美术设计的生产效率和创新发展产生重大影响。

4.1 AIGC在角色设计中的应用

人工智能角色生成技术的应用范围十分广泛，包括游戏开发、电影及动画制作等领域。动画电影的角色设计主要包含外貌特征、服装、造型、姿势等细节，而传统的角色设计方法具有一定的局限性。首先，传统的动画角色设计会耗费大量的时间和资源；其次，角色设计过程依赖于设计师的个人经验和创造力，设计师需要不断寻找灵感、提炼设计概念，并将其转化为实际的角色；最后，设计结果通常受到设计师个人经验和审美观念的限制，其设计思路可能会受到思维定式和个人偏好的影响，导致设计作品缺乏多样性和创新性。利用AI快速生成逼真的角色形象，可减少人工绘制的工作量，提高角色生成的效率和质量。利用已有的图像生成技术，通过输入提示词，即可获得角色设计图片。本节主要使用Stable Diffusion、Midjoureny、DALL·E等图像生成软件实现角色草图设计、色彩设计、服装款式设计等角色设计环节。

（1）角色草图设计

在设计动画角色时通常需要绘制角色草图，经过不断修改后，对草图进行上色，如今这一过程可以通过AIGC自动实现。这一过程中最重要的是确定提示词，以Stable Diffusion为例，输入以角色设计、三视角、蓝图、汉服、女孩等关键词组成的提示词，生成结果如图1所示。

图1　角色草图生成结果

（2）色彩设计

色彩是影视中一种强大的表现手段，能够传达情感、烘托氛围和塑造角色形象[4]。AIGC在电影色彩设计中的一个重要应用为线稿填色。传统方法中，线稿填色费时费力，通常由专业设计师手工完成。然而，借助AIGC技术可以实现自动或辅助填色，极大提高填色效率并为色彩设计带来新的可能性。目前笔者在使用不同工具进行生成色彩设计测试时发现，DALL·E无法完成色彩设计任务，Midjourney在识别复杂线稿时识别不清晰，生成结果无法满足预期（图2）。

与Midjourney线稿填色生成结果（右）

（3）服装款式设计

在角色设计中，服装设计是非常重要的一部分，在动画电影中，许多角色的服装设计都是在已有款式的基础上进行改进和创新设计而来。如在古装电影中，角色的服装通常根据朝代的设定，有着相似的基础版型，这时可以利用Stable Diffusion的ControlNet生成版型类似的一系列服装设计。ControlNet可以利用预处理器识别确定图像的特征，通过特征控制生成的图片，实现诸如姿势、场景、外观轮廓等。例如，我们想实现图3（左）衣服款式的创新，可以将该图片导入ControlNet中，开启Depth预处理器，即可得到图3（右）结果。

与改造款式生成结果（右）

（4）脸部特征提取

此外，我们还可通过Stable Diffusion中的EasyPhoto训练角色的面部特征，实现换脸。首先选取需要训练的角色面部多视角图片，并导入训练图库中，完成设置各项与训练有关的参数。当默认参数不变时，在上方选择一个用于训练的“基底模型”，常用Checkpoint作为训练LoRA（Low⁃Rank Adaption）的基底模型，通过训练获得相应人物模型，并进行下一步推理（图4）。

图4　导入多角度表情图片

（5）角色换脸

通过Stable Diffusion，我们可以将角色的各项数据输入程序中预览服装换脸效果，同时可以利用ControlNet中的Openpose骨骼框架图进行姿态管理。Openpose是ControlNet的预处理器，用于提取人物骨架等。其通过检测头部、肩膀、手等人体关键点并复制人体姿势，助力服装、发型和背景的生成[20]。通过Openpose调整人体姿势，搭配步骤（4）EasyPhoto的脸部特征结果即可得到角色换脸效果（图5）。

图5　换脸结果

此外，我们还可直接通过输入提示词完成角色设计，本文使用同一提示词依次在Stable Diffusion、Midjourney、DALL·E中生成角色设计，结果如图6所示。

图6　角色生成结果（从左至右依次为Stable Diffusion、Midjourney、DALL·E生成结果）

4.2 AIGC在场景设计中的应用

通过AIGC技术能够快速生成和定制化场景元素。举例来说，假设动画电影的场景是一个峡谷，其中充满了树木、瀑布、藤蔓和奇异的植物。传统方式是由画家手工绘制每一棵树、每一片叶子和每一根藤蔓，需要大量的时间和人力资源，并且限制了创作的多样性。而AIGC技术可以通过学习真实世界中的场景数据，自动分析和重建场景的三维结构。通过对大量真实世界场景的学习和分析，模拟自然场景的各种细节和特征，包括地形、植被、天空等。这使电影美术指导可以根据电影主题、氛围和风格要求快速地创建出符合期望的场景，无需花费大量时间手工绘制每一个细节。

使用彩虹、超现实童话河、超现实主义风格、逼真的柔和灯光等关键词作为提示词，依次在Stable Diffusion、Midjourney、DALL·E中生成场景设计，生成结果如图7所示，修改提示词后，生成结果也会有所改变（图8）。

图7　场景生成结果（从左至右依次为Stable Diffusion、Midjourney、DALL·E生成结果）

图8　场景生成结果（从左至右依次为Stable Diffusion、Midjourney、DALL·E生成结果）

除此之外，我们可以利用图生图的方法，根据给出的草图结构可控地生成场景图片。但笔者在测试时发现DALL·E无法很好地生成线稿图，Stable Diffusion与Midjourney草图生成与填色结果如图9、图10所示。

与填色结果（右）

与填色结果（右）

4.3 AIGC在视效设计中的应用

AIGC技术在动画电影视效中具有广泛的应用潜力，可以帮助视效团队生成、优化和创作各种视觉效果，从而为动画电影带来更加丰富和震撼的视觉体验，依次在Stable Diffusion、Midjourney、DALL·E输入蓝紫色魔幻特效、天空、云等提示词，即可得到具有特殊效果的图片（图11），还可通过修改选用的模型，生成不同风格的特效图片（图12）。

图11　特效生成结果（从左至右依次为Stable Diffusion、Midjourney、DALL·E生成结果）

与更新结果（右）

在特效生成方面，也可利用图生图方法，根据给出的草图结构完成填色，实现可控地生成特效图片，Stable Diffusion与Midjourney草图生成与填色结果如图13、图14所示。

与填色结果（右）

与填色结果（右）

4.4 测试结论

通过各软件的生成结果可以看出，Stable Diffusion和Midjourney在动画电影美术设计中具有一定的应用优势。首先，Stable Diffusion的功能较为丰富，更适用于动画电影美术设计这一应用场景，目前市面上针对Stable Diffusion开发了相应模型、插件，以便应用于不同风格、不同效果的美术设计生成。其次，在色彩设计方面，Stable Diffusion能够更加精准识别线稿轮廓，生成更加符合要求的结果。由于免费开源、可自行部署安装、可自定义训练等优势，该工具在艺术创作、游戏设计等领域具有广泛的应用前景^[21]。但在生成效果方面，Stable Diffusion需要根据不同的生成效果选用模型，而Midjourney一次可以生成四个结果，且生成质量较高，生成结果较为写实。

在电影行业，AIGC具有非常强大的功能和广阔的探索、应用空间。2024年2月26日，首部中国原创文生视频AI系列动画《千秋诗颂》于CCTV⁃1综合频道播出，借助人工智能技术，还原中国古诗词中的人物与场景^[22]。2024年3月6日，全球首部AI长篇电影Our T2 Remake在洛杉矶举行首映式，电影在创作过程中用到ChatGPT、Stable Diffusion、Midjourney V5.2、DALL·E、Pika等多款AIGC工具。2024年3月30日，中国传媒大学师生团队创作的国内首部AIGC水墨动画《龙门》亮相2024中国网络媒体论坛，以拥有自主产权的AI模型“墨池”为核心，生成具有水墨风格的动画短片。2024年4月12日，由四川电影电视学院人工智能实验室卡兹克工作室制作的AI短片作品《玉覆荆楚》在中国电影大数据暨电影频道M榜荣誉之夜惊艳亮相，该短片利用AIGC技术完成从剧本生成、分镜设计到AI生成图像、图像生成视频的任务，通过Midjourery生成具有电影质感的画面。AIGC已实际赋能电影生产，但目前利用AI进行电影美术设计时仍存在一些问题。

（1）缺乏创造性和个性化

由于AI主要依靠所使用的模型实现图像生成，生成结果的质量和多样性受到所使用数据集的限制^[23]，缺乏新颖性和创意性。如图12生成的两种不同结果，虽采用了Stable Diffusion不同的生成模型，但整体构图上仍具有较强的相似性。因此对于创造性和个性化要求高的图片，仍需进一步提升模型高质量图片生成能力。

（2）知识理解和表达能力不足

当前AI模型在理解、表达美术设计的复杂性和细节方面存在局限性。例如，模型可能无法充分理解特定文化背景、场景定位或电影风格等要求，导致生成的设计与实际需求不完全匹配。在生成特效图片时，笔者输入了云这一提示词，但Midjourney和DALL·E似乎都忽略了该关键词，而Stable Diffusion也模糊了这一关键词，并没有在图片中突出云这一元素。

（3）缺乏专业审查

在进行电影美术设计时，设计人员需要对剧本、角色和故事背景深入理解，以确保服装等设计与情节相匹配，而由于算法的自动化特性，生成的设计往往需要设计师的人工审查和手工调整，存在不完善或不够实用的情况。Midjourney在通过草图填色生成特效图片时，生成结果的科幻感不及Stable Diffusion生成的图片，其生成结果并不能满足预期，无法直接应用于实际动画电影生产中。

（4）数据偏差和样本不足

AI模型的训练数据可能存在偏差，导致生成的设计偏向某些特定类型或风格，而忽视其他可能性。此外，由于样本数量有限，模型可能无法覆盖所有可能的设计风格和要求，从而影响生成的设计质量和多样性。

（5）知识产权和原创性问题

AI技术的形成和完善依赖于大量的训练数据，且用于训练的数据往往也包含了受版权保护的内容^[24]。数据库中的部分图像涉及原始作者的创作版权，如果在没有征得原作者许可的情况下进行计算输出，可能存在侵权问题^[25]。为了加强AIGC与电影的融合应用，提高AI生成电影的质量，必须完善电影著作权相关的法律规定，用法治护航AIGC在影视行业的运用与发展^[26]。

通过本文的实验发现，AIGC应用于动画电影美术设计具有一定的可行性，它可以帮助设计师获取视觉艺术方面的创作灵感，提高生产效率，但由于AI存在一些局限性，目前仍无法完全依赖AI进行美术创作。面向未来，如何针对不同电影风格对模型进行微调、生成的设计是否存在侵权行为、如何通过修改提示词实现更好的生成效果是未来需要重点关注的问题，同时也是AIGC在电影行业更加广泛应用的基础，及提升电影美术设计准确度与艺术性的重要前提。总之，AIGC技术给动画美术设计带来了新的维度，利用人工智能图像生成工具有助于简化工作流程，激发创造力，并提升动画的整体质量。随着动画产业的不断发展，像Stable Diffusion这样的AI辅助工具具有进一步发展和创新的巨大潜力。