《现代电影技术》｜戴瑞等：元宇宙技术在电影制作中的应用与展望

本文刊发于《现代电影技术》2024年第7期

作 者 简 介

戴瑞

浙江同济科技职业学院讲师，南京信息工程大学元宇宙研究院访问学者，主要研究方向：数字媒体艺术、虚拟现实。

南京信息工程大学元宇宙研究院院长，主要研究方向：虚拟现实、多模态交互。

潘志庚

范子珍

浙江同济科技职业学校副教授，主要研究方向：数字媒体艺术、虚拟现实。

在现代电影创作生产中，技术创新始终是推动行业发展的核心动力之一。随着元宇宙概念的兴起及其对数字交互平台的深远影响，探索这一概念在电影的应用成为一个新兴而重要的研究领域。

元宇宙作为一个技术集合包含六大支撑技术，分别是人工智能（AI）、游戏引擎、人机交互（HCI)、区块链、物联网、网络及运算^[1-2]。元宇宙是一个集成的虚拟共享空间，通过模拟现实世界来提供沉浸式用户体验。元宇宙相关技术不仅为电影提供了前所未有的视觉效果，还开辟了观众交互和体验的新途径。当前，利用虚拟现实（VR）、实时渲染引擎、人工智能等实现的高级视觉效果和复杂场景渲染已初步展示了元宇宙概念在电影行业深度应用的潜力，各种电影场景、人物、自然景观等虚拟物像均可通过精美的设计和渲染生成，并提供沉浸式体验。虚拟现实（VR）、增强现实（AR）、混合现实（MR）技术的发展^[3]，让电影制作人可以在更加广阔的数字空间中尽情发挥创意，创造出令观众震撼的视觉奇观。而观众也不再是被动接受故事的一方，而是通过沉浸式体验，成为故事的一部分。

元宇宙相关技术在电影行业的发展与应用，增强了电影的感染力和吸引力，为电影艺术的发展开辟了新可能，为电影技术发展提供了新方向和新思路。元宇宙技术为作品观看提供了全新的平台，创作者可以前所未有的方式与观众交互并塑造故事世界。随着元宇宙概念的发展，AI技术（如自动识别动作^[4]）以及交互技术的进步^[5-10]，虚拟世界的各种细节也会越来越逼近真实，同时人们可以通过先进的显示和交互设备沉浸式地观看电影^[11-13]。

2.1 《玩具总动员》利用三维动画构建虚拟世界

在电影发展的历史长河中，技术革新是推动艺术和商业价值飞跃的关键。从早期无声黑白转描动画电影到彩色有声动画电影，再到如今各类视觉特效丰富的影片，技术革命不仅带来视听体验的革新，也重塑了观影文化。这一进程中，皮克斯动画工作室在1995年推出的首部全计算机生成动画影片《玩具总动员》开创了三维动画新纪元，该片也是营造元宇宙体验中最重要的全方位虚拟环境构建的典型案例。《玩具总动员》给观众带来了全新的视觉体验，展示了数字技术在电影制作中的无限可能，成功跨越技术鸿沟，以出色的故事叙述和深刻的主题寓意，以及技术上的革命性创新，为三维动画影视的制作和发展开辟了新道路^[1]。

《玩具总动员》利用当时先进的三维动画技术，让虚拟角色和场景通过数学模型和算法跃然银幕，其技术不仅使动画更流畅、场景更丰富，还提高了制作效率和质量，为观众带来前所未有的视听体验，角色从二维卡通形象变为三维立体、表情丰富的实体。这种技术融合了动画故事叙述和视觉表现，极大丰富了动画的表现力和感染力。之后，三维动画渐成主流，皮克斯动画工作室也不断创新，推出《怪物公司》《海底总动员》等佳作，推动动画艺术和技术发展。《玩具总动员》中的口号“超越极限”，不仅是电影中角色的呼声，也是每一位电影制作人对技术创新和艺术探索的永恒追求。

2.2 《阿凡达》利用3D和虚拟摄制技术缔造逼近真实的虚拟空间

如果说《玩具总动员》构画了三维的“玩具”空间，2009年上映的《阿凡达》则彻底改变了业界和观众对电影世界的想象和期待，应用3D技术和虚拟摄制技术缔造了绚丽、逼近真实却又超乎想象的纳美星球，引发了我们对元宇宙的想象。

《阿凡达》制作过程广泛应用了动作捕捉技术和三维渲染技术，实现了真正意义上的虚拟摄制，为电影制作树立了新技术标杆。演员们穿戴特制动作捕捉服，在特设的拍摄场地中进行表演，其动作和表情被精准捕捉并记录下来，随后被转换为三维模型，在电脑中进行进一步的处理和渲染^[15]，最终呈现出电影中令人叹为观止的虚拟角色动画。从技术层面深入剖析，动作捕捉技术的核心在于借助精密传感器捕捉演员的身体动态与面部表情，随后将这些详尽的数据转化为计算机图形，进而在电影制作中塑造出栩栩如生的虚拟角色。

动作捕捉技术的运用范畴并不仅限于电影产业，其原理与实践在视频游戏和VR等领域同样得到了广泛应用，成为构建元宇宙这一综合性虚拟共享空间不可或缺的基石。通过这一技术，用户可在元宇宙中操控其虚拟化身进行各种形式的交互、工作或娱乐。用户的动作与表情能够得到精确复制与呈现，极大增强了用户的沉浸感与交互体验。《阿凡达》中所采用的技术不仅推动了电影制作技术的革新，更为元宇宙的实现提供了坚实的技术支撑与启示。

2.3 《头号玩家》引发业界和观众对元宇宙的思考

2018年上映的电影《头号玩家》，其故事本身即与元宇宙密切相关，让观众以最直观的方式接触并思考元宇宙概念。电影在新技术的加持下，始终致力于营造真实的沉浸感体验，而影片中人类在“绿洲”VR游戏场景中沉浸于交互体验甚至为未来奋战，其对主题的探讨已冲破了电影的“造梦”藩篱，超越了游戏的“消遣”束缚，走向更深层次的现实拟真和自我实现。

随着元宇宙技术的应用，电影不再是简单的视听作品，而是成为可交互、可体验甚至适宜生活的虚拟世界。VR互动影片不仅满足了观众对沉浸式、新奇感和个性化观影体验的需求，也为电影故事的讲述打开了全新视角和空间，让电影能够超越传统线性叙事，探索更加复杂、多维的叙事结构和表现形式。这不仅挑战了我们对于“现实”的传统认知，也促使我们重新思考在虚拟与现实交融的新时代中，人类如何定义自我、认知世界以及与他人建立联系。同样，元宇宙技术在电影制作中的应用，不仅能够为电影艺术的发展注入新的活力和创新，也为我们提供了一个独特视角，来审视和思考人类文化和社会在高度数字化和虚拟化的未来世界中将何去何从。

2.4 《狮子王》开启元宇宙在电影中的深度应用

2019年上映的真人版《狮子王》是元宇宙技术在电影制作中深度应用的一个里程碑。影片并非真正的实景拍摄，而是完全在计算机中完成的数字化制作。主创团队通过先进的实时渲染引擎和虚拟现实技术，结合动作捕捉和传统动画技术，创造出了一个栩栩如生的数字自然世界。

在制作过程中，团队充分利用了Unity实时渲染引擎的强大功能，结合VR头戴式设备，创造出了电影中所需的复杂虚拟环境，并实现场景的虚拟勘景（Virtual Scouting）和数字分镜制作，提升了电影的拟真效果，展现了VR技术对电影制作的重要影响^[14]。通过VR这一通往元宇宙的媒介工具，主创团队实现了电影制作的虚拟世界与真实世界的联通，并预示着电影创作新时代的开启。

实时渲染引擎不仅允许制作人员在VR环境中实时预览CG环境和角色，还极大地提高了制作效率和灵活性。传统实景拍摄中，光线控制困难，尤其在后期特效加工时更为复杂，因此光线自然效果对画面效果至关重要。借助VR虚拟制作技术，摄影师进入虚拟场景，可控制光线并模拟更契合场景和剧情的效果。

色彩是另一重要因素。传统动画电影运用高对比度建立角色认知，展现独特魅力；而《狮子王》为达到真实的、模拟实拍的效果，色彩需贴近观众对实景的理解。影片基于非洲大草原构建逼真数字场景，虚拟动物角色的制作参考真实色彩，并允许摄影师微调以突出角色特点。在动态镜头方面，由于运动镜头在VR场景中更易实现，《狮子王》中出现了更多运动镜头和场景，同时借助VR虚拟制作，影片的复杂场面调度变得灵活可控 ^[18]。

2.5 《曼达洛人》致力于虚实环境的一致表达

近年来在电影制作领域，LED虚拟摄制技术通过结合实时渲染引擎、动作捕捉等先进技术，不仅极大丰富了电影的视觉效果，也显著提高了制作效率。LED虚拟摄制技术和元宇宙技术不仅基于相同技术点，其功能和目的也极为近似，均包含了虚拟环境、虚实结合、交互式体验等。LED虚拟摄制技术在众多电影中得到应用，其中最具代表性的莫过于剧集《曼达洛人》。《曼达洛人》的监制是曾执导《奇幻森林》《狮子王》的乔恩·费儒。费儒是虚拟摄制技术创新领域的又一开拓者，其团队对虚拟摄制技术的升级是革命性的^[15]。

《曼达洛人》有大量需要三维元素填充制作的场景和大量打斗、快节奏的镜头。如果采用基于绿幕的虚拟摄制方式，演员穿戴的强反射金属盔甲会产生严重的绿幕溢色现象^[16]，因此剧组运用沉浸式LED高分辨率显示屏并结合实时渲染、虚拟场景和实景拍摄的方法，实现在虚拟环境中实时预览、拍摄和编辑场景。这项技术的核心是所谓的“体积成像”（Volumetric Imaging）或“实时渲染技术”，利用了计算机图形学（CG）技术和实时渲染引擎，将虚拟环境显示到一个大型LED显示屏上。这个屏幕通常围绕着拍摄舞台，创造出一个环绕式虚拟背景。这意味着导演和摄影师可实时看到最终效果并根据需求进行调整和修改，大大缩短了后期制作时间。

《曼达洛人》所展示的技术效果为我们勾勒出一个充满可能性的未来景观，电影级沉浸式LED显示屏或将成为电影制作基地的标配。LED屏幕具有出色的性能表现，包括高像素密度、广色域以及高亮度和对比度，不仅可解决传统绿幕带来的溢色问题，而且大幅提升了现场创作效率和虚拟背景的真实感。尽管目前仍需解决摩尔纹等技术难题，但随着摄影机和LED显示屏的协同工作及刷新率同步，这些问题将逐渐得到解决^[17]。

其次，实时渲染技术将进一步革新影视制作行业工作方式。虚幻引擎（Unreal Engine,UE）的实时渲染能力已能满足高端剧集和大银幕电影内容的摄制需求，提高了摄制过程虚实交互的实时性。内视锥技术的应用进一步提高了实时渲染效率，为影视制作提供了更多可能性，同时也促进了实时电影摄影的创新发展。未来，随着UE 5.0的光线追踪功能与动态全局光照技术的集成，影视作品将获得更高的真实感和表现力。用户可自由移动虚拟光源，并利用插件工具集实现虚实空间光照氛围的匹配，为影视作品增添更多的想象空间和视觉震撼。在元宇宙概念不断发展的背景下，实时电影摄制将带来更多创新机遇，开启影视制作的全新篇章。

人工智能生成内容（AIGC）的发展，为元宇宙提供了重要的底层技术。以AIGC为支撑的元宇宙，被高德纳咨询公司（Gartner Consulting）列为近两年战略性技术之首。AIGC为电影制作提供了多方面的辅助与革新。在创意阶段，AIGC能够迅速生成大量视频内容，有助于制作团队验证不同的创意和叙事方案，从而提高创作效率和多样性。在后期制作中，AIGC可用于特效生成和场景渲染，自动生成复杂背景场景或特效，降低人力投入的同时提升视觉效果。此外，AIGC还能应用于个性化内容创作，根据观众偏好和反馈定制生成符合特定群体喜好的电影片段或故事线，为观众提供更个性化和多样化的观影体验。

3.1 文本生成、概念图生成助力电影前期设计

在剧本创作阶段，AI可以充当编剧的强大助手。通过对大量电影剧本、观众评论和市场趋势的数据分析，AI能够帮助编剧捕捉到受欢迎的故事元素和潜在创意方向。例如，使用AI技术的剧本创作工具，可以基于给定情节提示自动生成故事梗概或对话，为编剧提供灵感和素材^[18]。

在电影前期制作中，美术造型是构建电影视觉风格和故事氛围的关键环节。随着AI技术的发展和以Midjourney、Stable Diffusion等为代表的AI图像生成工具的应用，电影美术造型领域正在经历一场革命，AI不仅为美术设计带来了新工具和新方法，还极大地扩展了创意可能性。

（1）场景设计：AI技术可通过学习大量艺术作品和真实世界图片，自动生成具有特定风格的虚拟场景，为电影的场景设计提供了无限灵感和选择。例如，AI可根据导演和美术指导的要求，快速生成古典、未来或奇幻等不同风格的场景概念图，有效缩短设计周期，提高工作效率。

（2）角色造型：利用AI技术，电影制作团队可更精细化、多样化地设计电影角色外观。根据角色性格、场景氛围和剧情需要，AI大模型能提出多种造型建议。此外，AI还能在保证角色造型一致的同时，对其进行微调，以适应电影中不同的情境和情感表达。

（3）特效化妆：AI技术在特效化妆设计中也显示出巨大潜力。通过分析和学习大量的特效化妆案例，AI不仅能够提出创新的妆容设计方案，还能通过模拟预测妆容在不同光照和表情下的效果，帮助化妆师做出更加精确的决策。

3.2 视频生成大模型为电影摄制带来无限可能

在电影拍摄过程中，AI技术也开始发挥作用。通过动作捕捉技术结合AI算法，可更精准地捕捉演员的表演，并将其转化为虚拟角色的动作，使虚拟角色的表现更加自然流畅。在《复仇者联盟3：无限战争》中，技术人员通过动作捕捉技术捕获演员的表演，再利用AI技术优化并转化为角色动画，尤其是反派角色灭霸的表情和动作，展现了AI在提升虚拟角色表演真实性方面的能力。此外，AI还能辅助导演进行场景布局和光线调整，实时预览不同拍摄角度和效果，提高拍摄效率和效果。

在后期制作中，AI还可进行场景识别、色彩调整和特效生成，极大地提升制作效率和视觉效果的质量。特别是在视觉效果繁重的大制作电影中，AI技术能够自动完成部分繁琐的后期处理工作，如自动剪辑、色彩校正等，让视效团队能够将更多精力集中在创意和细节打磨上。在视觉效果和场景设计方面，AI技术的集成使电影制作人员可快速生成复杂的三维环境和详细的场景布局。通过使用先进算法，AI可以模拟自然光线、气象条件和物理交互，创建出令人信服和震撼的视觉效果。例如，AI可以自动生成出一个完整的虚拟城市，其建筑风格、街道布局和环境动态等无需人工逐一设计。AI还能自动分析拍摄的原始素材，根据预设的编辑逻辑进行初剪，甚至能够根据审片者的实时反馈进行剪辑调整。

Sora视频生成大模型的出现，标志着AI技术在电影领域取得了重要进步。其不仅预示着制作过程的变革，也为电影内容的创作带来新的可能性。Sora视频生成大模型是一种基于深度学习的AI大模型，能够通过分析大量的视频数据，学习和理解视频中的视觉元素、叙事结构和情感波动等多维度信息，从而实现视频内容生成。尽管Sora视频大模型尚未开源，具体应用案例在电影领域还处于探索阶段，但可以预见的是，AI大模型在未来电影制作和内容创作中将扮演重要角色。例如，在科幻电影的制作中，AI大模型用于生成外星世界的场景，或者根据拍摄脚本内容自动生成未来城市的样貌。AI的发展过程使电影与元宇宙之间的关联比以往更紧密、更复杂。

4.1 更高品质视觉效果

在实时渲染引擎和强大的图形处理技术的推动下，虚拟摄制画面精细程度和实时显示效果将不断提升，现场摄制将成为电影制作的重要环节，后期制作的工作将持续前置。在前期精细画面和后期完善加工的基础上，未来电影将展现出更为精细、逼真的视觉效果和更为动态、沉浸式的观影体验，将带给观众全新的视觉体验，并推动整个行业不断向前发展。另外，随着网络和算力的发展，更高分辨率和帧速率的内容有望被处理、传输和播映，高新技术格式将不断刷新电影的视觉效果。

4.2 沉浸式和交互式观影体验

元宇宙技术的应用将重新定义观众与电影之间的交互关系。目前已有许多电影展示了人类迄今为止对元宇宙概念的实践，电影中呈现的一些尚未达到元宇宙想象的现实也将继续启发人们去探索和实践。随着技术的不断进步，未来的电影观众可能会看到更多利用混合现实（MR）技术展现的作品，结合了VR/AR的特点，提供更加无缝的现实与虚拟世界融合体验。借助VR/AR技术，电影作品将抽象概念生动地呈现出来，在潜移默化中塑造和引导着人们把对元宇宙的构想逐步转化为现实。

此外，随着AI技术在元宇宙中的应用成熟，未来电影可实时根据观众的反应调整剧情发展，提供真正动态和响应式的故事体验。观众不再是外部观察者，而是成为故事的一部分。电影制作人可以设计多条叙事路径，让观众通过选择不同的交互选项来影响故事的走向。例如奈飞（Netflix）出品的实验性电影《黑镜：潘达斯奈基》就采用了这种模式，观众的选择直接影响剧情发展和结局。

通过元宇宙中的AR技术，电影的角色和场景可以在观众的现实环境中以增强现实的形式出现，从而提供一种创新的叙事方式，电影中的角色可以“脱离”屏幕，进入观众的现实世界中，与观众进行交互。例如可以在儿童电影中被用来教育和娱乐，使角色在孩子的房间中“活”起来，让孩子得以参与解决问题或讲故事。正如《我的世界》《罗布乐思》《创世纪城》和国产的“希壤”等蓬勃发展的元宇宙平台，用户可以在其中进行各种活动，包括上课、参加演唱会、游览美术展、观影、社交、建造虚拟资产等。未来元宇宙技术下的电影也会提供一个高度模仿现实社会的虚拟环境，使用户的视听体验与现实相差无几。

4.3 电影与元宇宙：内容产业与高新技术的双向协同

如果我们只是借助设备沉浸式观看电影，不算真正体验元宇宙电影，但如果我们置身虚实融合的情境，与主人公一起探索故事内容，那才算真正进入了元宇宙世界。

从内容角度来讲，元宇宙需要电影产业持续提供优质故事和IP。电影作为一种视听娱乐形式，其对观众的吸引力源于好的故事、好内容的积淀和创新。对于元宇宙而言，只有充足的内容才能促进其产业化和高速发展应用。电影等内容产业为元宇宙提供了丰富的资源和创意，为其应用提供了可探索的丰富素材。从技术角度来讲，电影产业也需要元宇宙这一新技术。观众对视听体验和故事的不断追求，促使电影制作使用更先进的技术和软件工具来实现，元宇宙技术在电影领域的应用是效率提升和技术发展的必然选择，促进了电影产业的创新发展和良性循环。总而言之，电影产业应当充分利用内容产业的积极影响，推动元宇宙等高新技术在电影领域的应用和发展，为观众提供更加丰富、多样的观影体验，而元宇宙也应深度拥抱电影等内容产业，从而获得源源不断的高质量支撑内容。

随着元宇宙技术在电影制作中的不断应用，我们见证了电影视觉效果、叙事手法以及观影体验的革命性变革。从《玩具总动员》开创的三维动画时代，到《阿凡达》采用的虚拟摄制技术，再到真人版《狮子王》《曼达洛人》全面应用VR和虚拟摄制技术，元宇宙技术不仅推动了电影视觉艺术的进步，还为叙事提供了更多维度的空间，创造了更加沉浸和交互的观影体验。

就元宇宙和智能技术在电影和其他教育娱乐内容领域的应用趋势而言，笔者认为具备以下特点：

（1）AI技术能为主创团队提供分镜和视觉预演参考方案，并以VR形式为制作者展现。VR/AR、人机交互（HCI）技术和AI技术的融合，将进一步促进电影制作的沉浸式、自动化和智能化，从剧本创作、场景构建到后期制作，将实现更直观、更高效、更高品质的呈现。

（2）VR/AR和交互技术的应用，使人们可以沉浸式观影并与场景中的角色实时交互，同时也支持个性化故事线观影，避免千人一面。更多VR交互电影的出现，将给用户带来全方位体验和个性化选择，并逐步成为人们文化生活的重要工具。通过利用元宇宙技术制作的视频或电影可以寓教于乐，增强受教育者的学习兴趣和参与度。 

（3）数字资产（电影或其中素材）将成为影视制作的重要生产资料，其重复利用和版权保护将成为重点关注问题。应用元宇宙中的区块链技术^[19-21]可以维护创作者权益，保护数字资产版权交易的唯一性和可追溯性。

（4）中国电影科技随着元宇宙技术革新将持续升级，支撑电影行业“讲好中国故事”、不断发展壮大并迎来前所未有的发展机遇。中国是一个拥有悠久历史和丰富文化底蕴的国家，古老的传统神话、民间传说以及现代社会的独特景观，为中国电影提供了丰富的题材和背景，成为创作者们无尽的创作源泉。我国电影工作者正以其独特的视角和创意，积极探索如何将元宇宙技术与本土文化相融合，通过内容创作、技术创新打造更多具有全球影响力的代表性作品，从而展现中国独特的文化魅力。

综上所述，元宇宙技术正引领电影制作和观影体验进入新的时代。在当今日新月异的科技时代，元宇宙技术在电影制作中的应用研究不仅是对新兴科技边界的一次勇敢探索，也是对电影艺术未来走向的一次深刻思考，其意义远超出技术层面讨论，更触及了作为一种文化现象的电影与观众交互方式的根本变革。在电影制作技术的每一次革新中，都可以看到电影人对完美视听体验的不懈追求，以及对电影艺术无限可能的探索和想象。元宇宙技术将进一步推动电影艺术和产业的繁荣发展，为全世界观众带来更多震撼心灵的优秀作品和前所未有的观影体验。