随着Sora出现,AIGC成为当之无愧的电影行业年度关键词。如果说数字时代的来临使得电影本体生发出更多值得探讨的空间,AIGC(人工智能生成内容)则拷问了影像的底层逻辑:电影是否还是人(人性)的艺术?人工智能如何认知又如何生成世界?人工智能图生的底层逻辑是否会颠覆人类的既有认知?从技术层面到哲学层面,许多问题亟待进行探索。
而在电影考研层面,不论是诸多学术会议、期刊专题展现出的对AIGC前沿问题的关注,还是学科改革后专硕比例提升所隐含的技术应用及未来行业走向问题,都表明这一热点在未来一段时间内仍是各大院校的关注点所在。
在2024年的考研真题中,已有很多院校不约而同地考察了相关题目,题型多为简答或论述,分值占比较大,前沿考点也是拉开试卷区分度的一个板块。
具体考题如下:
AIGC (名词解释,上海大学,2024,643戏剧与影视史)
分析:一般名词解释题考察对概念的掌握。新前沿考点并不像我们以往学习到的大热门知识一样已经形成固定的答题模板,因此,对于概念的清晰掌握、逻辑分层及内容取舍则极为重要,也是能否取得满分的关键。这就需要我们整体掌握后清晰总结AIGC的几个着重点。
简述 AICG 在电影创作中的优势和缺陷。(简答,中国艺术研究院,2024,808电影史论)
AIGC 是什么?说明其应用的三个领域。(简答,北京师范大学,2024,719影视戏剧史论)
分析:简答题方面侧重对AIGC的功能性理解,目前考察方式较为基础,应用领域、优势劣势、前沿展望等问题都可以通过简要介绍及分点记忆进行攻破,不涉及较多外延问题。只要考生好好记忆,类似前沿热点问题难度小于需要我们调用知识库的经典问题,只要把控好篇幅和关键点即可。
论述 AI 技术对电影产业的影响(论述,西北大学,2024,642电影创作基础)
人工智能技术对未来电影创作的影响,从艺术创作和审美接受角度分析(论述,厦门大学,2024,622戏剧影视基础)
论述人工智能对未来影视的影响(论述,浙江师范大学,2024,864戏剧与影视综合)
论述人工智能对影视艺术的影响(论述,华农师范大学,2024,专业一)
人工智能对影视行业的影响(评析题,杭州师范大学,2024,836影视评论与写作)
分析:目前论述题考察难度相较简答并没有显著的提高,类似于基础问题的宏观视角,及更大篇幅的延展。这就需要我们不仅要积累知识,也要积累相关案例,让论述更具备说服力。同时论述也有部分涉及到相关艺术理论/艺术哲学问题,需要我们了解AIGC与电影相关的本质联结,从技术表象到深层理解,并将学到的艺术理论知识进行活用。
本篇推文就解决以上真题关于关键知识点、关键功能、技术理解和深层探析问题的考察,并为大家提供相关答题素材。
✦
•
✦
生成式人工智能技术在视觉媒介领域的广泛应用,引发了学界从本体论、认识论与方法论等多个维度对艺术存在的重新审视。进入“后电影”时代,关于电影多重维度的认知并不能仅限于参考书所描绘的经典图景之上,和当下新变化密切相关的考题常以具体维度切入,可应用到新技术/新媒介环境/新电影形式相关考题中,成为论述坚实的背景构成和升维赋分点。
但需要注意的是,AIGC指称人工智能生成内容,仅仅是人工智能的一方面,如题目问法是“人工智能”,则还需要从机器人(“后人类”人机伦理、科幻)、语言/图像识别(影视行业识别处理系统)、自然语言处理、机器学习(自动工程、人机博弈)等方面进行回答,涵盖范围会更加广泛。
人工智能可以生成电影了?
我们都知道,电影被称为一门集体艺术,以多方协作为特性并生成行业逻辑。同时,电影对于现实的复现也是其本质所在。但AIGC的出现,似乎从根本打破了相关定义。AIGC(Artificial Intelligence Generated Content)即人工智能生成内容,其应用主要起源于近年来深度学习算法等技术的不断更迭。
Sora和其他AIGC产品展现了极强的相关学习能力。简单来说,因为AIGC,拍电影这一“拍”的实践的重要性将被大大减弱,人(或专业人士)介入的必要性也相对减少,甚至在相关进程中,影像对于真实现实的依赖也将减弱,AIGC所生成的内容,可能会突破我们对世界的认知,并生成一个新的超越人的认知逻辑的世界。短期来看AIGC改变了基础的生产力工具,中期来看会改变社会的生产关系,长期来看促使整个社会生产力发生质的突破,在这样的生产力工具、生产关系、生产力变革中,生产要素——数据价值被极度放大。
20世纪50年代,约翰·麦卡锡首次提出了“人工智能”,倡导使用数学模型来描述人类思维。艾伦·马西逊·图灵提出了“图灵测试”,即通过对话测试来判断计算机是否具有思维与交互的能力,侧重于探讨人工智能的思想和哲学基础。2006年,杰弗里·辛顿提出了“深度学习”的概念,开发了一系列基于神经网络的深度学习算法。2014年,伊恩·古德费洛等人拓展了深度学习在图像合成、语音合成和自然语言生成等领域中的应用。随着算力、预训练模型和多模态技术的不断汇聚发展,2020年,汤姆·布朗(TomBrown)等人提出了基于预训练的语言模型(如GPT)的方法,并不断推出深度学习模型,取得突破性进展。
长期以来,形成分工明细、类目齐全且有竞争力的工业化体系,已成为诸多电影制作公司面临的挑战。在电影创作环节,传统电影创作存在剧本创作时间过长、质量不高、创新和创意不足等问题。在电影制作环节,传统电影制作涉及到庞大且复杂的制作流程、多学科专业技能融合及人员协作等问题,这都需要耗费大量的人力、时间与成本。
当下的AIGC技术不仅能够替代重复性的事务工作,还能从事更多创造性工作, 作为生产力工具,AIGC技术应用于文字生成和图像生成、音频生成、视频生成,降本增效上成效显著。随着AIGC技术向多模态发展,视频技术应用也将更加成熟,从而为电影数字化创作与制作平台的不断升级革新提供重要的技术支撑,是传统电影创作与制作应用领域的重要补充。
1
前期筹备阶段
(1)提高策划创作的创意感和完成度
随着AIGC技术的迭代升级,一方面,电影创作者根据原有创意策划和剧本的基础上,短时间内构建出更丰富的故事,减少重复性工作,聚焦更具有创造性的创意上,促进生成更加具有创意感的内容;另一方面,启发和扩展创作者生成崭新的创作灵感和创新思路,促进剧本创作的完成度和质量。
同时在策划阶段,根据某一“基线”剧本,设定特征变量和泛化规则,设定变量影响因子和自动化细则。电影创作者将自己的艺术视野和创作理念相结合,主导人工智能不断交互、学习,对历史上成功的电影案例进行大数据分析,从中挖掘出共性和特殊性,为后续电影剧本创作提供主要和次要影响因素。例如,扎根于历史、文化和人类经验,自动化生成电影作品的过程中,融入中国传统文化的独特性,中国艺术精神的哲学性,这对于中国电影的海外传播也会起到重要作用。
(2)场景构建
《复仇者联盟》(The Auenge)、《阿凡达》(Avata)等都利用通过构建虚拟静态场景融合动态信息渲染而成,虚拟场景的渲染和交互体验的设计也已经落地应用在电影数字化制作中。基于以上数字资产建模并应用可协助导演、摄像、灯光、道具部门等进行情景布局、分镜制作、灯光设计等智能化辅助工作。
在角色塑造方面,一方面是孪生角色,在相关法规、协议允许的前提下,通过动作捕捉和模式识别等技术精准识别面部表情和身体语言,一比一复刻模拟演练真人演员表演风格,并将其转化成数字模型,通过训练预测模型,生成匹配的动态造型效果。另一方面是合成角色,针对真实人物与动画角色合成的需求,如《猩球崛起》(Rise of the Planet of the Apes)系列电影中凯撒等猩猩角色,《玩具总动员》(Toy Story)动画电影中巴斯光年,都是基于真实演员提供的表演的外貌和动作进行信息采集,并结合动画角色定位转化成合成数字角色,赋予猩猩以及玩具拟人的形象和动画效果。未来在角色塑造上可融入更多维度的奇思妙想,这一点在动画制作创新领域尤为关键。
2
拍摄阶段
在拍摄阶段,利用平台和硬件设备,摄制组提前辅助模拟演练最优拍摄方案,如摄影机等设备的位置、角度、运动、速度和焦距变化进行线上多维度推演的控制策略,为导演和摄像提供多种创意和最佳拍摄预案;其次,辅助电影制作的智能化管理和自动化处理,实时更新电影摄制组全体组员的详细分工以及动态时间进度表、拍摄通告,例如资源调配、任务分配、进度监控等方面;再次,现场实时合成高质量的多维度视频素材。
3
后期制作阶段
在拍摄后处理阶段,利用平台中的文字生成功能,可以自动化制作字幕,减少人员制作时间,工作量从全部制作减少至校订核对。利用图像生成功能,可以进行背景替换、色彩校正和视频修稳定、视频修复和降噪等。
包括对一些模糊化的细节进行处理,提高画面分辨率,挽救此前拍摄环节的失误,提高内容的观赏性和视觉体验;利用音频生成技术中的音频处理和合成算法,根据历史上已有的音乐素材中的音调、节奏、和弦结构等音乐元素、音频特征和音乐效果,根据用户需求生成符合特定风格和长度要求的新音乐和新视频,与视频或其他视觉素材进行同步,实现视听素材的一体化创作。
利用视频生成功能,自动进行大规模的动态模拟、物理仿真和高质量渲染,生成各种自然灾害以及战斗场面,包括爆炸、火灾、水流等效果的模拟和渲染,生成逼真的虚拟环境,并将其与实际拍摄的素材融合。例如《少年派的奇幻漂流》中暴风雨的场景是通过视频生成功能模拟产生的。未来,通过更先进的计算机图形学和物理仿真算法,实现中小成本资金下制作视听大片的目标,以更低的成本实现高质量的电影制作。
视频生成的理想状态是可以实现快速自动剪辑合成,生成多种版本、多类型元素的电影。音频生成的理想状态是可以通过分析电影画面、文字对白以及电影情节和人物角色等相关信息,短时间内自动化、智能化匹配人类历史上出现的适合的音乐和伴奏,并给出多样性和创新性的音乐、音效新组合。
4
作品宣发及后期开发
(1)推动宣发
平台对创作内容的前期仿真推演和事后复盘等能力,通过平台的自然语言处理和机器学习、图像识别等技术,辅助人工编辑,快速完成海报、预告片和广告片、纪录片的制作,从而起到拉动宣发作用,延长生命周期;通过平台的大数据分析和生成能力,进一步帮助电影制作公司更好地调整宣发策略和定位目标受众,帮助电影发行公司在社交媒体和院线平台实现更精准的推广和互动;此外,根据不同发行公司的要求,可以将多类型、多版本的电影正片以及宣传素材进行分线发行。
(2)赋能电影内容泛化批量生产
首先,根据给定的创作素材,进行自动化处理和优化。通过情节推演算法和叙事结构分析,提供不同情节走向的可能性和建议,为编剧提供更加生动、立体的角色塑造和对话素材。其次,基于相同的创作素材,从不同角度进行创作,高效生成多样化、高质量的电影创意、剧本大纲、人物小传乃至于相对完整的剧本对话,自动化二次、三次乃至于多次生成电影作品。例如将两个甚至多个剧本同时放入平台,从而产生新的剧本。
长期以来,由于电影创作的复杂性,传统意义上的电影创作就已经存在很多知识产权界定不清、行使不畅、保护不利的问题。AIGC生成的内容归属、个人隐私的权益保护等问题,一是需要政府完善顶层制度设计,引领AIGC技术相关标准的拟定,制定新的法律法规和政策,明确知识产权的归属和保护范围;二是需要建立伦理框架和指导原则,引导AIGC技术的应用在符合道德和社会价值的前提下进行;三是需要加强网络平台监管,加大电影侵权的打击力度。
AIGC技术除了涉及知识产权保护及知识伦理问题之外,在数据集和训练模型中将涉及大量数据的输入,多源数据融合及合成生产数据等工作,是形成智能中枢的重要环节,数据除涉嫌保密机制还涉及到数据确权、数据生产及数据交易等问题,目前也存在很多争议。
随着高度复杂和无处不在的机器学习工具的快速发展,电影产业相关劳动力的贬值压力达到了沸点。一方面,AIGC技术的应用可以提高效率和创造力,创造新的就业机会;另一方面,它也可能自动化替代某些工作岗位,导致传统电影摄制组的各个部门的人员失去工作。因此,需要采取相应的政策和保护措施,帮助劳动力适应新的就业需求。好莱坞刚刚经历了历史上最长118天的罢工事件,这是63年来好莱坞演员和编剧首次联合罢工,全行业陷入停顿半年。演员、声音可能被人工智能复制品所取代或窃取。编剧们的作品可能被Chat GPT抄袭和篡改,导演的风格被Mid Journey抄袭和复制,国外很多工作室和大型科技公司已准备好在各个领域冲击这个由技术发展而产生劳动关系变化的行业。
Sora将扩散模型与ChatGPT所用的大型语言模型相融合,是基于文本提示能够生成现实及想象场景的AI模型,即AIGC。其一大突破在于,当其他人工智能视频生成算法还在努力实现4秒连贯性时,在Sora中输入提示词(Prompt),其能够生成一分钟视频并实现多角度的镜头切换,且物体一致。Sora正在教授人工智能理解并模拟运动中的物理世界,训练出既能帮助人们解决需要与现实世界互动的世界模型,又能一次性生成整个视频或延长已生成视频时长。
其运行机理主要包括六个步骤:
1
文本输入处理
首先,用户输入文字描述。模型会对输入文本进行分词,将文本分割成单词或短语。这一步通常使用自然语言处理技术,例如,词性标注和命名实体识别,等等。最后,模型会对分词结果进行词嵌入,将每个单词或短语转换为向量表示,以便后续的文本编码。
2
文本编码
输入的文字描述经过文本编码器,将文字转换成向量表示,这种向量是在高维空间中的数学表示,可以捕捉到文字描述的语义和语法信息。模型学习文本语法、语义并根据上下文关系,将其转换为向量表示。
3
前期筹备阶段
文本编码器得到向量表示后,将其输入视频生成网络。视频生成网络通常由生成器和判别器构成,其中,生成器负责生成视频内容,判别器负责评估生成视频的真实性。
4
生成器生成视频
生成器接收文本编码器输出的向量表示,根据向量表示生成对应的视频内容。生成器通常是一个深度神经网络,可以学习不同元素之间的关联,例如,物体的位置、形状、颜色,等等。
5
训练过程
在生成视频的过程中,生成器会不断优化自身参数,使生成的视频内容更贴近真实视频。
6
生成视频输出
生成器生成视频内容后,可以将其输出为视频文件,也可以在屏幕上实时展示。
从传统和主流的形态来看,电影从根本上说也是源自文字性的脚本,然后再将其转化为“现实及想象”的影像。
Sora的生成能力虽然目前仅局限于一分钟的长度,但大多数电影作品也无非是由一个个微小的时间片段所构成,所以利用Sora生成单镜头进行组接,完全可以达成完成一部电影的条件。另一方面,除了用自然语言和文本来引导的提示语之外,Sora的生成过程还包含着另外一个本质性的面向,那正是对真实的“物质世界”的模仿,因作为学习模型,Sora所有生成的内容都需要相应依据,且有相关的技术逻辑链条,而非如人类思维一样具有某些跳跃和断裂性,其输入——输出的过程会遵循某些指令引导,这便为我们理解图像式世界有了除人类认知以外的依据,对于我们的思维进行一定拓宽。但这个处理过程也有其不可把控性(如“文生逻辑”并不能精确控制Sora生成的影像与构想的完全相同)。
在《视频影像的创生模型作为世界模拟器(world simulators)》这篇基础的介绍技术背景的文献之中,Open AI给出了清晰明确的阐释。从根本上说,Sora的最终目的正是模拟实在的物理世界,首先,它得以将语言文本和视频影像这两个看似明显有别的媒介领域整合在一起因为Sora得以如此迅速而顺利的诞生,至关重要的技术前提正是在Chat GPT那里达到炉火纯青的大语言模型(LLM)技术。文本和影像、语言和视频初看之下彼此有别,但这个差异更多局限于现象的层面,体现于人的不同感知形态而已。从根本上说,它们都是数据,都可以被分解、还原为数据,也都可以,甚至理应按照数据处理的模型和法则来展开运作。
Sora也许不是一个电影理论的专家,或许也没有深厚的电影史的修养,但它既然深谙“万物皆数据”这个基本原理并能够得心应手地运用,也就当然可以自由穿行于任何一个媒介的领域而毫无滞碍。
将“万物”化为“数据”否意味着Sora在很大程度上远远领先于,甚至彻底挣脱了电影这个特殊的艺术与产业门类的限制呢?对此当然可以有两种根本的、截然相悖的选择。要么,可以将它视作电影的否定、电影史的终结,成为下一代的、全新的图像和影像的创生范式。亦不妨将其视作电影的延续,即电影在生成式AI的时代的一个全新形态。简言之,Sora不是“非电影”(non-cinema),而更是“后电影”(post-cinema),不是电影之死,而是电影发展的下一个新阶段。
首先,“造世”绝非Sora的原创,其实早已是当代主流电影的一个相当明显的趋势。我们不妨将电影的晚近发展的一个根本动向概括为从“叙事”到“造世”。固然,在传统的电影创作之中,世界也是一个基本的要素,但却往往只是退居边缘和背景,而进入数字时代之后,凭借数字影像技术强大的生成力,造世愈发成为电影的典型手法乃至终极诉求。
屏幕上的“世界”只是造世的结果和效应,而数据的模式和处理才是电影造世得以可能的根本机制和动力。由此就涉及将Sora和后电影直接连接在一起的第二重原因。、
对此,马诺维奇在出版于世纪之交的名作《新媒体的语言》之中已然给出了极具前瞻性的阐释。他围绕“数据库”这个要点展开论述。数据库逻辑主要在两个关键点上有别于传统的电影叙事:首先,它们更强调不同要素的空间并置,而并非时间演变;其次,它们使得观众与影像之间的互动得以可能,由此将传统影院中的观影者转变为后电影时代的用户及玩家。这两面又密切相关,共时性的数据库给玩家的自由选择敞开了巨大空间,同样,玩家的随时互动、深入参与又不断丰富和拓展着影像的数据库。我们看到,用数据库的方式来创作电影,以玩家的身份来参与电影,这两个要点也正是Sora的本质特征。
Sora的用户,完全可以没有任何电影专业相关的知识与技能,而只需要运用日常语言就能够与AI互动,进而迅捷高效地生成心目中的视频和影片。同样,扩散模型这个基本的方法,万物皆数据这个根本的原理,也都是马诺维奇囿于时代所限未及深入展开的数据库逻辑的切实的展现、具体的应用。或许马诺维奇自己从未真正使用过“后电影”这个说法,但他所倡导的“后媒介”这个术语也更强调的是从传统媒介到数字媒介的连续性演进而非否定性断裂。就此看来,作为后媒介的Sora也完全可以被视作是传统电影的延续和新生,而绝非死亡和终结。
人与机器、艺术与科技,乃至想象与计算之间难以化解的张力,仍然是目前阶段会屡屡遭遇的难题。Sora能够做到生成影像,但忽视了电影艺术所独有的叙事逻辑和视听手法,包括运镜及蒙太奇的种种技法,在电影的制作和观看的层次也全然无力。仅就目前的进展阶段而言,如何在语言的逻辑和视觉的逻辑之间建立起真正的互通关系,仍然是一个亟待解决的难题。
从某种角度看,语言的空间要比形象的空间小得多,即便在日常生活中,也仍然存在着大量语言与形象不对应、不一致,甚至语言无法准确、生动、丰富地描绘形象的情形存在。从LLM(大语言模型,用大量文本数据训练的深度学习模型)到LVM(用大量视频数据训练的深度学习模型)还需要一定距离。回顾电影史的发展,也总是充满各种未知和意外的创造,也注定要突破各种常规与惯例,让Sora去发明它自己的电影技法也许才是通往未来的后电影的可行途径。
[1]姜宇辉.作为后电影的Sora影像[J].电影艺术,2024,(05):3-11.
[2]孙伟平,刘航宇.生成式人工智能与知识生产方式的革命——从Sora的冲击波谈起[J].思想理论教育,2024,(05):12-18.DOI:10.16075/j.cnki.cn31-1220/g4.2024.05.001.
[3]朱光辉,王喜文.人工智能文生视频大模型Sora的核心技术、运行机理及未来场景[J].新疆师范大学学报(哲学社会科学版),2024,45(04):149-156.DOI:10.14100/j.cnki.65-1039/g4.20240320.001.
[4]曹磊,俞剑红.AIGC技术在电影数字化创作与制作平台的创新应用[J].北京电影学院学报,2023,(11):80-91.
作者/MIF
排版/MIF
编辑/驹子