本文刊发于《现代电影技术》2024年第10期
专家点评
习近平总书记指出,中国式现代化要靠科技现代化作支撑,实现高质量发展要靠科技创新培育新动能。当前,科技发展日新月异,新一轮科技革命和产业变革已经到来。人工智能、超高清视频、沉浸式音频、XR虚实融合等技术快速演进,推动视听媒体深度融合发展,这为电影行业迭代升级提供了前所未有的发展机遇。《电影科技发展演进与热点分析》一文深刻剖析了国内外电影科技发展热点,涵盖智能科学技术应用、国家电影数字资产平台建设、影院放映技术革新、国产沉浸式音频技术研发、电影技术标准演进以及影视多业态发展等关键领域的技术发展和成果应用,明确了电影科技演进趋势和发展方向,观点清晰、文笔精炼、表述准确,为中国电影科技发展提出了具有前瞻性、指导性和可行性的建议,具有很高的参考价值。
——姜文波
中央广播电视总台编务会议成员
超高清视音频制播呈现国家重点实验室主任
中国电影科学技术研究所(中央宣传部电影技术质量检测所)高新技术研究处副处长,主要研究方向:数字电影技术。
王 萃
中国电影科学技术研究所(中央宣传部电影技术质量检测所)高级工程师,主要研究方向:电影标准化、数字电影技术。
刘茂英
本文从智能科学技术发展应用、数字资产平台建设、影院放映技术革新、沉浸式音频研发应用、技术标准演进、影视多业态发展等六个方面,详述了当前电影科技发展趋势,并结合我国电影行业特点与需求,提出未来发展建议。
电影科技;智能科技;数字资产;放映技术;技术标准
1 前言
电影作为技术与艺术的结合体,其发展始终与全球科技进步紧密相连,科技领域的创新成果不断被应用于电影全产业链,推动行业持续创新升级。当前全球电影呈现出显著的技术和业态融合趋势,我国电影行业抓住机遇积极创新,在技术研发、集成应用、标准支撑等方面全方位发力,顺应科技演进趋势,走出了一条具有中国特色的电影科技发展道路。
当前及未来,电影摄制技术将进一步向智能化、虚拟化方向演进,高新技术格式放映技术体系和放映模式持续创新发展,适应新技术新特点新趋势的电影技术标准体系逐步建立完善。本文将围绕电影摄制、放映、标准等多个领域,从具有行业紧迫性的技术热点入手,分析阐述当前电影科技的发展演进。
2 电影智能化进程持续拓展深化
近年来,人工智能(Artificial Intelligence, AI)技术发展迅猛,已渗透至电影产业链的诸多环节,正在重塑电影生产制作流程,包括应用AI生成图像、视频和音频素材,以及在传统电影制作工具中集成AI功能等。AI技术的模型、数据和算力,目前呈现以下发展态势。
2.1 模型
大语言模型(Large Language Model, LLM)在文本生成技术上的发展最为迅速且趋于成熟,文本-图像、文本-视频、图像-视频等跨模态预训练模型取得技术突破,实现了多模态生成能力。图像与视频生成的主流模型框架以卷积神经网络(Convolutional Neural Network, CNN)为基础,由早期生成式对抗网络(Generative Adversarial Network, GAN)、变分自编码器(Variational Auto⁃Encoder, VAE) 演进至Transformer路线,后再发展出扩散模型(Diffusion Model)[1-2],最后发展为DiT技术架构(Diffusion Transformer)[3]。视频生成大模型Sora即采用此架构。
对于电影行业关注度较高的AI视频生成,直接由文本生成视频还存在诸多问题,如生成时长短、生成对象不一致、画面不可控、可用比例低等,生成的视频与电影品质尚存在一定差距。对此,国内外开始探索集成应用新路线,即在制作环节调用不同模型或AI工具,分别生成文字、图像、视频、音频,最终再整合成完整作品。该方法成本低、可行性高,已成为视频生成主流路线,也催生出较多系统平台和短片作品。
2.2 训练数据集
除真实数据和人工生成数据外,AI合成数据已成为当前训练数据集的重要来源之一。同时,利用大语言模型与多模态模型进行数据自动标注成为数据处理的常用方法[4]。当前,AI训练数据集的构建愈发注重数据质量和数据分布均衡性,且逐步向专用数据集发展,如生物、树木、新闻视频、水下视频等特定领域的数据集,更能满足垂直领域的需求[5]。
用于电影AI模型的训练数据对技术指标具有较高要求,现存公开数据集和互联网普通数据无法满足训练需求,未形成电影级高品质公开数据集,业内机构只能使用自有电影数据开展AI模型训练,尚未实现用于学术研究等行业数据共享,这是电影行业智能化升级过程中亟待解决的问题之一。
2.3 算力
目前我国算力规模仅次于美国,位列全球第二[6]。我国近年来统筹超算、智算、海底算力、“东数西算”等多元化算力工程构建新型算力网络体系,并积极推进全国一体化算力网建设落地,实现全国算力“一张网”,解决统一算力标准、公平算力调度、协调各方利益等重要问题。
AI算力芯片国产化替代全面提速,国产AI服务器经过优化,与国外芯片的效率差距正逐步缩小;用于AI芯片级联的高性能网络互联也已出现国产解决方案。未来国产AI算力企业可通过软硬件协同优化,进一步完善系统生态建设,增强开发环境的兼容性和互操作性,通过提升易用性进一步推动国产算力产品的应用推广。
3 国家电影数字资产平台建设势在必行
当前我国电影产业由传统视听产业向以人工智能、云计算等为核心支撑技术的高新技术产业转型升级,传统电影单线程制作模式向以数字资产为核心的电影多线程制作模式转变。电影数字资产能够以生产、管理、存储和交易等多元化形式实现资产复用,充分发挥电影数字资产的内在价值和潜能,有效提升制作效率和质量,有利于国产精品电影制作,是影视虚拟摄制的重要内容支撑。然而当前国内数字资产平台在内容与技术构建方面仍处于初级阶段,亟需建立国家级、电影级的数字资产平台,实现不同资产系统之间的版权管理、信息互通和资源共享,建立数字资产标准体系,整合社会资源、构建生态体系,实现数字资产全生命周期管理和有效利用。
国家电影数字资产平台的搭建涉及基础设施建设、信息管理、数字技术、版权保护、人工智能、云计算、标准化建设等多个领域,是一项复杂、庞大的系统工程,需统筹规划、精心设计、稳步推进。国家电影数字资产平台旨在实现以下三个目标:
一是构建资产共享平台。平台将不同机构、企业和创作者手中“小而散”的电影数字资产进行有效整合,形成一个“大而强”的电影数字资产库,实现不同资产平台之间信息互通和资源共享,打破资产信息壁垒、避免低水平重复劳动、提高资源利用效率,促进电影产业链上下游企业、机构和创作者协同合作,共同推动电影数字资产的高质量开发、利用和保护。
二是构建资产共享标准。平台将通过探索、研发、实验和先行示范,提出满足电影工业制作需要、适用于我国国情的电影数字资产标准规范,涵盖数字资产采集、存储、处理、交易等各个环节。通过标准化建设,推动技术规格的统一和兼容,确保不同来源、不同格式的数字资产能够在平台有序、合规流转运作,有效提升数字资产利用效率和服务质量,保障资产安全。
三是构建完整生态系统。平台将构建集创作、制作、发行、交易及安全、版权保护等为一体的完整生态体系,实现数字资产的全生命周期管理。为行业上下游制作公司、创作者等提供丰富的数字资产服务,满足多元化多样化资产需求,进一步培育和发展电影数字资产市场,吸引更多资本和人才进入该领域,推动电影产业的数字化转型和创新发展。
4 影院放映技术革新提升高新技术格式放映品质
为提供更优质的视听品质,影院放映正逐步向高分辨率(HR)、高动态范围(HDR)、高帧率(HFR)、广色域(WCG)等高新技术格式发展,目前可采用放映系统整体替换和现有系统技术升级两条路线,二者将在HDR方向并行发展,并对HDR母版制作提出需求。
4.1 LED电影放映系统技术
近年来,我国电影行业科研机构与国内相关企业联合,基于国际标准化组织(ISO)、数字电影倡导组织(DCI)等标准化文件,自主研发了我国首款LED 2K和4K电影放映系统,相继通过DCI检测认证,已在海外落地应用,我国在新一代电影放映系统研制和应用实现另辟赛道。
目前国产LED电影放映系统在高亮度、高对比度、高均匀性、高帧率、高动态范围等放映技术领域已处于国际领先水平。我国LED显示屏全球占比高于80%,专业LED控制器全球占比高于90%[7],已成为拥有LED电影放映系统生产厂商和影厅数量最多的国家。
为解决LED非透声电影屏在还音和声像定位一致性方面存在的技术难题,我国研发了具有自主知识产权的全球首款LED透声电影屏并通过DCI检测认证,填补了全球LED放映系统还音环节的技术空白。同时,行业开展LED SDR/HDR发行母版制作研究,已实现HDR制版。此外,我国已有影院借助LED显示屏、沉浸式音频等技术实施整体环境体验空间升级,已在海南落地沉浸式LED影厅。
4.2 HDR投影放映技术
目前传统放映机只能利用光源7%~10%的光能,光源利用率低,无法满足HDR放映要求,可采用光转向、全局调光等技术路线实现投影系统的HDR放映。
光转向技术即利用空间相位光调制器件,实现光束传播方向、能量分布的实时改变,充分利用浪费的光能,提升白场峰值亮度,使放映更“亮”。全局调光技术则是利用高性能电子系统,实时分析计算画面像素的亮度分布,对激光器信号脉宽、驱动电流进行超高速调制和色彩平衡补偿,降低银幕黑场亮度,使放映更“黑”。
5 国产沉浸声技术打通制作发行还音端
基于对象的沉浸声技术采用“基础声床+元数据+音频对象”的制作理念,沉浸感大大增强、制作方式便捷、声场布局灵活,现已成为全球电影行业通用规范。
目前国产沉浸式音频技术研发工作已取得显著成效。在制作端,已完成符合SMPTE 2098-1标准[8]的沉浸式音频元数据制作和实时渲染工具研发。在发行端,已完成符合SMPTE 2098-2标准[9]的沉浸式音频码流IAB编码和MXF封装研究。在还音端,已完成符合SMPTE 430标准中10/11/14/17[10-13]通信协议对接,实现了IAB码流解码和制作端渲染,目前正开展产品化研发突破。
为进一步完善我国电影技术标准建设和核心关键技术标准研制,国产沉浸声技术标准建设应遵循兼容全球统一的沉浸声技术和安全放映规范,满足专业影院、家庭影院、点播影院、流媒体等不同放映场所的需求,实现国产沉浸声技术制版统一、系统间互操作,推动国产沉浸声系统和内容出海。
6 电影技术标准演进支撑前沿技术行业规范应用
6.1 好莱坞电影技术规范更新
DCI于2020年把直接显示设备纳入数字电影系统规范(DCSS)[14],于2022年发布HDR和直接显示方面的补充条款,并根据设备发展情况持续更新,细化了HDR放映环境光、电光转换函数(EOTF)允差等指标,明确了直显设备的亮度允差和帧率测试要求并接受曲面屏[15-16]。对应的符合性测试规范(CTP)也针对HDR和直接显示设备专门增加了技术要求和测量方法,包括亮度和色度、最小黑电平、可见像素等[17]。
在声音领域,2020年,DCSS针对沉浸式音频增加了“基于对象的音频要素”(OBAE),并于2022年将其正式纳入规范,明确规定:基于对象的音频要素渲染和播放系统要求,应符合美国电影电视工程师协会(SMPTE)针对沉浸式音频元数据格式、母版文件制作、封装打包的相关要求[14]。同时,CTP也修订了针对OBAE的测试要求[17]。
6.2 我国电影技术标准国际化跃升
作为国际标准化组织电影技术委员会(ISO/TC 36)的积极成员国,我国主导的首个电影ISO国际标准《数字影院立体放映技术要求和测量方法》于2023年正式发布,填补了我国在电影技术领域国际标准空白,为我国自主知识产权电影设备进入国际市场、参与国际竞争争取了主导权,同时也为我国进一步主导电影国际标准制定提供了良好借鉴。该标准制定经历多次协调,解答多个成员国意见质询,兼顾各国设备发展水平,同时坚持核心技术要求,最终确定中心亮度、双眼亮度差、亮度均匀度、银幕中心白场色度坐标等参数指标。当前电影技术领域国际标准共115个,90个胶片电影标准和25个数字电影标准,数字电影标准中有24个由美国主导制定的标准直接转换而成,基本处于美国垄断状态,因此该标准作为第一个非好莱坞体系标准正式发布,具有重要的突破价值和里程碑意义。
除积极推进国际标准制定外,我国从ISO标准制定机制方面进一步打破美国好莱坞垄断,增强国际话语权。在2024年3月ISO/TC 36全会上,针对SMPTE标准与ISO/TC 36国际标准的快速转化维护机制,我国提出应明晰SMPTE标准转化程序,确保TC 36成员国参与或监督SMPTE标准制定过程,避免未经充分讨论即直接转化为ISO国际标准的情况,力争从WD阶段而非FDIS阶段就介入国际标准制定。我国意见被纳入全会决议,有效维护了各成员国权益,为电影国际标准平衡健康发展贡献了中国智慧。
6.3 我国电影技术标准工作推进
2023年11月全国电影标准化技术委员会正式成立以来,致力于建立我国电影标准化工作机制,完善规章制度建设,初步构建电影标准体系,征集新标准项目建议,推动标准研制进程。2024年8月,《电影公共服务 放映系统技术要求和测量方法》《电影公共服务 放映运营和服务信息技术要求和测试方法》《数字电影存档母版技术规范》《数字影院LED放映发行母版技术规范》《数字影院沉浸式音频处理器技术要求和测量方法》等5个电影行业标准项目获得立项。
同时,全国电影标准化技术委员会努力推进在研标准项目清理,对归口管理的12项在研国家标准、行业标准项目开展协调工作。重新启动国家标准修订项目《电影院星级的划分与评定》,形成征求意见稿;《数字影院放映用投影机系统技术要求和测量方法》《电影院票务管理系统技术要求和测量方法》项目于2024年9月通过专家审定,形成报批稿,等待国家电影局批准发布;推动《无障碍数字电影音频描述制作规范与技术要求》等标准项目,形成征求意见稿;推动《胶片档案影片数字化修复技术要求》等形成工作组讨论稿;敦促《电影摄影棚建筑设计规范》《电影后期制作建筑设计规范》承担单位在规定时间完成标准制定;终止《影院运营业务网络技术要求及测量方法》《数字电影网络运营系统接口规范及测量方法》两项在研标准。
7 多元化沉浸式技术融合推进影院业务拓展
7.1 影院业务拓展
充分利用影院高品质视听环境开展其他增值业务,如演唱会、音乐会、电子竞技、体育赛事等,已成为当前影院业务拓展的重要方向。2024年夏天,中央广播电视总台与中影股份联合推出巴黎奥运会电视节目影院直播,参与影院800余家[18],票房收入接近245万元[19]。国产3A游戏《黑神话:悟空》推出后,也有影院开展游戏直播业务,吸引了大批年轻观众。
7.2 沉浸式体验
除影院直播外,扩展现实(XR)沉浸式互动体验成为新兴特种电影形式。XR电影借助近眼显示技术、运动跟踪定位系统、动作捕捉系统和特定场地搭建,为观众打造交互式沉浸体验,让观众以第一视角进入影片,获得完全不同于传统电影的观影体验。现有实践探索包括河南卫视的《唐宫夜宴》、西部电影集团的《汉阳孤军》等。
作为特种电影,XR电影是一种全新的交互式观影模式,未来行业需制定XR电影管理办法,并启动XR系列标准规范研制,对XR电影的内容、放映场所、软件、装备、定位予以规范,保障XR电影健康有序发展。
8 结语
我国电影行业顺应全球科技发展趋势、结合市场需求,已取得丰硕成果。《“十四五”中国电影发展规划》提出,2035年我国将建成电影强国,实现高质量发展,电影创作生产能力显著增强,产业体系和公共服务体系更加完善。
“十五五”时期,我国电影行业应以电影重点实验室建设为抓手,推进AI大模型在电影行业垂直应用,加快国家电影数字资产平台建设,推动LED放映系统、国产沉浸声系统研发落地,探索多元化制作发行放映技术体系建设和XR等特种电影健康可持续推广,建设完善电影技术标准体系,从而实现资源有效复用,高效服务行业,提高摄制水平和效率,提升影院视听效果与观影体验,保障行业规范有序发展,充分激发产业效能。
未来,我国电影行业将加快适应全球科技迅猛发展新态势,集聚行业内外技术力量,推进电影科技自主创新,服务保障电影产业高质量发展,以科技力量助力电影强国和文化强国建设。
参考文献
(向下滑动阅读)
[1] Sohl-Dickstein J, Weiss E, Maheswaranathan N, et al. Deep unsupervised learning using nonequilibrium thermodynamics[C]//International conference on machine learning. PMLR, 2015: 2256⁃2265.
[2] Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models[J]. Advances in neural information processing systems, 2020, 33: 6840⁃6851.
[3] Peebles W, Xie S. Scalable diffusion models with transformers[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023: 4195⁃4205.
[4] Tan Z, Li D , Wang S, et al. Large language models for data annotation: A survey[EB/OL]. [2024⁃09⁃30] https://www.yiyibooks.cn/arxiv/2402.13446v1/index.html.
[5] Stevens S, Wu J, Thompson M J, et al. Bioclip: A vision foundation model for the tree of life[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2024: 19412⁃19424.
[6] 河南日报. 《中国综合算力指数报告(2024)》在郑发布[EB/OL]. (2024⁃09⁃29)[2024⁃10⁃10]. https://www.henan.gov.cn/2024/09-29/3068502.html.
[7] 常慧琴,李娜,董强国,等. 数字电影LED放映系统国产化研制及发展建议[J]. 现代电影技术,2024(7):4⁃11.
[8] Immersive Audio Metadata: SMPTE ST 2098⁃1:2018 [S], 2018.
[9] Immersive Audio Bitstream Specification:SMPTE 2098⁃2:2018 [S], 2018.
[10] D⁃Cinema Operations⁃Digital Sync Signal and Aux Data Transfer Protocol : SMPTE ST 430⁃14:2015 [S], 2015.
[11] D⁃Cinema Operations ⁃ Auxiliary Resource Presentation List:SMPTE ST 430⁃11:2010 [S], 2010.
[12] D⁃Cinema Operations ⁃ Digital Sync Signal and Aux Data Transfer Protocol:SMPTE ST 430⁃14:2022 [S], 2022.
[13] SMS⁃OMB Communications Protocol Specification:SMPTE ST 430⁃17:2022 [S], 2022.
[14] Digital Cinema Initiatives, LLC (DCI).Digital Cinema System Specification (V1.4.3)[Z], 2023.
[15] Digital Cinema Initiatives, LLC (DCI).High Dynamic Range D⁃Cinema Addendum(V1.2.1)[Z], 2024.
[16] Digital Cinema Initiatives, LLC (DCI). Direct View Display D⁃Cinema Addendum(V1.2)[Z], 2024.
[17] Digital Cinema Initiatives, LLC (DCI). Compliance Test Plan(V1.4.1) [Z], 2024.
[18] 央视网. 财智奥运 全国800余家影院放映巴黎奥运会开闭幕式和赛事[EB/OL]. (2024⁃07⁃27)[2024⁃10⁃10]. http://m.app.cctv.com/video/detail/e7a53521def249ebbae243bbb2ef2bef/index.shtml#0.
[19] 新京报. 巴黎奥运会影院直播总票房244.2万,乒乓赛事最受关注[EB/OL]. (2024⁃08⁃12)[2024⁃10⁃10]. https://www.bjnews.com.cn/detail/1723455477168046.html.
主管单位:国家电影局
主办单位:电影技术质量检测所
标准国际刊号:ISSN 1673-3215
国内统一刊号:CN 11-5336/TB
投稿系统:ampt.crifst.ac.cn
官方网站:www.crifst.ac.cn
广告合作:010-63245082
期刊发行:010-63245081