《现代电影技术》｜数字电影沉浸式音频实时处理技术研究

本文刊发于《现代电影技术》2024年第4期

作 者 简 介

董强国

董强国（1984-），男，硕士，高级工程师，中国电影科学技术研究所（中央宣传部电影技术质量检测所）检测认证南方中心副主任，主要研究方向：电影技术。

龚波（1969-），男，博士，正高级工程师，中国电影科学技术研究所（中央宣传部电影技术质量检测所）副所长，主要研究方向：电影技术。

龚  波

由于数字电影沉浸式音频技术能为观众营造更加自然和逼真的视听体验，一经推出便获得市场的高度认可。近几年，随着沉浸式音频技术的发展，数字电影沉浸式音频影厅已成为当今影院的热门配置，国内厂家也纷纷推出各自的沉浸式音频还音系统，但因国内厂家生产的音频处理器仅支持数字电影集成媒体模块（Integrated Media Block, IMB）AES/EBU接口的输入，且最多支持8路AES/EBU音频信号输入，暂不支持基于元数据格式的沉浸式音频比特流（IAB）接口。由于受到IMB输出音频信号通道数量的限制，导致各个厂家生产的沉浸式音频处理系统还音各具特点，还音效果参差不齐，使国产系统难以在影院大范围推广，严重限制了国产沉浸式音频技术的提升。

基于元数据的沉浸式音频技术主要由影厅空间位置元数据+对象音频文件组成，传统的AES/EBU传输通道无法传输这种基于元数据+对象的音频内容。SMPTE ST 430⁃14《数字电影同步信号和辅助数据传输协议》和SMPTE ST 2098⁃2《沉浸式音频比特流规范》的发布，为我国沉浸式音频传输技术的实现提供了很好的技术借鉴。为解决国产沉浸式音频内容传输技术所面临的难题，规范市场，助力企业的研发和生产，提高国产沉浸式音频系统的国内外市场竞争力，推动国产沉浸式音频技术的发展，我国亟需开展符合国内技术现状、兼容国际标准的IMB与沉浸式音频处理器之间的沉浸式音频文件传输技术和实时处理技术的研究工作。

数字电影沉浸式音频处理系统为了能够获取IAB，需要与IMB进行通信，并从辅助数据轨获取相关的IAB。SMPTE定义了数字电影辅助数据和同步信号的传输协议，本章节主要对如何从IMB辅助数据区提取辅助数据的相关规范进行解读。

2.1 辅助内容同步协议

SMPTE ST 430⁃10 辅助内容同步协议是将合成播放列表（CPL）中的辅助资源同步到播放时间线的协议标准，规定了如何将辅助资源展示列表（RPL）中的辅助资源同步到播放时间线上，主要用于数字影院服务器（DCS）和一个或多个辅助内容服务器（ACS）之间的通信。其中，合成播放列表（CPL）定义了播放期间要呈现的资源，这些资源至少包括视频和/或音频，也可能包含字幕等。

DCS和ACS之间的主要通信方式为ACS向DCS发出连接请求后，DCS向ACS发出声明以验证ACS协议的正确性，ACS正确接收到声明后向DCS发出声明响应确认信息，然后DCS向ACS发出续租请求，ACS向DCS回复续租响应，随后DCS向ACS发出获取状态请求，ACS回复确认获取状态响应，DCS向ACS发出设置RPL位置请求，ACS向DCS回复设置RPL位置响应状态，DCS向ACS发出获取状态信息请求后，ACS向DCS发出获取状态响应，DCS发出终止续租请求后，ACS终止租约，DCS继续发送续租请求。DCS和ACS之间的主要通信交互规则流程如图1所示。

图1　DCS和ACS间的通信交互规则

2.2 辅助资源展示列表

SMPTE ST 430⁃11 RPL用于指定数字电影服务器上内容资源所在的存储位置，以及在单个素材或由多个素材组成的播放素材所在时间线上的相对位置。在播放开始前，DCS将RPL发送给ACS，ACS从DCS获得时间线更新，并确定应提供哪些资源。RPL至少包含播放ID、时间线偏移、卷ID、编辑速率、卷资源ID、资源类型、语言、进入点、持续时间、固有持续时间、资源文件等信息，RPL架构如图2所示。

图2　RPL架构

2.3 辅助数据传输协议

SMPTE ST 430⁃14《数字电影同步信号和辅助数据传输协议》定义了一个用于将辅助数据轨迹文件中的数据项传输到处理器的传输协议，数据的传输使用超文本传输协议（HTTP），图像媒体模块、服务器、DCS和ACS之间的通信传输规则如图3所示。

图3　同步信号和辅助数据通信规则

2.4 数字同步信号传输协议

SMPTE ST 430⁃14《数字电影同步信号和辅助数据传输协议》定义了用于处理器与图像媒体模块同步播放的同步信号协议，图像媒体模块播放视频内容时会自动生成一个二进制同步信号，该同步信号精度可达到音视频信号播放的帧速率级别。该同步信号应至少包含图像播放状态信息（如开始、播放、暂停）、播放ID、播放帧位置、采样频率、播放音视频文件的UUID、合成播放列表UUID等信息。DCS与ACS间建立通信连接后，ACS接收到来自图像媒体模块发出的同步信号后，同步信号存放在ACS的缓冲存储器中，根据同步信号的状态进行播放，当播放ID发生变化时，将返回到缓冲存储器提取新的播放信息，当ACS接收到的同步信号无效时，将返回到等待命令，ACS与DCS之间数字同步信号的通信流程如图4所示。

图4　数字同步信号通信流程

3.1 IMB与沉浸式音频处理器之间的通信

数字电影沉浸式音频处理器应能够接收来自媒体播放服务器的IAB，并能够与视频实现同步播放。IMB加载数字电影沉浸式音频文件后，将自动生成带有播放内容帧率、时长、播放文件存储地址等信息的RPL，并向沉浸式音频处理器发送带有播放当前帧、播放内容时长、音频采样速率、图像和沉浸式音频信号UUID等信息的同步信号。数字电影沉浸式音频处理器应能够向IMB提取播放RPL信息，获取同步信号信息，根据RPL提供的播放文件存储地址和同步信号信息，提取相关帧的沉浸式音频内容，然后进行IAB的解码和渲染，实现沉浸式音视频同步播放。沉浸式音频处理器与IMB之间的数据交互模式应符合图6所示模式。 

图6　数字沉浸式音频实时处理系统数据交互模式

时钟同步信号传输接口采用AES/EBU接口，IAB传输采用HTTP协议RJ45以太网接口。数字电影沉浸式音频实时接收协议要求如表1所示。

表1　数字电影沉浸式音频实时处理传输协议要求

3.2 沉浸式音频实时解码和渲染

数字电影沉浸式音频处理器接收到来自IMB的音视频同步信号和IAB后，需要对其进行解包、解码和渲染处理。数字电影沉浸式音频实时解码和渲染工具要求如表2所示。

表2　数字电影沉浸式音频实时解码和渲染要求

3.3 沉浸式音频实时处理硬件接口

数字电影沉浸式音频处理器的硬件接口应至少具备音视频同步信号接收接口、IAB接收接口、数模转换接口和调试接口。数字电影沉浸式音频处理器接口应符合表3要求。

表3　数字电影沉浸式音频实时处理器接口要求

2018年至今，中国电影科学技术研究所（中央宣传部电影技术质量检测所）围绕数字电影基于对象元数据沉浸式音频高新技术格式的国产化，以国际数字电影沉浸式音频技术规范为参考，结合我国技术现状，对沉浸式音频的制作、编码和打包、解码和渲染算法进行了研究，已完成沉浸式音频混录、编码和打包、沉浸式音频还音端的解码和渲染算法的实验验证研究。为了能够实现国产沉浸式音频处理器与IMB之间的IAB传输，推动国产沉浸式音频技术产品化应用，我们联合IMB生产厂家开展了IAB实时接收、解码和渲染技术的研究工作，研发了一套数字电影沉浸式音频实时处理工具，该工具可以实时接收来自IMB的基于对象的IAB和同步信号，并可实现IAB的实时解码和渲染。该项技术的还音流程和系统间的通信协议符合图5中的相关规定。本章节主要介绍数字电影沉浸式音频实时接收技术中系统间的通信、RPL提取、同步信号接收和IAB提取技术的实现，以及数字电影沉浸式音频实时解码和渲染技术中沉浸式音频实时解码、渲染、均衡和延时调节技术的实现。

4.1 数字电影沉浸式音频实时接收技术实现

依据SMPTE ST 430⁃10、SMPTE ST 430⁃11和SMPTE ST 430⁃14相关标准规定，笔者研发了一款IAB实时接收模块，可实时接收来自图像媒体模块发出的音视频同步信号，可实时接收和处理IAB。该模块具备网络链接、实时接收和读取RPL、使用AES/EBU声卡设备实时接收同步信号、根据RPL和同步信号的信息提取IAB的功能。IAB实时接收模块主界面如图7所示。

图7　IAB实时接收模块

（1）系统间的通信实现

IAB实时接收模块与IMB之间的通信规则符合图1中的相关规定，通信协议编码标识如表4所示。

表4　通信协议标识

（2）RPL提取实现

RPL应符合图2的RPL架构相关规定，IAB实时接收模块接收的RPL主要包含 Resource PresentationList PlayoutID、ReelResources EditRate、ReelID、TimelineOffset、ReelResource Duration、EntryPoint、 Id、IntrinsicDuration、Language、 ResourceType、ResourceFile等信息，该模块接收到的RPL示例如图8所示。

图8　RPL示例

（3）同步信号接收实现

当图像媒体服务模块加载数字电影IAB文件后，将实时向IAB接收模块发送音视频播放状态的同步信号，当该模块接收到该同步信号后， 需要对同步信号的状态进行控制，同步信号接收通信规则符合图4中的相关规定，IAB实时接收模块接收到的同步信号信息主要包含Flags、Timeline Edit Unit、Playout ID、Edit Unit Duration、Sample Duration Numerator、Sample Duration Denominator、Primary Picture Output Offset、Primary Screen Output Offset、Primary Picture Track File Edit Unit、Primary Picture Track File UUID、Primary Sound Track File Edit Unit、Primary Sound Track File UUID、Composition Playlist UUID等内容，该模块接收到的同步信号示例如图9所示。

图9　同步信号示例

（4）IAB提取实现

IAB实时接收模块接收到来自RPL和同步信号的IAB文件存储地址、播放ID和播放帧信息后，将向存储服务器发出指定的IAB提取信息，服务器收到请求后向IAB实时接收模块发送指定的IAB。该模块提取IAB的通信规则符合图3中的相关规定。IAB通信标识如表5所示。

表5　IAB通信标识

4.2 数字电影沉浸式音频实时解码、渲染实现

数字电影沉浸式音频实时解码渲染模块接收到IAB后，需对其进行解码和渲染处理，通过声频功率放大器和扬声器系统还原到影厅。针对IAB的技术特点，笔者研发了一款数字电影沉浸式音频实时解码和渲染模块，其主界面如图10所示，主要用于播放UUID的获取、AES/EBU音频接口同步信号的获取、渲染后的音频信号输出、渲染质量的调节等。

图10　数字电影沉浸式音频实时解码和渲染模块

（1）IAB解码实现

数字电影沉浸式音频实时解码模块支持符合SMPTE ST 2098⁃2相关规定的IAB解码，其标识如表6所示。解码后的数字电影沉浸式音频文件以128个音频文件+元数据的格式存在，该工具最多支持10个声床和118个对象+元数据的解码。

表6　IAB标识

（2）数字电影沉浸式音频文件的渲染实现

数字电影沉浸式音频渲染是将沉浸式音频文件的声床映射到相应的声道上，根据空间位置元数据信息将对象声音渲染到元数据所规定的影厅位置处。该工具的渲染算法基于6阶HOA+幅度矢量合成混合算法，最大可渲染输出49个通道，支持符合SMPTE 2098⁃1相关规定的沉浸式音频空间位置元数据的渲染，可根据影厅尺寸和扬声器布局预设扬声器系统的数量和摆放位置，生成适配的沉浸式音频渲染算法，数字电影沉浸式音频渲染通道设置界面如图11所示，该工具可设置房间尺寸；可设置扬声器系统数量和摆放位置，输入位置格式为扬声器系统在影厅内的长（X）、宽(W)、高（Z）坐标；可进行扬声器阵列的设置、扬声器的音频输入信号路由设置等。

图11　数字电影沉浸式音频渲染通道设置界面

（3）均衡和延时调节

数字电影影厅的电声响应特性应符合GY/T 312—2017 《电影录音控制室、室内影厅B环电声响应规范和测量》中相关规定。为使数字电影沉浸式音频影厅能够满足上述要求，数字电影沉浸式音频实时解码和渲染工具支持对每个通道的扬声器系统进行增益、延时和均衡调节，支持对单个声床和对象通道进行B环电声响应调试；调试数据可实时保存和调用，数字电影沉浸式音频实时解码和渲染工具B环电声响应调试界面如图12所示，该界面支持单个声床和对象通道的B环电声响应调试，支持31段均衡和延时调节。

图12　B环电声响应调试界面

基于对象的数字电影沉浸式音频技术采用对象+空间位置元数据的理念，通过空间声渲染算法，将对象声音按照元数据空间位置信息精准灵活地渲染到元数据所规定的影厅位置处，其全新的制作和还音理念逐步被国际社会所认可，已成为当今世界主流的数字电影沉浸式音频制作和还音方式。基于对象+元数据和声床的沉浸式制作和安全还音方式，将是未来沉浸式音频发展的主要趋势。

本文通过对数字电影安全放映和内容传输技术规范的解读，提出一种兼顾国际安全放映规范的数字电影沉浸式音频还音方案，联合IMB厂家搭建了国产沉浸式音频实时处理技术实验环境，研发了一套数字电影沉浸式音频实时处理工具，该工具可与IMB建立通信，实时获取音视频同步信号和IAB，实时对IAB进行解码和渲染，并能够对声床和对象通道进行均衡和延时调节。

该项技术符合当前数字电影内容安全还音机制，为国产沉浸式音频技术尽快得到应用、推广、演示、落地和标准化提供了技术支撑，为国产沉浸式音频技术的研发提供借鉴，旨在推动国产数字电影沉浸式音频技术向标准化和规范化发展，最终实现沉浸式音频制版的相对统一、系统间互操作以及与国际技术标准兼容，为中国电影沉浸式音频技术和行业标准的国际技术市场推广打下夯实基础。