闫烁：数智表演中的沉浸式跨场景协同创新设计研究

一、 问题的提出

在“十四五”规划的推动下，2023年，工业和信息化部办公厅、教育部办公厅、文化和旅游部办公厅、国务院国资委办公厅、国家广播电视总局办公厅联合印发了《元宇宙产业创新发展三年行动计划（2023—2025年）》（工信厅联科〔2023〕49号），提出围绕办公、社交、文娱等现实需求，在元宇宙入口、虚拟空间应用工具和平台上着重发力^[1]。即以新一代信息技术融合创新为驱动，以虚实相生的应用需求为牵引，推动元宇宙产业高质量发展。伴随着智能感知、协同计算技术的蓬勃革新，数智表演作为元宇宙文娱主要媒介载体，通过前沿多媒体技术，创建出实时数据驱动的表演内容以及新型的协同表演模式^[2]。党的二十大报告提出，“实施国家文化数字化战略”^[3]，为中国公共文化数字化和文化产业数字化转型指明了方向，推动人工智能、虚拟现实等技术在工业元宇宙文化产业的应用，培育新型沉浸式体验业态和模式。从上海戏剧学院演艺数字创新实验空间的开创，到中央戏剧学院 “梅兰芳数字人”的成功复现，再到新华社联合天下秀数字科技（集团）股份有限公司打造的 “云游中国”，为中国文旅景区实现基于数字孪生技术的沉浸式虚拟演出、云端文化活动等体验，这些先进的光电成像、三维重建与仿真以及智能化交互为当下沉浸式文旅产业带来了革新性的推进和提升。 

不难看出，表演艺术领域经历了从传统物理空间展示到沉浸式观演共创的跨时代演进。沉浸式体验在发展新质生产力的牵动下，呈现出多元化的发展态势，但现有体验仍普遍面临虚实表演空间映射认知度弱、观众协同可控性低等问题。与此同时，人机交互相关的国外重要研究机构加快了对智能感知、协同计算等关键技术的应用发展。例如，麻省理工学院媒体实验室（The MIT Media Lab）利用人工智能（AI）算法和多模态感知，实现了更具自由度的表演创意内容生成^[4]。基于真实环境和虚拟空间的自然融合，各类沉浸式文娱表演平台（如虚拟音乐会公司Wave等）更多地聚焦跨终端多人协同交互，实现跨媒介观众联结与共享，这些均是提升沉浸式表演体验的关键因素。 

研究将从国家新型工业化的战略需求出发，结合元宇宙“沉浸式”发展趋势，凝练虚实空间维度下的表演形态特征，建立数智表演跨场景体验、协同交互的全流程方法，构建面向社会创新可持续发展的沉浸式场景体验，以期助力表演创意产业的高质量发展。 

二、 数智表演的产生与演变

借助虚拟现实（VR）、增强现实（AR）等沉浸式技术和设备，表演艺术成为“元宇宙+”领域中最活跃的发展方向之一^[5-7]。 

虚实融合空间下的沉浸式表演更多地聚焦真实与虚拟结合的表演场景以及实时表演的现场性与互动性，满足多个空间、表演角色和时间尺度的转换与延伸。虚实融合的技术手段拓展了传统表演的表达空间，新的数字化内容被紧密地编织到沉浸式体验的框架中，丰富了表演道具、角色、环境等内容要素的呈现。近年来，随着虚实交互技术的不断成熟，虚拟数字元素不再是仅仅附加在实体表演中，而是与场景、表演者、舞美道具等真实内容密切结合^[8]。戏剧表演Blue Hour VR通过物理道具映射虚拟内容，强化观众触觉感知，并创建虚实内容间的叙事联系^[9]。2024年，中央广播电视总台春节联欢晚会节目《山河诗长安》结合增强现实技术，实现了演员跨越时空与基于实时动捕的AI虚拟角色对诗、共舞。这些虚实互动方式，进一步明确了数智表演沉浸式内容呈现。同时，相关研究利用观众行为及生理数据、物理空间布局等实时信息，生成具有观众行为或情绪特征的表演内容，这为表演的个性化呈现和具身体验带来了契机^[10-11]。 

数智表演中的跨场景互动重点体现为观演方式的更新。一直以来，观众体验在传统表演艺术领域被视为重要的研究对象。伴随着表演行业和技术领域发生的极速变化，表演内容质量得到了提升，观众的观看体验发生了颠覆性的变革。传统表演中“第四面墙”的概念逐渐消失，这使得观众和表演者更容易全身心地沉浸其中，观众可以以更主动的视角来观看表演。而随着虚实空间的形成，观众的体验渠道具备多感官的延伸性，可提供丰富的联觉体验：在体验时效性上，呈现异步与延续的特征，观众体验逐步延伸到表演时空外，如虚拟现实、扩展现实（XR）等；在体验范围上，由专注表演内容的体验转向对表演环境，乃至社会氛围的体验。具体来说，观众在表演活动中的感知途径变得愈加丰富，观众的行为和感知强度伴随着表演空间功能性的增强愈发提高^[12]，可以在真实或虚拟的表演空间中自由探索，并给予实时反馈。观众体验随着观演关系的演变而逐渐变化，呈现从追求“行为体验”向追求“情感体验”的整体发展趋势^[13-14]。 

近年来，相关研究致力于从观众群体收集情感、行为等输入方法，并将其融入表演内容。例如，Otsu等通过物理交互道具来收集观众的欢呼行为等反馈，增强了演员动作，从而实现双向交流^[15]。多模态的交互方式提供了观众之间的情感共享体验。例如，Yu等讨论了观演的孤立性问题，尝试利用多视口的方式在虚拟环境中共享不同的观众体验^[16]。表演Actualities将观众线上线下的反馈数字化为虚拟表演情景、角色元素等，还原了现场群体观演体验^[17]。同时，虚实媒介构建的参与性互动，塑造了观众与表演者之间更紧密的互动。表演Out of Theater将旁观群众引入表演体验中并扮演部分演员角色，继而触发即兴表演，重构了传统观演模式^[18]。 

此外，当下AI技术的飞速发展也拓展至表演艺术领域。针对现有生成式表演的研究进行分类梳理后发现，生成式系统在表演创作、展览、教学、传播和研究中均有广泛应用。在内容生成方面，大量研究涵盖了从早期辅助表演/舞蹈创作的交互系统到完全自动化的内容生成系统（如DanceNet），以及使用AI和软件模拟舞者的动作行为等各种形式。通过此结构化的分类方法，提出生成式表演领域中的多个核心研究方向：增强AI的创意代理能力、即兴环境中的多智能体交互、特定环境地点生成机制、运动定性和共情感知、专业表演主题以及表达方式等。在交互体验方面，当前人机关系经历了从人机协作到人智协同的跨时代演进。例如，Trajkova等利用LuminAI设计的黑盒子空间互动艺术装置，通过对舞者动作进行捕捉、对数据进行编码分析，使得AI作为舞者和真人舞者共同创造了一场舞蹈体验^[19]。与传统的生成式AI不同，LuminAI更强调真实舞者和环境对内容生成的作用，即构建人与AI共创的AI舞伴，来实现生成式即兴舞蹈创作。其核心是开发了一个包含即兴舞蹈输入的关联模型，利用舞蹈和戏剧中即兴运动理论的计算形式化，整合了个人、同伴与环境之间的动态交互，以更自然和富有创造力的方式与人类舞者进行协作。该系统在与舞者的初步测试中进行了评估，其响应能力和互动质量达到了基本要求。随着AI在表演艺术中权力的拓宽，观众在表演活动中逐渐占据主导位置。人智协同表演研究逐渐向以人为中心的人智协同方向深入拓展。 

综上所述，数智表演的发展趋势及显著特征有三：一是跨场景的表演内容衔接。虚实媒介的多样性致使表演的沉浸式内容表现存在差异，不利于观赏、理解，不同虚实场景下有形、无形的表演要素衔接表达与设计对于表演体验至关重要。二是虚实融合驱动下的多模态观演体验。虚实交互媒介以增强感知为目标，将观众、表演者、旁观者等都引入虚实表演空间中参与交互、触发表演情节、影响环境，实现了沉浸式观演中的双向互动体验。三是以人为中心的人智协同。要将人的需求和价值放在首位，利用AI来增强人类的表演创造力和互动性。 

三、 虚实空间下的表演分类和形态特征分析

研究将“真实—虚拟”连续体的概念应用于表演物理空间，基于“真实环境—虚拟空间”和“实时—非实时”两个维度对数智表演进行分类，如图1所示。 

由图1可知，虚实空间下的表演分类具体为：非实时虚拟现实表演、非实时虚实融合表演、实时虚拟现实表演和实时虚实融合表演。非实时虚拟现实表演，强调观众与表演者互动的异步性，观众通过虚拟现实可穿戴设备与表演内容进行互动；非实时虚实融合表演，指在真实表演内容中投射并叠加计算机生成的虚拟表演元素来增强体验；实时虚拟现实表演，具备即时交互与反馈的特征，利用表演者的真实面部表情及肢体动作，通过动作捕捉技术将表演者以虚拟数字人或虚拟化身进行实时呈现，并根据观众的个体差异化特征进行内容反馈，增强观众的沉浸感和临场感^[20]；实时虚实融合表演的目的，是将虚拟表演内容与真实表演内容进行融合，实现虚拟空间和真实环境的共存^[21-22]。笔者研究提出的分类方法基本涵盖了当前所有不同类型的数智表演活动。 

基于上述分类方法，研究围绕表演活动中的人机交互方式，根据数智表演不同类别及其主体行为特征，建立沉浸式跨场景体验、多模态协同交互的综合设计方法，并依据数智表演原型案例对其可用性及有效性进行实践验证。具体方法如下： 

（一） 沉浸式跨场景呈现与叙事交互

研究利用虚实融合与显示技术，将三维场景与表演物理空间进行无缝建构与自适应增强，进一步拓展表演体验的临场感和时空感。研究基于人与表演者（虚拟化身）间的相互协作，构建受众交互协同的跨场景互动机制，通过不同感知模态（视觉、听觉、触觉等）交互方式，形成基于实时数据驱动的表演体验。针对不同目标受众，设计跨媒介、跨终端的沉浸式展演协同传播方法，提供与表演内容多维互动的能力。 

具体地，可基于已有的表演动态数字资源库，采用多种场景理解技术提高对复杂表演场景的语义分析理解能力。利用实时渲染和三维场景融合显示技术，进一步增强表演沉浸感。构建观众与虚拟化身的群体间信息交互、共享与情感反馈，通过跨场景人机界面建立非对称协同叙事方法以适应不同媒介终端观众，并通过实际表演活动进行验证。 

（二） 人智协同下的多模态内容生成与情绪感知

研究从复杂多维的受众信息中抽取多模态数据，结合智能体的情景意识理解与行为学习能力，建立表演情境下的主动感知与识别机制，实现适用于观众认知、生理或情感等状态的表演内容视觉构建和信息传递规则。同时，通过多模态人机接口进行协作与决策，建立表演情境感知与观众情感表达的紧密联结。分析表演情绪共性特征，实现不同模态数据间的转换与迁移（如文本、音频、场景、分析编排等），激发观众多元化的认知体验。 

具体地，可利用多种传感器对跨场景下的观众状态进行实时捕捉与采集，通过对多模态特征数据进行智能描述，构建基于规则的知识图谱，进行跨媒体知识挖掘与推理。采用统一的结构化数据表征学习方法，通过深度神经网络提取出更抽象的高层特征，并基于此特征进行不同模态数据间的转换，建立与观众感知协同的视听觉映射机制，实现多层次表演内容构建和信息传递，并通过实际任务原型进行验证。 

四、 沉浸式跨场景呈现与叙事交互

超越现实（beyond realities，BR），是一个混合虚拟与现实空间的沉浸式戏剧表演体验系统，其通过设计构建不同的跨场景交互形式，使观众体验虚实交错的叙事情节。观众既可以在沉浸式空间中与虚拟化身展开对话，也可以在与虚拟隐喻性道具互动时，窥视其所处的现实空间，触发多维叙事内容。同时，现实空间中的真人旁观者也会共同参与，扮演部分虚拟角色，该系统实现了观众在戏剧表演中获得跨场景空间的社交体验。 

该系统以剧目《困在时间里的父亲》为叙事原型，从一位老年痴呆症患者的多个回忆节点展开叙述，以虚实空间的交叉与非线性叙事内容来呈现主角患病时的混乱感知。通过虚拟现实头戴显示器的前置摄像头，向沉浸式体验中的观众实时传输现实空间的黑白视频，将视频数据转化至虚拟三维物体的材质表现中，观众以此获得了现实空间的预览；通过网络摄像头结合无穿戴设备动作捕捉系统，系统能够捕获旁观者的行为、动作，通过将动作数据传输到游戏引擎系统中并对其重定向，实现了将观众周围旁观者的行为实时映射到虚拟角色上。超越现实通过将现实环境、物体等信息要素转化，引入旁观观众参与叙事内容，在沉浸式戏剧体验中无缝传递虚实叙事内容，强化了非线性表演叙事结构，营造了虚拟叙事空间与现实感知空间的联结。 

在表演叙事结构方面，通过设计虚拟与现实两种叙事空间，观众能够直观地穿插于不同的叙事时间线中，亲身体验记忆清晰及记忆混乱两种情况下的叙事视角，并获得多维的叙事线索。系统中共设计了四个虚实交错的叙事情节片段，这些情节并非连贯内容，但相互之间具有关联性，暗示叙事发展。观众在每个表演情节片段的前期处于虚拟空间中，获得主角第一条时间线中的叙事内容，即主角患病前的脑中记忆，而后观众将依据虚拟角色引导，与虚拟情景互动激活跨现实交互，进入现实空间；现实空间中，观众将开启每个表演情节中的第二条时间线的叙事，即主角患病后的现实情况。通过虚实两种空间相结合，叙事形式更加富有层次，这强化了沉浸式表演中的不同时间线的叙事结构呈现。 

在叙事表达方面，系统聚焦不同时空叙事的连接，通过融入叙事的表达来呈现跨现实交互手段，实现了虚实空间的无缝联结。系统设计了四类普适性跨场景叙事交互模式，如图2所示，分别是门户视口、物体视口、虚拟引导和旁观观众化身。

门户视口（portal passthrough，PP）指利用含有空间属性的虚拟对象（如窗、门等），将局部的现实场景透视影像嵌入其中，构建无缝的、局部的场景跨越；物体视口（object passthrough，OP）指利用具有时空隐喻的虚拟对象（如时钟、陀螺等），将现实场景的透视影像作为虚拟对象的属性，通过与虚拟对象的习惯性交互，引发场景跨越；虚拟引导（virtual guidance，VG）指虚拟角色作为虚拟与现实场景的中介，以对话等方式传递虚实信息，直接引导观众跨越虚实场景；旁观观众化身（bystander avatar，BA）指以虚拟角色化身映射旁观观众的行为、位置等现实信息，可视化现实场景中的同地观众活动，间接呈现虚实场景跨越。 

研究收集了11名观众的体验反馈，从沉浸感和参与度、叙事理解力以及跨场景交互可用性和偏好等三个方面进行定性评估。研究发现，在沉浸感与参与度方面，8名观众认为表演叙事体验未被跨场景互动所影响，观众在虚拟化身传递虚实信息的情况下更具有参与度和沉浸感。在表演叙事理解方面，10名观众能够较为准确地描述并推断出故事整体情节。在跨场景交互的可用性和偏好方面，4名观众认为旁观观众化身（BA）的交互形式更自然，其提供的化身形象更容易唤起观众对于现实要素的信任感，通过引入旁观观众参与沉浸式戏剧表演，增强了叙事体验的个性化、动态性。同时，3名观众选择了门户视口（PP），认同其嵌入虚拟对象的方式能够更自然地与环境融合，对叙事的干扰性更低。 

由于物体视口（OP）的主动交互方式带来了趣味性和隐喻性，多数观众也接受这种跨场景交互方式，但其也带来了一定的交互识别和认知的难度。四种跨场景叙事表演情节的具体呈现，如图3所示。研究发现，多数观众认同虚实交互过程，并获得了连贯的叙事体验。基于此，研究提出三项设计建议：一是融入多时空要素，丰富非线性叙事结构；二是构建交互隐喻，引导虚实交互过程；三是平衡虚实要素表现，联结多叙事空间。 

总体来看，在实时类表演中增加跨场景交互，能够增强观众对于叙事的时空感知。一方面，数智表演中的叙事方式必将结合多种沉浸式媒介手段，跨场景交互能够拓展叙事空间、创新表演表现形式并增强观演互动体验；另一方面，跨场景叙事交互平衡了观演双方在数智表演中的关系，观众能够基于交互更主动选择、操控虚实空间的体验，跨场景叙事交互也支持了旁观观众参与表演叙事，不同身份的观众都能通过互动深入到表演中，引发表演叙事发展的变化，进而增强了交互性表演叙事及个性化表演呈现。 

跨场景叙事交互突破了以往沉浸式体验的局限，观众不再是离开现实环境独自进行观看体验，而是可以自由选择表演的数字叙事空间或物理叙事空间，成为表演内容的参与者甚至共创者，这种观演关系的转变强化了沉浸式体验中的社会性观演关系。 

五、 人智协同下的多模态内容生成与情绪感知

为了进一步探究基于人智协同的跨场景下观众的情绪感知方法，拓展沉浸式表演体验对多人协同互动方面的影响，研究设计构建了一项基于人智协同的团体艺术疗愈实验《心·境》，即基于AI的多模态内容生成与情绪识别系统，如图4所示。

团体艺术疗愈，是一种群体化的多人协同表演体验，其包括舞蹈疗愈、音乐疗愈、戏剧疗愈等多种艺术表现形式。基于AI的多模态内容生成与情绪识别系统主要包括两个阶段，即个人表达和团体分享。在个人表达阶段，强调情感体验和周围环境的安全感；在团体分享阶段，强调情感分享和理解。基于此，系统设计了基于人智协同的情绪分类与沉浸式内容生成方法。在观众生理数据选择上，相关研究表明，在情绪唤醒和可行性方面，皮肤电（galvanic skin response，GSR）更加符合客观活动中观众体验的需求。因此，研究在实验中选择观众的皮肤电生理信号，作为生物反馈的实时数据来源。 

《心·境》在实验过程中支持不少于3名观众进行体验。该系统由3台控制电脑和3个 Oculus Quest3 VR头盔显示器组成。利用虚幻引擎 5.3（UE5），开发了混合现实（MR）和虚拟现实环境，以分别支持团体共享空间和个人冥想空间。在这一过程中，每位观众均佩戴了Shimmers3设备，从而能够实时采集并通过蓝牙将皮肤电数据传输至电脑。通过使用长短期记忆（long short term memory，LSTM）网络，系统从皮肤电活动时间序列数据中提取了特征，并通过全连接层确定了情绪和唤醒的具体值，从而实现了情绪识别。这些结果随后被传送至不同的功能组件，生成与观众情绪相匹配的场景和模型。观众可以使用手势或控制器与虚拟环境互动。3台计算机通过局域网（LAN）与UE5中的同一场景联网，使观众能够同时接收个人和群体生理信号的视觉反馈。 

（一） 个人冥想虚拟现实空间设计

为了帮助观众认识自己的情绪状态并确保认知过程中的安全感，个人冥想阶段主要在虚拟现实空间中进行。通过文献调研，确定了与情绪相关的自然环境视觉元素（如昼夜变化、降雨量、风力和蝴蝶等），并根据情绪坐标确定了四种情绪状态的代表性植物（即向日葵、红蜘蛛百合、光面女贞和仙人掌）。其中，情绪环境的生成，包括与唤醒相关的风力和降雨量，以及与情绪相关的一天内的时间和蝴蝶数量。情绪越高，时间越接近中午，蝴蝶越多。唤醒度越低，降雨量越大，风力越强。为了生成情绪植物的外观，在检测到观众在个人冥想阶段的情绪时，系统会自动生成相应的植物，并使用bywordGPT生成关键词。这些关键词被传送至MeshyAI，实时生成植物纹理，并反馈至空间中植物模型贴图的变化中，个体虚拟现实空间与团体混合现实空间的情绪可视化生成与感知方法，如图5所示。 

在团体共享阶段，为了便于展示和交流，情绪植物表现为插在花瓶中的植物。情绪环境中的天气元素也以三维图标的形式呈现在花瓶上方，方便观众解释和分享自己的情绪。 

（二） 团体共享混合现实空间设计

共享情绪空间的目标是通过视觉呈现同步群体观众的情绪状态，从而在他们之间建立共情反馈。根据社会心理学的空间映射理论，高唤醒值通常被视为“高”（向上），低唤醒值被视为“低”（向下）。格式塔心理学（gestalt psychology）的图像感知理论指出，圆润的物体比尖锐的物体具有更高的价值感。相关跨文化研究表明，色彩有效意义的最关键因素是饱和度和明度，最令人愉悦的色彩是饱和度和明度较高的色彩。实践中，将3组观众的唤醒水平和情绪水平映射到一个中心几何形状上。当平均愉悦度较高时，几何图形会从立方体过渡到球体，愉悦度也会上升。同时，由于情绪水平和唤醒水平较高，几何形状的颜色强度也会增加，从而导致每个体验组的视觉效果不同。此外，由图5可知，当个人的唤醒水平和情绪水平较高时，几何图形周围会出现代表个人情绪的圆环。这种方法将观众的群体情绪与个人情绪无缝融合，创造出一种动态可视化效果，能够合理地将群体情绪与个人情绪结合起来，实现持续性的动态可视化呈现。通过将个性化色彩映射到圆环上并与中心几何形状相结合，实现了个人情绪状态与集体情绪状态的和谐统一。 

（三） 结果分析

通过采集并分析实验过程中观众的皮肤电数据，评估个人冥想空间和团体共享空间的观众情绪是否会受到空间变化的影响。3组观众皮肤电数据结果，如图6所示。 

由图6可知，观众的皮肤电数据曲线总体呈上升趋势。通过纵向对比观察发现2个特定时刻的峰值，这是情绪或生理唤醒的时刻。从性别上观察，男性的曲线波动普遍比女性更加平缓。通过对两次情绪体验自我评估（self-assessment manikin，SAM）结果分析，在愉悦度方面，实验前后观众的平均得分分别为2.70（标准差SD=0.82）、4.10（SD=0.77），t=1.65， p<0.05。在唤醒度方面，实验前后的观众平均得分分别为3.20（SD=0.85）、4.40（SD=0.68），t=1.77，p<0.05。通过对情绪智力量表（emotional intelligence scale，EIS）结果分析，自我情绪评价（SD=0.62）、对他人情绪理解力评价（SD=0.71）、情绪运用（SD=0.80）和情绪调节（SD=0.66）等四个维度上显示观众之间无显著差异，这表明实验干预在这四个维度上的影响具有较好的一致性。 

研究构建了基于人智协同的沉浸式空间情绪增强的可视化内容生成方法，并进一步探讨了基于AI的情绪可视化技术在数智表演中的应用。例如，AI技术通过实时监测表演者的生理信号变化，能够准确捕捉并呈现其情绪状态，为表演者之间的情绪同步提供了一种创新方法。例如，实时根据表演者的情绪变化动态生成匹配的舞美场景，或者调整场景中视觉元素的颜色和纹理，以反映情绪的微妙变化。这种情绪状态的可视化，使得表演者能够相互感知并同步表达他们的情绪，从而在表演中实现情绪的协调一致，更好地进行情感传递。 

此外，该系统还增强了表演者与观众之间的互动体验。观众能够通过情绪的可视化表现，快速地感知表演者的情感波动，从而建立起与表演者之间的情感联系。而观众的情绪反应也会被捕捉并反馈至表演者，表演者根据观众的情绪动态调整表演内容或节奏，由此形成双向的互动机制，为观众提供了多模态的观演体验，提升了表演的质量和参与度。 

综上所述，基于人智协同的情绪感知与可视化技术的应用，不仅丰富了表演艺术的表现形式，也为表演者与观众之间、表演者和表演者之间的情感互动提供了新的途径。 

六、 结语

研究旨在从数智表演的数字化生成与传播的角度出发，探索如何利用虚实融合、生物反馈等技术，面向大众创建沉浸式的交互及体验设计方式，增强其对表演叙事的理解和情感共鸣。主要意义在于重新审视新型工业化的发展背景下的数智表演沉浸式体验的新业态形式，通过构建跨场景协同的人机交互方式，从观众表演化身互动和多人共创叙事两个方向，拓宽了观众参与和体验数智表演的渠道。同时，在跨场景交互叙事的基础上，从身体感知的角度探究群体情感体验的效果及其可视化方法，研究以“唤醒度—效价度”情感模型为理论基础，通过生物电信号在不同情感维度上进行识别，探究其与主观情感评价之间、主观情感评价与表演内容之间的相关性。提出从表演者/观众的个体与群体两个角度的情感体验评估与多模态视觉内容生成设计方法。研究采用了文献研究法、归纳分析法，以及定量量表数据分析，并通过两项实际原型案例进行实践，分析归纳出普适性数智表演沉浸式体验方法的具体实施路径。 

综上所述，本研究致力于提升数智表演沉浸式体验中的自然交互及观众体验效果，为工业元宇宙下的表演艺术展现形式开辟了新的途径。未来的研究考虑进一步结合人—AI共创技术，探索更具创新性和互动性的数智表演沉浸式体验形式，为其呈现和传播提供更多解决方案。 

参考文献：

[1]工业和信息化部. 元宇宙产业创新发展三年行动计划(2023—2025年)解读[EB/OL]. (2023−09−08)[2024−07−01]. https://zwgk.mct.gov.cn/zfxxgkml/zcfg/zcjd/202309/t20230909_947132.html.

[2]BEYES T, LEEKER M, SCHIPPER I. Performing the digital: Performance studies and performances in digital cultures [M]. Bielefeld: Transcript Verlag, 2017: 21.

[3]习近平. 高举中国特色社会主义伟大旗帜 为全面建设社会主义现代化国家而团结奋斗——在中国共产党第二十次全国代表大会上的报告(2022年10月16日)[N]. 人民日报, 2022−10−26(1).

[4]DE LA TORRE F, FANG C M, HUANG H, et al. LLMR: Real-time prompting of interactive worlds using large language models [C]// Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). New York: Association for Computing Machinery, 2024: 1—22.

[5]赵沁平. 虚拟现实综述[J]. 中国科学(F辑:信息科学), 2009, 39(1): 2—46.

[6]何武, 周越. 混合现实舞台布景:虚实空间拓展与媒介融合[J]. 装饰, 2019(8): 117—119. doi: 10.3969/j.issn.0412-3662.2019.08.026

[7]杨露, 蒋洪利. 存在与边界:元宇宙视域下中国戏剧发展的思考与展望[J]. 戏剧(中央戏剧学院学报), 2022(6): 77—89.

[8]BAIA R A, ASHMORE M. From video streaming to virtual reality worlds: An academic, reflective, and creative study on live theatre and performance in the metaverse [J]. International Journal of Performance Arts and Digital Media, 2022, 18(1): 7—28. doi: 10.1080/14794713.2021.2024398

[9]CEGYS P, WEIJDOM J. Mixing realities: Reflections on presence and embodiment in intermedial performance design of Blue Hour VR [J]. Theatre & Performance Design, 2020, 6(1-2): 81—101.

[10]SUGAWA M, FURUKAWA T, CHERNYSHOV G, et al. Boiling mind: Amplifying the audience-performer connection through sonification and visualization of heart and electrodermal activities [C]//Proceedings of the Fifteenth International Conference on Tangible, Embedded, and Embodied Interaction (TEI ’21). New York: Association for Computing Machinery, 2021: 1—10.

[11]JORIS W. Performative prototyping in collaborative mixed reality environments: An embodied design method for ideation and development in virtual reality [C]// Proceedings of the Sixteenth International Conference on Tangible, Embedded, and Embodied Interaction (TEI '22). New York: Association for Computing Machinery, 2022: 1—13.

[12]REASON M, LINDELOF A M. Introduction: Experiencing liveness in contemporary performance [M]. Experiencing Liveness in Contemporary Performance. New York: Routledge, 2016: 17—32.

[13]EATON J, JIN W, MIRANDA E. The space between us: A live performance with musical score generated via affective correlates measured in EEG of one performer and an audience member [C]//Proceedings of the 14th International Conference on New Interfaces for Musical Expression. London: Goldsmiths, 2014: 593—596.

[14]BERNSTEIN J S. Arts marketing insights: The dynamics of building and retaining performing arts audiences [M]. Hoboken: John Wiley & Sons, 2006: 25.

[15]OTSU K, YUAN J, FUKUDA H, et al. Enhancing multimodal interaction between performers and audience members during live music performances [C]//Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems. New York: Association for Computing Machinery, 2021: 1—6.

[16]YU M, BI C, HAN D. CR Video: Cross-reality 360° video social systems exploration [C]//2023 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), Shanghai: IEEE, 2023: 319—323.

[17]LIN K F, CHOU Y C, WENG Y H, et al. Actualities: Seamless live performance with the physical and virtual audiences in multiverse [C]//ACM SIGGRAPH 2023 Immersive Pavilion. New York: Association for Computing Machinery, 2023: 1—2.

[18]LIN J, SHE Y Y, LIN L, et al. Out of theater: Interactive mixed-reality performance for intangible culture heritage glove puppetry [C]//Proceedings of the Tenth International Symposium of Chinese CHI, Guangzhou: Association for Computing Machinery, 2022: 181—189.

[19]TRAJKOVA M, LONG D, DESHPANDE M, et al. Exploring collaborative movement improvisation towards the design of luminAI—a co-cretive AI dance partner [C]//Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). New York: Association for Computing Machinery, 2024: 1—22.

[20]吴振. 元宇宙机制在展演领域的应用[J]. 演艺科技, 2023(3): 80—83. doi: 10.3969/j.issn.1674-8239.2023.03.016

[21]杜衣杭, 高天, 高钰婷. 梅兰芳舞台形象在增强现实中的跨媒介表达[J]. 艺术与设计(理论), 2023, 2(1): 100—102.

[22]朱雪峰. 虚拟现实与未来剧场生态[J]. 戏剧艺术, 2021(5): 54—71.

转载或引用时请注明来源

北京航空航天大学学报(社会科学版), 2024, 37(5): 51-59.

如需下载全文，请点击左下角【阅读原文】