《现代电影技术》｜人工智能角色在交互电影中的涌现能力研究

本文刊发于《现代电影技术》2024年第5期

涌现（Emergence）在理解复杂交互电影系统，尤其是智能型交互电影领域时经常被使用。寿步教授在其文章中指出：“当一个事物被观察到具有其各部分本身并不具有的属性时就出现涌现性，这些属性或行为只有当各部分在一个更广泛的整体中相互作用时才会涌现”^[1] 。涌现这一概念常常用于描述交互电影中产生的不可预知的内容或模式，在交互电影领域的发展中起着重要作用。例如观众虽然仅可控制角色进行简单行动交互，但是通过这些简单行动的组合，可以形成复杂的内容反馈，甚至是生成全新的电影叙事内容，这些远超创作者设想的观影体验过程就是涌现的结果。这种通过创作者、观众及智能角色三方互动而产生的数字电影叙事方式，是计算机人工智能技术与数字电影艺术结合的理想载体。随着大语言模型（Large Language Model，LLM）的问世与应用普及，其优秀的自然语言交互能力势必将为跨媒介电影叙事带来突破性发展。尽管目前人工智能已能在一定程度上模拟人类行为，但智能角色在根据交互内容生成角色表演及反馈方面还存在诸多技术上的挑战。通过结合人工智能学科理念，采用感知决策框架设计的智能角色可为未来交互电影的创作和人工智能角色的开发提供实践例证，以验证生成式人工智能应用于交互电影创作的巨大潜力及未来前景。

交互电影区别于传统影片，往往展现出独特的涌现能力。这种能力旨在探索观众对故事世界的作用力，通过动态化的观影体验，创建出可以自下向上生成叙事的复杂智能系统^[2] 。Chris Crawford在1984年的著作中提出交互叙事的概念，认为电影设计应当更多地考虑交互故事内容，以提升作品的吸引力和体验深度^[3] 。20世纪90年代，随着计算机技术的蓬勃发展，人工智能方向的研究学者们对交互电影，尤其是其中的涌现现象产生浓厚兴趣。1995年，Galyean在其博士论文中首次以学术用途使用故事涌现这一术语。紧随其后，Janet Murray在1997年的Hamlet on the Holodeck一书中进一步发展了交互电影理论，认为数字化内容提供了一种全新的电影叙事形式，能够实现更高维度的观众主动参与和互动^[4] 。直至1999 年，Aylett 将交互影像中涌现能力的概念在学术界正式普及，阐述了迄今为止仍最广泛使用的定义，即涌现型交互电影作品以角色为核心，旨在开发具有情感和叙事能力的交互型智能角色，从而创建生成式的电影结构。这些角色能在故事世界中行动，既有利于故事发展又有利于观众体验^[5] 。

关于电影中涌现能力的讨论直至今日仍在学界中继续，一派学者认为电影中的叙事性与交互性天生具有相悖性，而另一派则认为使用拥有涌现能力的智能系统作为一种方法或解决方案，可以处理电影中交互性和叙事性相结合时带来的问题。纵观近年来的交互电影作品，无论是奈飞（Netflix）出品的交互剧集《黑镜：潘达斯奈基》，还是Pinta Studios出品的交互虚拟现实动画作品《拾梦老人》，都在探索和追求如何有效发挥观众的主动性，为观众带来开放度更高的体验感受。想要实现观众通过参与影响或改变情节的发展，从而体验到涌现性的电影叙事结构，需要科学家与艺术家弥合数字技术与艺术内容之间的巨大跨度。进入21世纪，先锋学者Louchart和Aylett提出一个略显激进的学说，认为观众体验故事的发展核心应该是角色，而非特定的电影情节。他们认为本质上来说故事应从智能角色、故事世界和与观众之间的互动耦合中涌现而生^[6] 。在其后续研究中，他们更进一步认为交互电影体验必须存在于智能的角色与观众互动之间，这些角色在叙事中拥有冲突的目标和行动的动机，同时角色还应根据当前交互情况动态做出情感性决策。故事的发展是由智能角色自然驱动的，而不是由一个全局式的预制剧情强加而成，这样才能实现交互电影的终极目标^[7] 。

在交互电影理论研究的基础上，结合最新的人工智能技术，国外科研团队已开发出多款具有开创意义的实验性交互电影作品，例如早期人工智能自然语言交互的探索性作品Façade，该作品于2003年由Mateas和Stern两位人工智能艺术领域的专家联合开发。观众被一对智能角色夫妇邀请参加家庭晚宴，观众的行动和文本对话将直接影响电影故事的发展和夫妇二人的结局。作品的设计目标是尽可能地模拟真实的人类对话和交互能力，它使用了一个名为“交互式剧情框架”（Interactive Drama Architecture）^[8] 的人工智能系统，该系统可以理解并响应观众的文本输入，同时在后台控制智能角色的行为和故事的进程。因为叙事情节和角色反应会根据观众的行为进行调整，所以观众每次观看这部作品的体验都会有所不同。该作品开创性地使用自然语言处理（Natural Language Processing, NLP）交互范式，通过输入文本，形成涌现式的观影体验。虽然当时的人工智能系统对观众使用的句法、语义等的理解达不到较高水平，但该作品依然在如何协调电影情节内容设定与观众生成式故事体验间的矛盾上取得了突破性成果。

2005年，由Aylett等多位学者联合开发的FearNot!是具有里程碑意义的作品，该作品设计目标在于帮助儿童理解并应对校园霸凌问题。作品内容完全由观众及智能角色在学校生活的交互过程中，通过智能系统涌现形成。其中的智能角色被设计为具有丰富情绪感知能力的智能体，可以根据与其他角色的互动或观众的输入文本做出基于情绪逻辑的不同行为决策。角色在故事中的行为不是预先设置的，而是基于叙事目标、叙事动机、情绪感知和环境感知多方面反馈共同形成的^[9] 。该作品不仅为研究人工智能与交互电影结合提供了实践平台，还从理论的高度完善出基于情感决策系统的设计框架，即分布式剧情管理（Distributed Drama Management，DDM）^[10] （图1）。Aylett希望构建通用型的交互电影设计方法，允许各种智能角色在故事的演化过程中通过情绪感知做出智能判断。基于其早期提出的重要智能角色理论双重评价（Double⁃Appraisal，DA）^[11] 情感代理体系，DDM还嵌入了智能角色这一重要概念，同时，进一步引入了元叙事的概念，将智能角色的决断机制分解为角色内部与角色外部两方面。角色内部决策指在角色的行动、目标和情绪范围内做出的决策，角色外部决策是考虑到故事世界和观众体验而做出的决策。DDM以情绪驱动系统控制角色决策生成，同时应用元叙事概念保证电影内容体验的连贯性与一致性。

图1 　分布式剧情管理

尽管DDM为交互电影创建提供了有效的设计模型，但同时也存在问题和挑战。DDM系统需要维护和管理大量的智能角色和事件，这大大增加了交互电影的复杂性。对于创作者而言，设计和实现一个既能处理大量角色和事件，又能保持电影故事讲述能力的系统是一个巨大的挑战^[10] 。同时DDM设想通过感知识别达到自然语言交互体验，但实践证明无论系统设计如何巧妙，基于当时的人工智能技术水平依然不能实现人类与智能角色进行流畅对话的愿景。

当前科技的进步引领人机交互领域迈向了人机融合的新阶段，早在本世纪初就有学者预测未来人工智能将融合人类语言，显著提升交互模型的理解和决策能力^[12] 。大语言模型（LLM）的出现是近年来自然语言处理（NLP）领域的重要研究成果，LLM在一系列NLP任务上都取得了突破性进展，其可通过语义理解生成连贯、有意义的反馈文本。以GPT为代表的一系列大模型的出现使人们更清楚地看到人机软融合^[13] 的进化意义和发展前景。LLM在许多任务的表现已经接近甚至超越人类的表现，包括翻译、写作和基本常识性问答，从行为学意义上标志着机器智能开始拥有“类人化”语境，这意味着在一定程度上人工智能在行为学上已做到了人类仿真水平。在叙事和角色扮演领域，LLM显示出独特优势，其能够在理解上下文的基础上生成个性化回应，使角色能在复杂的上下文环境中进行思考、决断及实时沟通。应用LLM进行人工智能角色开发，更可实现高仿真度的数字角色人格，并结合交互文本数据进行深度学习，可打造出根据交互内容动态发展型角色，使角色拥有独特的对话习惯和行为模式，这将解决多年来交互电影面临的智能角色实践困境，为交互电影的创作开启了广阔的发展前景。

将LLM的自然语言交互优势整合入智能角色，不仅有助于解决交互性与叙事性的天然矛盾，同时也能够大幅丰富和提升观众参与程度，进而构建更加自然真实的交互电影体验。电影理论家罗伯特·斯科尔斯认为叙事中的角色应在关注个体化特征的同时，考虑其在宏观体系中的组成部分，并认为平衡好角色叙事功能中的审美性与模仿性是重中之重^[14] 。LLM智能角色展现出的交流能力，可以理解语义并达到更为仿真的语言模式和行为模式，使智能角色的语言和行为更加符合人类的行为规律。智能角色可以从交互中学习行为，不同角色将呈现出对语言的不同理解，对角色情绪状态的处理也将有所区别，对交互叙事的反馈也将截然不同。智能角色还可递进式地理解故事世界内容，并反馈出更加复杂的行为模式，从而达到角色可展现复杂情绪和情感表演的终极目标。LLM可以使智能角色的行为更加真实、自然并有说服力，这不仅有助于提升观众的沉浸感和参与度，也使智能角色能够更好地参与到复杂的电影叙事环境中，从而构建理想型交互电影设计框架。

近年来，交互电影领域已有多位前沿学者尝试将LLM运用到智能角色创作中，尤其是应用ChatGPT系列工具的交互能力^[15] ，形成真正意义上的AIGC型智能角色。2021年，Stegeren和Mysliwiec两位学者尝试使用影片中的视频语料对GPT⁃2大模型进行训练微调，用以验证LLM运用在文本生成中的可行性^[16] 。尽管使用同一提示词生成的多个输出结果的质量略有参差，但实验仍旧表明GPT⁃2可以通过深度学习故事世界的叙事设定编写内容文本，模仿其独特的语言风格与观众进行NLP对话任务模拟，这对生成式角色的发展具有重要意义。2023年乔治亚理工学院的专家组使用LLM增强深度学习型智能角色的学习能力，在特定故事情境下通过角色NLP能力获取大量文本信息，以此为基础的深度学习结果表明了LLM可以显著提升智能角色的交互反馈能力 ^[17]  。随着LLM技术的不断进步，AIGC智能角色在故事生成、影像交互和多媒体平台等诸多领域崭露头角，但截至目前依然没有出现其在交互电影领域的应用案例，为了填补这一领域研究空白，项目组通过自主研发基于感知决策框架的人工智能角色，探讨LLM对智能角色和交互电影发展的意义和应用前景。

研究发现，利用LLM决策能力设计的人工智能角色在实验中显露出巨大开发潜力。通过定向数据集训练对LLM进行微调，可使LLM执行特定故事世界的交互任务。更进一步利用LLM的语义理解能力构建情感决策模块，为创作出具有行为学意义上高仿真性的具备思考和产生情绪能力的人工智能角色提供了可能性。基于LLM的智能角色不再仅是简单地响应预先设定的观众指令，而是可以根据自身的“认知”来做出决策，具备不断逼近人类的学习、理解及感受能力。

智能角色在交互电影的应用中面临诸多问题，首先是如何保持交互电影作品中叙事的连贯性和一致性。传统的电影叙事结构，如起承转合，为观众提供了一个清晰、有组织的故事线，但在与智能角色交互中，故事可能会由观众及角色间的动态互动生成不可预测的内容和事件，使结构变得零散和不连贯。此外，交互电影所需要的智能角色的开发技术和语言交互系统设计的复杂性也不容忽视，Louchart等学者指出：“如果没有解决上下文的定义——也就是生成上下文的规则，那么它将会导致一个指数级的数据困境”^[18] 。

LLM的NLP交互能力为这些核心问题提供了重要解决方案。结合该能力设计的感知决策框架（Sensor⁃Decision Framework，SDF）以感知能力和决策能力为两大核心模块（图2），用以弥合LLM的生成内容与艺术化的电影叙事结构间的需求。SDF的核心是驱动智能角色模拟人类感知并生成情绪决策，通过感知模块获取各种外部信息，并使用剧情管理算法生成满足叙事反馈需要的人工智能系统。

图2 　感知决策框架

从高层次视角来看，SDF包括四大组件层，即感知层、记忆层、决策层及反馈层。角色的感知层负责获取外部环境信息，例如观众输入的语言或故事世界中环境的标记信息等。感知内容通过文本生成上下文，并流入记忆层中形成短期及长期记忆，这些通过AIGC生成的上下文本与故事世界的基础设定共同构成角色记忆库。记忆库通过剧情管理算法可对LLM进行微调，其结果将作用于决策层产生出影响角色表演的主动或被动决策。被动决策用来响应观众交互，主动决策通过分析叙事需求产生引导性行为，二者共同维持生成的故事与元叙事的一致性。决策层信息通过程序转化指导反馈层的角色输出表演。反馈行为根据不同的决策目的，也被区分为实现目标所采取的主动反应行为和对交互事件产生的被动反应行为两种模式。通过情绪处理模块生成的情绪反馈权重将进一步影响智能角色的表演行为，包括文本语言风格及表情动作演出等一系列细节内容，形成细腻的智能角色表演。

4.1 开发环境及方法

基于SDF开发的智能角色需要在引擎中构建前端交互环境，并将故事世界的设定编辑成可用于训练的标记文本和元叙事文本，通过剧情管理算法为智能角色生成对话表演及行为决策。本文测试实验的开发环境为虚幻引擎5.3，以三维虚拟角色为载体，通过故事设定内容生成的训练文本自主训练自研定向领域大模型仓庚，并利用SDF生成智能角色的对话语音及表情动作。大模型仓庚具备泛用性及扩展性，可适配多种主流开源数据集，本项目中使用ChatGLM⁃6B为训练基础，通过对模型进行全参数调整使其拥有定向知识领域的稳定文本输出能力。本项目中的智能角色被设定为一位青年导演，团队收集电影专业书籍、导演访谈及影视剧剧本等相关专业资料文本共计2万字左右，结合设定的角色背景故事进行训练学习，可使交互生成内容具备更鲜明的人格特征以及更专业的语言风格。同时仓庚拥有记忆数据库，通过递归神经网络（Recursive Neural Network，RNN）技术，对将要生成的对话及行为进行预测及判断，并结合记忆库中的记忆内容实现利用前序生成事件推理预测后续生成事件的趋同概率的作用，以达到与设定内容维持稳定关联性的结果，保证了生成内容的一致性与连贯性。在使用过程中，该项技术还可不断提高智能角色的沟通能力，满足交互电影中智能角色的应用需求 。仓庚不同于通用型大语言模型，它不仅可以输出基于上下文的文本，还可直接生成面向SDF系统的计算机程序，为SDF提供包括语义分析、情绪理解、表情生成及行为决策等多项核心控制能力。

在实际应用中，当智能角色接收到输入信息时，例如观众的语音对话，音频信息将直接流入SDF中的感知层。感知层将信息利用语音识别或图像识别等处理模块处理成文本信息，文本形成的记忆流将流入SDF的记忆层。在记忆层中，文本将被分配到仓庚内部处理定向功能的大语言模型处理模块，本项目中该模块包括了语义识别大模型、情绪识别大模型、决策生成大模型及程序控制大模型四部分，分别处理智能角色的对话生成、情绪生成、行为生成及程序生成能力。生成文本会再次回流到感知层进行思考判断，保证文本内容不会偏离角色设定，以维持时序关系上角色前后生成内容的一致性与稳定性。记忆层输出的文本将直接作用于决策层。根据生成的情绪信息，决策层将判断出最符合当前语境下表演的表情、动作及行为，从而再次利用程序生成大模型输出调用反馈层动画数据库所需要的计算机程序语言脚本。SDF最终的输出将直接作用于前端交互界面，在本项目中即是利用虚幻引擎开发的数字人及数字环境，达到控制智能角色进行实时表演及反馈的作用。

为进一步验证智能角色在特定背景和情节设定下的表演能力，团队利用GPT⁃3.5的生成能力建立非SDF角色对照组，通过比对非SDF角色与SDF角色交互的生成内容结果，探讨智能角色在交互电影中的涌现能力和未来应用的可行性。

4.2 SDF智能角色能力

本项目中应用SDF制作的智能角色展现出良好的交流能力。当观众与智能角色进行对话时，通过语音识别功能将观众的语言转换为文本，这部分文本将作为感知层的感知内容进入记忆层。不同于传统LLM驱动的聊天工具，例如GPT⁃3.5产生的通识性问答，当文本内容进入记忆层后，会根据智能角色记忆库中的剧情上下文及设定内容生成相应反馈，同时剧情管理算法也会再次调整应答内容，以达到统一故事叙事的作用。例如观众再次询问同样的问题时，智能角色可能会根据记忆，反馈时先询问观众是否觉得上一次的回答并不让人满意。如果设定了交流目标，如需要引导观众询问特定问题，那么在回答内容的最后部分，智能角色将使用引导性语句，例如“你想不想了解其他事情”等方式，自然地引导观众按照剧情设定的方向进行有效交互。

记忆层生成的应答文本将继续进入决策层，通过结合剧情理解语义，智能角色可从预先训练的情绪库中分析出最为恰当的情绪反馈。应答文本可结合语句进行拆分，生成多个反馈情绪，从而最终指导角色动作。同时当问答需要行为反馈时，例如要求智能角色前往指定地点，决策层也会生成相应的行为决策，指导角色使用正确的动作做出反馈。决策层通过生成程序代码的方式直接调用反馈层系统中的各项指令，例如角色的动作、语言及特定表情等，最终通过交互界面反馈给观众，形成一次完整的交互反馈流程。

4.3 对话表演能力测试和评估

实验从两方面对智能角色对话表演能力进行测试和评估。首先，当观众提出相同问题时，通过比对非SDF角色与SDF角色生成的对话文本，可以清晰地发现两者在情节上下文、个性化风格和叙事引导能力上的显著差异。其次，总结整理SDF角色的动作决策和表情决策结果，可看出SDF智能角色的表演能力。

4.3.1 交互能力

非SDF角色和SDF角色交互能力对比见表1。首先，在上下文内容生成方面，非SDF角色的回答普遍呈现通用、通识及模板化的信息。其所生成的故事是没有特定背景的通俗而普遍的故事内容。SDF角色的回答则更符合特定的角色背景设计，实验中将角色身份预先设定为一位电影导演后，观众交互产生的回答文本内容符合经验丰富的导演角色身份，回答具有更具体的、定向化的故事情境。同时实验中将元叙事设定为经验丰富的导演与新入职团队成员共同工作这一情景后，可以发现SDF角色讲述故事时会更侧重于导演的经验分享，符合故事世界中元叙事设计需求。其次，在语言风格上非SDF角色的描述和故事是简单和普遍性的，没有特定的角色个性和人格呈现。而SDF角色则展示出更多情感细节和交互深度，从语言内容上可感知到角色的性格、职业及背景经历等信息，交互内容从更具体的角度分享角色的经验和看法。最后，在叙事引导能力上，非SDF角色呈现的故事是一个传统的，有明确开端、高潮和结尾的故事，围绕一个随机的中心情节展开。而SDF的角色故事则更注重具体设定角色的思考模式，呈现的故事内容为通过分享电影制作中遭遇的挑战和解决问题的方法，体现出导演对新同伴的引导价值，从而更好地让观众沉浸在故事世界中。

表1　非SDF角色和SDF角色交互能力对比

综上可见，SDF框架可以有效控制LLM交流能力，塑造出特定的有深度的智能角色。在情感表达方面更加个性化并富有细节，同时可起到良好的叙事引导作用，角色交流能力可满足交互电影的叙事要求，也同时具备情节涌现能力。

4.3.2 动作表情决策能力

SDF框架除了控制LLM生成定向文本内容外，还可通过决策层建立角色丰富细腻的表演。实验中发现，当角色生成的反馈文本内容是介绍性内容时，决策层调用动作库中标签为“打招呼、挥手、问候”的动作，同时调用表情库中“开心微笑”的表情，表情权重为1。当角色提及自己的导演经验和分享内容时，决策层调用动作库中标签为“侃侃而谈、诚挚问候、握手”的动作，同时调用表情库中“认真陈述”的表情，表情权重为1。当陈述内容为自己遇到的困难时，角色行为决策出现变化，决策层调用动作库中标签为“耐心讲解，认真提示重点”的动作，同时调用表情库中“紧张认真”的表情，表情权重为0.8。最后，在总结并分享导演经验时，决策层调用动作库中标签为“侃侃而谈、诚挚问候、握手”的动作，表情再次变为“爽朗健谈”。

从结果可看到，SDF智能角色的决策能力在实验任务中表现十分出色。该能力确保角色的行为可以与生成的文本内容相匹配，并且以情绪分析为依据，角色可涌现出流畅准确的表演状态。SDF智能角色展现了极强的情境适应性，营造了高仿真度的真实性，并且基于NLP的交互使观众无需学习任何复杂操作，极大地增强了观众交互时的“情感沉浸”体验^[19] ，同时，SDF智能角色在交互中展现出的涌现能力，可分为故事涌现和情绪涌现两种。智能角色通过生成式的方式使互动内容不再依赖于固定的程序设定，故事内容可以在观众与角色的沟通中涌现产生。而情绪涌现则带给SDF智能角色逼真的表演能力，同时涌现能力并不会影响智能角色生成的交互反馈与角色设定的一致性，在交互中角色依然可以保持统一的数字人格。这些特点符合交互电影角色创作中的核心需求。因实验中行为动作库中预制动作数量相对有限，本文测试时库中仅添加10组动作与5组表情，但交互中依然展现出丰富且细腻的表演情景（图3），未来团队计划建立更加丰富的行为库以满足各种角色设定需求，验证SDF智能角色在更多电影内容场域应用中的交互能力。

图3 　动作表情决策测试

跨媒介叙事学著名学者瑞安曾提出新媒介发展是否会产生新体验形式这一议题^[20] ，由此可见技术的发展对电影艺术创作产生了深远影响，其中交互电影作为应用领域最广泛的跨媒介影像创作方式，越来越受到观众的认可和喜爱。SDF智能角色在交互实验中展现出了极强的表演潜力，其可基于感知生成记忆，通过记忆产生行为决策，并进一步指导演出，从而满足故事讲述及与观众交互的需要。结合电影理论，创作者可通过对元叙事进行设定，使智能角色不仅可以准确体现特定的情绪反馈，还展现出强大的内容涌现能力，为观众带来全新体验。交互电影发展至今，一直以来都在寻求叙事故事结构与生成内容间的平衡点，基于SDF角色呈现出的细致真实表演，可解决交互电影创作实践中长期面临的问题，为创作更具交互感与沉浸感的电影作品提供解决方案，为未来交互叙事理论的发展与探索交互电影的可能性开辟了新道路。