![]()
![]()
点击文末 “阅读原文” 下载全文叶力, 王磊, 周志光, 王毅刚
引用本文: 叶力, 王磊, 周志光, 王毅刚. 基于叙事结构抽象的可视分析方法综述[J]. 计算机辅助设计与图形学学报, 2024, 36(4): 503-515. DOI: 10.3724/SP.J.1089.2024.2023-00466
Citation: Ye Li, Wang Lei, Zhou Zhiguang, Wang Yigang. A Survey on the Visual Analytics of Narrative Structure Abstraction[J]. Journal of Computer-Aided Design & Computer Graphics, 2024, 36(4): 503-515. DOI: 10.3724/SP.J.1089.2024.2023-00466
随着信息时代的发展, 数据可视化成为一种以直观且有表现力的方式传达数据和信息的重要工具. 近年来, 叙事可视化成为一个新兴的发展方向, 基于叙事结构抽象的可视分析方法是通过挖掘数据背后存在的叙事逻辑, 提供富有洞察力和沟通力的方法. 首先介绍叙事结构数据的来源, 包括文本数据、图表图像数据、音视频数据、地理空间数据和多模态融合数据; 然后讨论叙事结构抽象方法, 包括连续性、单元式和离散化3种表示; 再探讨叙事结构可视化设计, 包括基于视觉通道与表达形式的设计, 同时介绍叙事结构交互生成方法, 包括基于设计空间和注释的手动生成、AI辅助交互生成和AI自动生成; 最后讨论叙事结构可视分析的创作工具以及在文化传媒、医疗健康和体育娱乐等领域的应用, 并对该领域现阶段工作的不足进行总结, 指出多模态融合数据可视分析、跨平台与多设备的叙事结构展示以及加强情感在叙事结构可视分析中的作用等是未来工作的研究方向.叙事结构数据是构建叙事可视化的基础, 它提供了故事中的元素和事件, 为叙事可视化的创作提供了丰富的素材. 本节介绍不同类型的叙事结构数据来源, 包括文本叙事数据、音视频叙事数据、地理空间叙事数据和多模态融合叙事数据, 有助于更好地理解叙事可视化的多样性和应用场景.
文本叙事数据是最常见的叙事结构数据来源之一, 以语言和文字的形式呈现, 描述事件、情节和角色之间的关系, 为叙事可视化提供了丰富的情节线索和故事元素, 通过可视化手段展现其内在的结构和意义.在图表叙事数据中, 图表不仅仅是为了展示数据, 更是作为数据的源头. 通过直接使用图表作为数据源, 可以准确并直观地呈现数据的特征、趋势和关联关系; 图表中的各种元素和属性可以直接映射到数据的不同维度和指标, 使用户能够更好地理解数据.图像数据作为数据源在数据分析和可视化领域中也扮演着重要的角色, 而从图像中提取关键信息元素也成为当前关注的重点.音视频叙事数据在电影、电视剧、广播节目、播客和演讲等多个应用中起着重要的作用, 这些数据通过声音、图像和动态视觉效果等多媒体元素传达故事情节和情感体验. 对于叙事可视化, 音视频叙事数据是宝贵的信息源, 通过图像和声音的融合可创造出沉浸式的故事体验. 目前, 基于音视频叙事数据的叙事可视化研究关注对音频内容的解读和优化.
地理空间叙事数据以地理位置和空间关系为核心, 描述事件和现象在地理空间中的分布和变化. 通过地理空间叙事数据, 可以将事件和情节与地理位置相连接, 以地图和空间可视化的方式呈现故事的时空关系和地理背景.多模态融合叙事数据是结合多种数据来源的叙事内容, 通过多种媒体元素的交互作用, 以更丰富和多样化的方式呈现故事情节和信息. 叙事可视化可以通过整合不同的媒体形式, 提供更具有沉浸感和互动性的故事体验.多模叙事可视化的支柱是叙事结构数据, 它是创作过程中不可或缺的元素和事件承载者. 在处理非结构化文本数据时, 通常借助NLP技术(如信息提取算法)从文本中抽取关键信息. 对于图像、视频等数据, 常利用计算机视觉图像处理技术提取其中的关键信息, 为后续的可视化创作奠定坚实基础. 现有的方法结合机器学习与深度学习技术, 不仅增强对叙事结构的识别精度, 还提高了处理大规模非结构化数据的效率; 更重要的是, 这种融合方法能够更好地捕捉和呈现叙事数据的深层次特征, 为可视化创作提供更丰富、更动态的信息源.
叙事结构抽象方法是叙事可视化的重要组成部分, 通过对叙事结构进行抽象和表示, 可以更好地理解和呈现叙事内容. 本文将叙事结构的抽象方法分为连续性表示、单元式表示和离散化表示3类.
叙事结构连续性表示指通过捕捉叙事中的时间序列关系和事件演进, 以连贯和连续的方式呈现叙事结构. 时间线是典型的连续性表示; 漫画作为叙事结构连续性表示的一种形式, 为叙事可视化提供了一种直观、生动的表达方式, 使用户能够更深入地理解和体验故事的情节发展; 数据视频与动画同样在叙事结构连续性表示中扮演着重要的角色, 但创建此类视频需要时间和专业知识, 不适合实时创建和流式传输.除了连续性表示, 叙事结构的单元式表示也是一种重要的方法. 与连续性表示不同, 单元式表示对时间跨度以及故事之间的紧密程度有着更宽泛的表达, 不同的单元表示不同的状态和进程.通过采用单元结构和滚动叙事, 可以将复杂的信息和故事分解为逻辑上相关的独立单元, 使读者逐步浏览和理解内容, 每个单元可以包含一个特定的主题、可视化手段或相关的文本描述, 以便读者逐步探索和消化信息.在某些情况下, 叙事结构的离散化表示也是一种有效的方法. 离散化表示将叙事结构中的连续性和多样性进行简化和抽象, 弱化时间作为主线的功能, 使得叙事更易于理解和呈现. 在叙事过程中, 叙事地图作为一种可视化工具, 用于增强故事叙述在空间上数据展示, 形成一个多层次、互动式的叙述体验, 该工具不仅使数据更加直观和易于理解, 而且通过多媒体内容丰富了故事的背景和上下文; 知识图谱作为另一种主要载体, 用于呈现故事中的概念和概念之间的关系, 在基于概念的视频学习中具有重要作用, 有助于提升学习者的参与和反思能力.叙事结构抽象方法是叙事可视化的核心部分, 通过对叙事结构的抽象和表示, 实现对叙事内容更深层次、更生动的理解和呈现. 在叙事结构抽象的方法中, 连续性表示通过时间线、漫画和数据视频提供连贯且直观的故事结构, 增强了用户对故事发展的理解; 单元式表示通过滚动叙事和块状故事编辑器将信息分解为逻辑单元, 使叙述更有层次感, 便于用户逐步消化和探索; 离散化表示通过叙事地图、知识图谱和概念驱动导航简化叙事结构, 使得复杂的信息更易于理解和传达. 这些抽象方法提供了多样的选择, 可根据不同的情境和目标创造更具有吸引力和教育性的叙事可视化体验.叙事结构可视化设计是数据呈现和信息传达中的重要组成部分. 通过合理的设计和布局, 可以有效地引导观众的注意力、提高信息理解和记忆以及增强叙事的效果. 本节将叙事结构可视设计分为基于视觉通道和表达形式的2类设计空间, 并讨论一些常用的工具和方法.选择适当的视觉通道和元素表达叙事结构至关重要, 静态视觉通道的研究基于布局、字形和色彩等方面, 动态视觉通道的研究基于动画设计.
本文将叙事结构可视化设计的表达形式划分为注释图、信息图、故事线、漫画、滚动叙事和数据视频6个部分, 如图1所示.在叙事结构可视化设计方面, 深入探讨基于视觉通道和基于表达形式的2类设计空间. 通过选择适当的视觉通道和元素, 可以有效地引导观众的注意力, 提升信息理解和记忆, 加强叙事效果. 基于视觉通道的设计包括静态和动态2方面, 其中, 时间线的交叉布局、图形符号的视觉隐喻以及动画设计等都对叙事可视化的效果产生深远影响. 基于表达形式的设计以注释图、信息图、故事线、漫画、滚动叙事、数据视频为主, 它们在不同场景中提供了多样的选择, 如注释图强调解释、信息图生动阐述信息、故事线组织时间轴、漫画注重艺术性、滚动叙事提供交互式体验、数据视频融合叙事和沉浸感. 通过深入了解这些设计方法, 可以更灵活地运用它们, 创造出更具吸引力和富有表达力的叙事结构可视化.本节介绍基于设计空间/注释的手动生成方法、AI辅助交互生成方法和AI自动生成方法3种叙事结构交互生成方法, 旨在帮助用户在叙事可视化中设计并生成有效的叙事结构, 以传达信息和引起观众的兴趣.
基于设计空间和注释的手动生成方法通过手动操作和调整设计空间中的元素和注释, 允许用户创造出独特而有吸引力的叙事结构.
随着数据可视化的发展和大数据时代的到来, AI辅助交互生成在数据可视化领域日益受到关注. 利用AI技术可以辅助用户更有效地生成叙事结构, 提高数据探索和分析的效率.AI模型通过学习大量的数据和样本理解数据之间的关系和重要性, 并根据这些信息生成相应的叙事结构. 大型语言模型, 特别是像GPT这样的先进模型, 为叙事可视化领域注入了新的活力和可能性.在叙事结构交互生成领域, 本文探讨了基于设计空间/注释的手动生成、AI辅助交互生成和AI自动生成3种方法. 手动生成注重用户创造性, AI辅助交互生成提高效率, AI自动生成展示了模型在理解数据关系和生成叙事结构方面的潜力, 这些方法巧妙地平衡了人为因素和人工智能之间的优势, 其应用取决于用户的具体需求和可视化任务的性质.本节深入探讨叙事结构可视分析在不同领域中的广泛应用, 分别考察叙事结构创作工具和各个领域内的应用案例, 使读者全面地了解相关应用.叙事结构创作工具在通用叙事可视化的制作过程中发挥着关键的作用, 为创作者提供了高效而直观的创作环境. 目前, 主流的创作工具主要针对故事线、滚动叙事和数据视频这3种表达形式. 故事线创作工具通过直观的界面和简化的拖拽操作, 使得用户能够轻松构建和调整故事线; 滚动叙事创作工具通常注重内容的流畅性和连贯性, 使得用户能够通过滚动页面的方式展现故事; 数据视频创作工具结合了叙事可视化的叙事表达和视频生动的吸引力, 通过将图表和动画结合呈现数据故事.
叙事结构可视分析在文化传媒、医疗健康和体育娱乐等领域有广泛应用. 通过分析可视化数据的叙事结构, 研究者和从业者能够深入理解信息中的故事, 获得有价值的见解. 在文化传媒领域, 叙事结构可视分析广泛应用于分析古代文学、新闻等, 有助于深入理解作品的剧情发展和情感表达; 在医疗领域, 叙事可视分析帮助医生了解病人的病程和治疗效果; 在体育娱乐中, 叙事可视分析有助于教练和选手更好地理解比赛的发展和战术变化.
本文对基于叙事结构抽象的可视分析方法进行综述. 首先对叙事结构的多模态融合数据来源及基于结构特征的抽象方法进行讨论; 然后从叙事结构的可视化表达和叙事结构的构建过程进行介绍; 最后论述基于叙事结构的可视分析系统的常见创作工具和应用案例. 叙事结构抽象提取与可视化的重要性不仅在于其可以有效地将纷繁复杂的叙事过程组织成一种便于人类认知的形式, 而且在于其在指引学科领域未来研究发展方向上发挥的关键性作用. 尽管叙事结构可视分析在理论和实践方面取得了显著进展, 但仍存在一些挑战和未来的研究方向:在叙事可视化领域中, 处理和展示多模态融合数据是一个巨大的挑战. 当前的方法通常将不同类型的事件汇总到统一的建模和展示过程中, 但是这种做法可能会阻碍事件类型之间以及不同事件类型独特模式的发现, 而这两者对于任务调查和分析决策至关重要. 为了克服这些限制, 未来的可视分析框架应支持多个事件过程的集成分析和单个过程模式的详细研究, 不仅可以实现来自多个来源的数据的汇总和组织, 还可以促进对事件类型之间的关系和模式的发现, 增强叙事可视化在复杂数据集中的可解释性和可用性.
随着技术的发展, 数据输入和展示的通用性、泛用性及其在多设备上的协同作用将成为叙事可视化的关键方向. 跨平台设备的逐渐普及为叙事结构提供了全新的数据展示平台, 需要研究者不断优化现有的可视化设计, 简化交互功能, 使各类跨平台设备可以支持叙事结构的信息表达. 未来的研究应当致力于创造更加灵活和可适应的数据展示方法, 使数据来源更加广泛, 同时确保数据的表达方式在不同设备和平台上保持一致性和高效性.
情感表达是叙事过程中一个日益受到重视的方面, 许多工作着眼于此. 叙事结构作为情感表达的理想载体, 可通过可视化手段增强终端用户的情感体验, 从而增强记忆和沉浸感. 未来的研究应当探索如何在叙事结构可视分析中有效地表达和分析情感, 如利用颜色、形状、动态效果等视觉元素传达情感和情绪, 或者开发新的交互技术增强用户的情感参与度.
![]()
叶 力(1999—), 男, 硕士研究生, CCF学生会员, 主要研究方向为可视分析、信息可视化、人机交互.
王 磊(2000—), 男, 硕士研究生, 主要研究方向为数据可视化与可视分析.
周志光(1983—), 男, 博士, 教授, 硕士生导师, 论文通信作者, CCF会员, 主要研究方向为数据可视化与可视分析.
王毅刚(1971—), 男, 博士, 教授, 博士生导师, CCF会员, 主要研究方向为虚拟现实与可视化.
— END —
![]()
还没关注？点击下方“卡片”关注，获取第一时间资讯
