陈昌凤等：视觉优势？生成式人工智能应用于传播的模态偏向问题

融汇了技术计算主义思维与脑神经科学的生成式人工智能正在驱动又一场传播革命。其大大提升了视觉内容的生成能力和可访问性，改变了信息的消费、共享和理解方式，人们越来越倾向于在信息传播中使用视觉模式。便捷的视觉内容生成提升了视觉传播的能力，加强了参与度和可访问性，有利于提升信息传播的效果和影响力，但它也带来了结构性颠覆和深层认知挑战。

视觉信息为何成为一种偏好？生成式人工智能对视觉偏好有何影响？视觉优势效应会否引发用户认知的偏向、给传播带来了怎样的难题？本文将探讨导致人们偏爱视觉信息的因素,特别是在生成式人工智能背景下的视觉模态偏好问题，并分析这种偏好及其加剧趋势带来的挑战和思考。

本文的视觉信息是从狭义的角度指代通过视觉元素传达的内容，包括图像、视频和图形。这些元素在人类传播活动中发挥着至关重要的作用，提供了文字文本信息通常缺乏的要素和影响力。

人类自古以来的传播方式主要是讲故事，随着技术带来的变革，传播的社会文化条件发生了变化，讲故事的方式也在不断变革。

视觉传播的历史可以追溯到人类最早通过视觉符号和标志进行交流的时代。随着印刷媒体和广告的兴起开启了现代视觉传播的雏形，印刷媒体的发展则与“图像革命”密不可分。电视的发明使图像与声音得以向大众传播。

视觉文化带来了文化的深刻转变，20世纪80年代出现了“图像转向”“视觉转向”。在此背景下，人文社科领域开始重视视觉实践与视觉性的重要性，认识到其在日常生活的意义生成中所扮演的重要角色。

20世纪后半叶，数字技术的发展对视觉传播产生了深远的影响，计算机和平面设计软件的发明创新了图像的创建和处理技术，传播领域也充满热情去探究视觉转向问题。

如今，人工智能开启了一个崭新的视觉传播时代，虚拟现实、增强现实带来了沉浸式和交互式体验；人工智能算法可以分析用户数据和偏好，推动个性化的传播；生成式人工智能可以根据简单的文本描述生成令人惊叹的逼真视觉产品，人工智能生成器能够生成极其复杂的图像、极其便利地生成视频，再次重构了视觉叙事。

视觉信息技术的可供性及其影响

互联网及其催生的信息数字化转型，带来了视觉技术的大发展。从摄像硬件到计算软件，技术的飞速发展驱动了视频化信息的普及。

● 摄像技术的长足进步使得高清和超高清视频的制作变为可能。视频制作的门槛大幅降低，高性能的智能手机及其先进的摄像功能使更多人可以进行个人视频创作。

● 在软件和计算技术方面，专业图形处理单元的提升和云计算技术的普及，使得视频处理和编码的效率大幅提升。

● 先进的视频编码和解码技术显著提高了视频传输效率，在保证视频质量的同时减少对带宽的需求，实现了海量视频的流畅高效传输。

● 5G技术的引入为视频化信息提供了新的动力，接近即时的传输速度和低延迟，使得实时视频互动和高清流媒体成为现实。

● 为AR、VR等沉浸式体验应用提供了基础。

社交和视频软件也对多模态技术的发展产生了影响，它们提供了大量的数据和应用场景，推动了视频内容的多模态化，促进了多模态信息的传播和分享，助力了多模态交互的发展及多模态情感分析的应用。

在现实媒介世界，图像视频类信息的即时满足感促使观众、用户偏好视觉信息，而商业化需求更驱动了传播广泛转向视觉化偏向。如今数字化更广泛催生了信息平台的视觉化潮流。近几年视频类平台成了“风口”。自生成式人工智能诞生以来，图像、视频的生成便捷易得，正在催生新一波视觉传播的风潮。

大数据和智能推荐算法已经加剧视觉信息传播的泛在化。社交平台利用智能算法分析偏好、精准推送内容，从而提升用户体验和粘性。个性化推荐机制改变了传统信息传播的模式，更强化了视频内容在社交活动中的地位。基于人际传播和算法推荐，视频可以在社交网络中迅速扩散。

生成式人工智能已经嵌入到图像和视频编辑软件中，可以提高视觉内容的分辨便捷的视频创作工具和分享平台激发了用户的创作热情，一些平台也实行奖励机制进一步激励用户创作高质量的视频内容。这种模式不仅改变了用户内容消费的方式，也创造了新的商业模式。

大模型催生多模态生成：

迎合视觉偏好

信息多模态生成的基础是生成式人工智能技术的跨越式发展。生成式人工智能的核心是通过机器学习和深度学习技术，自动生成多种类型的内容，通常涉及数据收集、数据预处理、模型训练、内容生成以及评估和细化等步骤，其发展得益于模型架构的创新、计算能力的提升以及数据集的丰富。

生成对抗网络和变换器模型的广泛应用，同样对于多模态生成具有重要意义。从2014年开始，生成对抗网络成为研究的热点，它由生成器和判别器组成，能够有效生成仿真度高的图像和视频，从而拓宽生成内容的领域。随后，基于变分自编码器和变换器的模型逐渐崭露头角，特别是2018年OpenAI推出的GPT系列，标志着自然语言处理领域的重大进步。

OpenAI于2022年底发布的基于上下文动态算法的新型聊天机器人ChatGPT，将多模态的生成能力提到了新的高度。生成式人工智能仅仅出现一年多，即已实现文本、声音、图像和视频信息模态之间的几乎自由转换。DALL-E、Midjourney和StableDiffusion等文本转图像人工智能模型正在彻底改变视觉内容的创作方式。人工智能图像生成器使用机器学习算法，调动海量视觉资料训练输入参数，以混合和匹配现有图像中的组件来生成新的图像和视频，输出可以多样化并富有创意。生成式人工智能的数据可视化能力，几乎可以用故事模式解释各类数据。

指令遵循能力是大模型的代表性涌现能力之一，与上下文学习能力有着密切的关系。2023年ChatGPT迭代至ChatGPT-4.0，具有了更强的多模态生成能力，可以学习更复杂的模式和知识，提升生成内容的质量和准确性；在此基础上，ChatGPT-4o则在理解力、一键调动各种GPT及其综合应用方面，又有了提升。在我国，2023年百度快速推出的文心一言及其4.0，以及通义千问、讯飞星火、豆包、智谱AI、月之暗面等国内的AI产品也如雨后春笋般涌现，呈现出“百模大战”的热烈景象。此外，OpenAI的Sora于2024年2月横空出世，更是将生成视频的能力推到了一个新的高度。

目前，多模态的研究集中在如何通过神经网络实现多模态数据的高效融合，以提高系统的智能化水平和响应速度。在技术驱动、用户需求变化和社交媒体使用的推动下，用户的需求日益增长，多模态生成技术正在展现出其融合多种信息形式的强大潜力，为内容创造带来了新的可能，也带来了新的挑战。

图像优势效应是指视觉信息比口头或文本信息更容易被关注、记住和回忆的现象。这种现象得到了认知心理学、教育学研究的广泛确认。如今信息多模态生成融合了多种感官元素，但多模态信息并不能被人类均衡分配使用，并且必然会受到视觉优势效应的影响。

视觉优先的生理基础与视觉优势效应

视觉是被最广泛认可和研究最多的感知模态，有研究指出人类对世界的大多数印象和记忆都基于视觉。不过，文化解释强调，视觉的主导地位是社会设计方式的结果，因此深受人类决策的影响。人类是高度依赖视觉的生物，大约70%的感觉输入来自于视觉。这里的视觉是指人类的感官模态，而视觉偏好转向了文化生产，感官偏好转向了视觉化的信息模态。

视觉皮层在人类大脑中占据了相当大的比例，视觉信息的丰富性和复杂性决定了大脑需要分配大量资源来进行处理。人类行为具有优先级特征，会优先考虑某些刺激而非其他刺激。行为优先级特征体现为感知专业知识、目标导向注意、视觉显著性、图像记忆性和视觉新颖性等方面。实验研究表明，人们在学习和记忆图片内容方面比在文本中表现更好，这种现象即被称为“图片优势效应”。

从进化论的角度看，视觉系统的优先性有助于人类在自然环境中的生存和适应，我们的视觉系统已经进化到可以并行处理多个图像。文本在人类历史上出现得较晚，大脑必须一次扫描识别一个字符，并将其凑成词语，然后组合成句子，一一处理才能获得其意义，因此文本信息在记忆任务等方面不如视觉信息的感知能力。

从认知心理学的角度看，人类同时接收视觉和听觉信息时，视觉信息往往会主导对整体信息的理解，发挥“视觉优先效应”或“视觉优势效应”。视觉皮层还与其他大脑区域相互作用，参与记忆、情感和决策等高级认知功能。所以，人类在处理多模态信息时存在视觉化偏好，它不仅会影响信息的接收方式，还会对人的理解和记忆产生深远的影响。

文、图信息模态的比较分析

新媒介技术本身就是一种系统性的变革动因，涉及我们观察世界的方式、亦即世界观，因此，视觉化的信息传播改变的是我们的经验、感知、价值观与行为模式，乃至这个世界的存在方式。

以影像为中心的媒介机制是情感驱动，其特征是现实性、同步性、贴近性，带来的是即刻的满足、迅速的情感回应。图像研究者指出，当图像取代文本，我们体验、感知和衡量世界与自身的方式就会从一维、线性、过程导向、历史性的方式，变为表面、环境、场景那样的二维方式；我们的行为也不再是引人注目的，而是融入关系的领域。

文本和图像都是一种中介，并且是一种规则。文本文字用所指即语义表征世界，图像与视频则用能指即表象表征世界。文字可以直接表达思想，因为文字所指与能指的联系是直接的、约定俗成的。而图像的思想与表象的联系是间接的、不固定的、开放的，需要观众反复挖掘才能显现。

人类处理文本与图像类视觉信息各有不同。

● 从认知过程来说，处理文本信息需要深度语义分析、理解句法和逻辑推理，有一定难度；处理图像等视觉类信息主要依赖感知和直观理解。

● 从处理速度来说，文本信息处理通常较慢，需要逐字逐句阅读和理解；处理图像类信息通常很快，可以立即识别和理解图像。

● 从记忆效果来说，文本信息需要经过阅读、分析、推理等过程，其复杂的处理过程有助于增强对信息的理解和记忆，通过理解词语和句子的意义，形成概念之间的关联和结构，这种语义网络的构建有助于信息的长期记忆和应用；图像类信息带来的短期记忆效果更好，图像记忆在短期内效果显著。

● 从理解深度来说，文本信息需要主动思考和反思，形成复杂的认知结构，更有深度，并且能够激发读者的想象力和情感共鸣；视觉类信息通过图像、符号等方式简化复杂的概念,可能导致信息的失真或过度概括，观众无法全面理解信息的内涵和背景，总体上容易浅显化。

● 从认知负荷来说，文本信息的语义复杂性可能增加认知负荷，但可通过组织和结构化降低；视觉类信息认知负荷较小，但接触过多会导致视觉过载，大量的视觉刺激可能使人难以专注于关键信息，导致信息的浅层化和碎片化。

生成式人工智能的出现加速了传播的范式转变，这种转变导致了对视觉信息的日益偏好，用户越来越多地优先考虑视频内容而不是基于文本的格式。这也是如今讨论视觉模态偏好的现实因素。

图片优势效应的原因仍待探究

图片优势效应基于派维奥提出的双重编码理论，该理论认为大脑对于语言信息和非语言信息的处理方式不同，图片更容易被回忆。双重编码理论预测，当激活不同的代码时，应该会对性能产生增量影响。图片会同时引发口头编码和图像编码，两种类型的代码一起连接到图片，可以增加在记忆任务期间检索的机会。纳尔逊等提出的感觉语义理论也提出了图片编码方式的差异。首先，图片在感知上比文字更具区别性，每张图片的编码更加独特，增加了被检索的机会；其次，图片可以比文字更直接地呈现意义。

上述理论均将图片优势效应的原因归结为图片与文字编码的方式差异，其局限性一直带来争议。迄今为止对于图片优势现象的原因，尚未有清晰的定论。

较新近的研究显示，图片优势效应确实存在，但是双重编码理论可能不是图片优势论的最佳解释。上述两个理论的研究都只是强调了编码，忽视了检索差异；它们的研究并没有提到自动记忆和有意识记忆之间的比较。此外，双重编码理论等没有考虑到认知可能由文字和图像以外的其他方面介导。双重编码理论只适用于要求人们专注于识别概念如何关联的测试。如果文字（单词）和图像之间无法形成关联，那以后记住和回忆该文字就会很困难。

这就意味着，在图片优势效应确实存在、但又未能确知其为何存在的前提下，生成式人工智能带来的视觉信息的便捷生成及其泛在化，将带来更加复杂的现象与影响。

视觉优势效应与传播效果偏差

尽管现有的研究尚未探讨清楚视觉优势效应的原因，但它作为一种现象，带来了信息传播的偏好、并进一步带动了信息接受的偏好。

认知科学表明，受众对文本和图片图像存在两种截然不同的心理学接收机制：人脑存在系统性认知机制和启发性认知机制这两种编译方式。语言文字信息系统是抽象的言说逻辑，往往需要调用系统性认知机制来把握其意义；而图片图像视觉类内容往往以形象而直观的视觉符号传递了一种明确的临场感，常常会自动激活并调用便捷、简单的启发性认知机制。视觉类内容会产生一种强大的瞬间认同力量，人们很容易按照预先设计的认知管道进入图像背后的话语、秩序与意义，呈现认同行为。

视觉优势效应可以让人快速学习和记忆，但图像优势效应/视觉信息优先性也会引发认知偏差，可能会影响我们感知、理解和优先考虑信息的方式。

● 它会引发注意力偏差。视觉优先效应导致视觉比文本更容易引起注意，有可能导致人们过度关注视觉元素，从而可能忽略重要的文本信息；

● 它会带来记忆偏差，人们更有可能记住和回忆视觉呈现的内容。已有研究证明图片优势效应会使人们更容易记住视觉信息；

● 它可能引发确认偏差。当人们对某个概念有强烈的视觉记忆时，更有可能确认现有视觉理解并以此寻找和解释新的信息，这样就会强化图片优势效应带来的理解偏差；

●它可能引发联想与启发偏差。视觉信息在脑海中浮现的难易程度会影响我们的判断和决策，我们在进行评估时更依赖令人难忘的视觉信息，带来联想与启发偏差。

这些由视觉优势带来的认知偏差，会引发我们获取信息、分析与判断以及全面理解等方面的问题与后果。

它们可能削弱我们的明辨性思维（或称批判性思维）。在以图像和视频优先的数字环境中，尤其是生成式人工智能带来的视觉信息生成偏好，会鼓励对接受信息的快速、情感性处理，而不是更深入的分析性思考，由此会引发自动和直觉思维，减少明辨性推理和分析性反思。

发现、关注图片图像的速度是以深度为代价的。优先考虑视觉效果而非文本导致的信息处理偏差，会让人们忽视或低估关键的文本细节，而将注意力集中在更容易消化的视觉效果上。

视觉信息虽然易于处理，通常比阅读和解释文本需要更少的努力，但会导致浅层学习和理解，我们更容易记住示意图、但对底层概念的理解可能不完整。在这样的情境下，视觉信息可能导致启发式偏见——个人依赖思维捷径，而不是进行深度处理，从而基于感性的、不完整的信息做出决策。研究表明，媒体存在视觉的框架效应，视觉内容的呈现会影响人们对事件或问题的解读方式，通常带来由情感驱动而不是事实驱动的认知和决策。也有研究表明，构思不当的可视化会分散受众对核心信息的注意力，有时甚至会构成“错误信息”。内容呈现不佳不仅有可能破坏既有的叙事，还会威胁整个沟通策略的有效性。

新兴的视觉文化需要新的思维范式

尽管视觉优势效应存在种种问题，但是其显性的效率和潜在的影响力是不容忽视的。顺应用户对信息获取需求的变化，近几年媒体正在推动视频化内容成为主流，视觉化已占据传播的主导地位。近二十年来社交平台的涌现及其视觉化转向，使得视觉类信息泛在化，短视频在我国也蓬勃兴起。在全球范围内，Facebook、YouTube、TikTok、Instagram等拥有庞大用户基础的社交媒体平台为视频化信息提供广泛的传播渠道。

视频成为一种粘连生活与媒介的界面，影响着人们的现实生存与媒介表达，视频化成为一种生存方式，短视频具有建构社会现实的强大视觉性力量。短视频制造了一种强烈的知识获得感，当然，这种获得感并不等于认知的提升、甚至可能影响更为深入的理解过程。

作为一种新的文化，新兴的视觉文化要求新的思维范式。近十年来，视觉传播与视觉文化传播越来越集中于新媒体空间，成为政治、社会、经济、文化与日常生活的表征。新闻传播界已经将历史的视觉化延伸到新的时代。从插图到摄影、视频，到如今的生成式人工智能，制作和编辑图像的工具使用率不断上升，为各类记者提供助益。

对于新闻从业者而言，人工智能可以帮助绘制难以视觉化的故事。生成式人工智能也可用于研究故事和激发灵感。他们喜欢向聊天机器人寻求帮助从而选择报道具有挑战性的话题。人工智能还可以在相关信息的协作中以叙述可视化的方式呈现过去的事物。在此背景下，新闻传播业从策划、制作到编辑和发布过程，也面临独特的机遇和挑战。

智能时代的传播需要更高的站位，我们要懂得优化信息传播、培养人类认知与判断能力，确立文字与图像的不同偏好，更好地组合传播，随着视觉信息的广泛应用，更加谨慎地平衡视觉与文本信息的传播、避免二者之间的二元对立；同时更努力地调动多种模态的均衡使用，力求优化信息传播及其带来的认知影响，培养我们的认知与判断能力。

具体而言，我们可以从以下几个方面着手：

首先，视觉与文本的组合，是提升传播效果的关键。巧妙地将视觉和文本的不同传播优势组合，才能更好地优化信息传递。视觉信息具有即时性和情感影响力；文本信息则对于复杂概念的深入理解至关重要。因此，平衡视觉与文本信息的传播，是利用视觉效果来补充和提升文本信息的传播。这种组合式的传播方式，可以最大化利用各自的优势，提升信息的全面性与准确性。

第二，重视视觉传播的背景及其解读。在应用视觉传播，尤其是生成式人工智能生成的视觉内容时，必须用文本作为补充，提供清晰的背景和解释，以帮助受众准确理解信息，确保受众能够理解视觉内容的来龙去脉。避免导致误读甚至情感操纵。

第三，培养明辨性思维与用户评估能力。在信息爆炸的今天，视觉传播虽然带来了极大的便利，但同时也可能导致认知上的偏差，甚至加剧信息的碎片化。因此，需要鼓励明辨性思维，即受众需要能够评估信息的真实性和准确性，能意识到潜在的偏差，并主动避免。在面对生成式人工智能生成的视觉内容时，用户需要学会区分其真实性和虚构性、懂得去核证一些结论性的数据，从而做出更为明智的判断。

生成式人工智能背景下信息模态在传播中的应用及其影响，值得我们认真探究；如何平衡视觉与文本信息的传播，提升和优化用户对信息的理解、助益人类的认知能力和素养，需要我们在实践中不断思考和总结。需要培养用户对不同模态信息的评估能力，通过提供足够的背景解释和鼓励明辨性思维，帮助人们更准确、全面地理解复杂信息。总之，这个领域的所有的“行动者”——从智能科技公司、信息平台、媒体到一般用户，都有责任和义务去探寻真相、优化认知。

投稿请登录https://xwxz.cbpt.cnki.net/

订阅纸质刊物请致电010-85201321

商务与广告合作请致电010-65595210