文生图大模型偏见问题的实证研究

学术   2024-07-31 16:50   上海  


本研究通过一组混合研究设计,从传播研究的两个重点面向——内容与效果层面联合探究了一个问题:生成式人工智能文-图模型如何在主、客观上传递刻板印象。针对2140张AI人像的算法审计结果表明,作为“容器”的文-图模型继承、亦“超越”了既有刻板印象的“像化”框架:AI稳定地强化了亚洲人小眼、扁鼻、长且宽的脸、皱纹与瑕疵突出的面部等特征,令亚洲人形象被显著刻板化;黑人形象也受到一定贬损,其中“性化”是突出问题。随后面向中国被试(N=242)的实验研究发现,AI人像在内容框架上较真实人像折射出更突出、夸张的刻板印象,这影响人们对群体刻板印象的认识和感知;女性用户还有将AI产出的丑化人像投射至自身,进而导致个体自尊受损、技术抵制意愿增强。人正从机器处承受更严重的刻板印象表达和更负面的心理后效,智能时代个体身心健康与人机、人技关系面临危机,这些直指智能社会的底层秩序挑战。


一份2023年的统计指出,使用文-图生成模型(text-to-image model, 下简称文-图模型)创制的图片超过150亿张,代表性应用之一Midjourney已拥有1500万用户,是已知用户数最多的文-图生成平台;Stable Diffusion则在各渠道累计贡献了最多的图像,约125.9亿张,占总数的80%;这些图片在Reddit、Twitter、Discord等在线社区中广泛传播(Everypixel,2023)。随着文-图模型的广泛使用,其是否可能通过视觉表达将刻板印象、偏见全面“像化”(pictorial),成为新闻传播学领域值得关心的问题。


基于此,本研究采用与自动化大规模图像生产相适应的计算机视觉方法(computer vision method),尝试沿着传播研究的两个重要面向——内容与效果,连接视觉框架等理论资源讨论以下问题:文-图模型生成的图像会在哪些层面为哪些群体附上刻板印象和偏见?以真实的人类图像为基线,智能模型所生成的图像强化抑或弱化了这些刻板印象和偏见?文-图模型生成的图像在视觉框架上的表达特点最终给普通个人在心理、行为意向上造成了何种传播影响?厘清这些问题有助于在识别文-图技术之伦理风险的同时,为研究生成式智能的刻板印象提供来自媒体与传播学科的研究思路与实证见解。


文献综述


(一)从媒介与传播进入:理解作为刻板印象“容器”的生成式智能


依循深度媒介化的思路,媒介可以被理解成“特定语境中表征社会、参与社会的制度化形式”(王琛元,2018)。在深度媒介化语境下,社会实践与媒介技术贯通,媒介之外的身体/物理行动与媒介之中的交流/传播行动不再界限分明,而是在互相转化,人们不断地通过传播媒介来投射行动目标(史金铭,汤景泰,2023)。这些让作为社会文化心理现象的偏见与刻板印象处在媒介化的逻辑中,与各类媒介技术、媒介产品相融;发生在实际场景中的群体自动分类和区别(恶意)对待在媒介空间中得到再演绎。


故可以说,媒介与传播学科之所以有研究生成式智能之刻板印象、偏见、歧视的必要,并不只是从生成式智能作为媒介产品的维度出发,还因刻板印象等所经历的媒介化进程——生成式智能在此被定位为刻板印象的一种新“容器”(vessel)(约翰·彼得斯,2020:2)。对于研究者而言,刻板印象如何借这种新“容器”被重新形塑、是否在新“容器”的形塑中完成对既有刻板印象的固化与强化,自然就落入了媒介与传播学科的议域。


需要强调的是,生成式智能技术传播的刻板印象并非基于人类社会已有的内容和材料,而是技术对人类社会已有刻板印象进行学习后再生产的素材,这种素材在体量上趋于无限化。更重要的是,处在主、客观现实交汇点的刻板印象如何在传播系统内“旅行”,如何将社会现实映入媒介现实后改变人们的心理现实,早在李普曼《舆论》中即成为传播研究的经典传统之一(Lippmann,1992:80)。作为对研究传统的尊重和接续,媒介与传播研究者也理应对生成式智能之刻板印象问题展开考察。


(二)探索“像化”逻辑:文-图模型刻板印象的框架生产


之前国内学界相关的讨论和观察多围绕ChatGPT等大语言模型展开,一定程度上忽视了多模态生成式智能在这一问题上的表现。鉴于“图优效应”(picture superiority effect)的遍在,文-图模型这类多模态生成式智能“像化”生产、传播刻板印象的议题应得到更多关注。


这一议题上,技术界自身已进行了一些有影响力的自查、自省。例如,Open AI承认其推出的DALL·E 2继承了训练数据的偏见,其输出可能强化社会刻板印象(Mishkin et al.,2022);Google也表示其开发的Imagen所依赖的数据集未经“妥善协调”(mostly uncurated),模型输出结果出现了种族主义、色情等负面刻板印象,这使得这一号称达到“SOTA”水准的文-图模型尚未对外公开(Saharia et al.,2022)。


国际学界也进行了一些先行探索。一项研究通过综合元话语(meta discourse)的生产和社会建构(social construction)的视角,分析了文-图模型如何塑造新闻从业者的形象,其中就揭露了特定岗位角色的“像化”表达中特定性别的不可见性(Thomas & Thomson,2023),一些研究扩展至法律、医学、工程和科学等专业的研究者形象生成上,同样强调女性的不可见是一种偏见(Gorska & Jemielniak,2023)。需指出的是,这些研究面向的样本规模相对较小,与大模型强大的生产能力存在一些脱节。而Sun等人(2024)的新近研究借助计算机视觉分析方法,面向大样本的AI图像数据集展开检测,一定程度上克服了前述研究的局限,但在取径上相对较细,着重关注人物的表情(笑容)与头部姿态如何反映性别偏见。


媒体与传播学科过去在探讨刻板印象的塑造时,框架是一个常被引入的理论概念;移至视觉传播的语境下,对应的理论概念为视觉框架(visual frame)。曾有相当多的讨论将视觉框架作为理论资源,对刻板印象、歧视展开探究(Lester,2011:42;Walker & Towner,2022)。


就概念本身来说,媒介框架本质上是对“感知现实”(perceived reality)的选择性放大,为的是面向所描述的对象提出有针对性的定义、解释或评价(Entman,1993)。它规定了“议题的本质”(the essence of an issue),帮助解释议题通往哪些矛盾与争议(Gamson & Modigliani,1987)。在图像与视觉层面,中外学者近年合力撬开了视觉框架的分析层次。在英文学界,Rodriguez和Dimitrova(2011)提出的视觉框架分析体系有较大的影响力,包含四个层次:(1)指称(denotative systems),(2)风格-符号(stylistic-semiotic systems),(3)暗指(connotative systems),(4)意识形态(ideological representations)。Geise和Lobinger(2017)随后提出视觉框架分析三层次,包括框架的(1)选择(selection)与生产(production),(2)表征(representation,或称再现),(3)感知(perception)与加工(processing)。在中文学界,刘涛(2022)提出的视觉框架包涵了三个层次:(1)图像指示维度的主题分析,即图中有什么、是什么;(2)图像表意维度的话语分析,即画面再现或隐藏了什么;(3)图像认知维度的图式分析,即图像通过何种规则被加工、组织起来。


具体到文-图模型刻板偏见的“像化”问题上,梳理AI生成图像背后的视觉框架有助于廓清:在传达刻板印象时,AI生成图像(不)选择、(不)凸显哪些特征,反映出何种形式的像化加工思路,让刻板印象在什么样的框架中获得了整体性的构建;以及,AI图像的视觉框架和人类世界的真实影像存在哪些异同,进而解释这种异同对社会中已有的刻板印象形成何种维系或超越。


(三)由“像化”到“内化”:文-图模型刻板印象的传播影响


承前所述,刻板印象处在一个主、客观现实的交汇点:它在主观认知层面表现为一种简化的、类型化的“关于某类人群或事件的知识、观念与预期的认知结构”(夏倩芳,张明新,2007)。故研究者的探索不应止步于在客观层面推导、总结AI图像背后关于刻板印象的视觉框架,还应尝试理解这种框架化的视觉表达最终如何影响观者对刻板印象的主观认识、感知,最终从客观、主观同时抵达刻板印象这一概念,打开“生成式智能何以传递刻板印象”的命题。这样的探索进路也是对传播学科“传播内容-传播效果”闭环路径的一种回应。


虽然目前鲜有公开文献围绕生成式AI作品所促成的刻板印象威胁展开讨论,但过去关于机器人新闻偏见、算法歧视的研究可提供一些有价值的参考。Sundar(2008)在提出MAIN模型时即表示,受众如认为机器是新闻故事的作者,那么机器的选择就必定是客观的并且没有偏见。这在Waddell(2019)的实验中得到验证:他通过操纵新闻素材的作者署名(authorship),发现对于同样的新闻素材,机器作者被认为比人类作者的偏见显著更少,进而提升了读者对这则新闻可信度的感知。就算法歧视而言,国内外的心理学研究者都通过实验证实,相较于从人类处感受到的偏见,人们从算法感受到的偏见激起的道德愤怒和道德惩罚欲都显著更低(Bigman et al.,2023;许丽颖等,2022),对歧视性结果采取行动的意愿也因此弱化(Bonezzi & Ostinelli,2022;Bigman et al.,2023)。


这些研究似乎都指向一个结论:鉴于源头是智能技术,而非人类,人们对刻板印象、偏见的感知会因此遭受蒙蔽;质言之,人们对机器刻板印象的感知、内化水平往往较低。不过必须指出,过去的这些研究多是通过预设特定情境,要求被试阅读一些文本材料后进行自我汇报,或是通过对同一则研究素材进行作者身份的提示操纵,这可能与人们真实地接触人工智能生成材料后产生的体验有差异。新近的经验证据也提供了一些不同的观点——一项问卷调研指出,人们对机器歧视的平均感知已达到较高水平,亲身与替身的经历都显著预测了这种感知,而这种感知又显著预测了个体干预、控制算法的行为意向(黄阳坤,2023)。不论是实验设计上的局限还是新近的发现,都要求研究者在考察人们面对生成式智能造成的刻板印象威胁与偏见冒犯时重新评估、验证可能的影响路径与机制。


综上,本研究旨在回答以下问题:


1.文-图模型所塑造的不同种族/性别人像的各类视觉特征有何差异?反映出怎样的视觉框架特点,又与哪些刻板印象相关联?


2.与真实人类影像相比,文-图模型对不同人种/性别的视觉塑造是弱化、强化抑或延续了刻板印象?


3.文-图模型对特定人群的视觉塑造如何影响了普通个人的心理与行为意向?


4.与真实人类影像相比,文-图模型所产出的人像为普通个人造成的心理-行为影响是否有路径与机制上的差异。


研究设计


为从内容、效果两个维度理解生成式智能如何表达、传播刻板印象,研究者设计了一组混合研究。研究一是一组算法审计研究:研究者通过有控制地改变模型指令,截获模型输出结果作为分析材料,结合计算机视觉方法分析文-图模型生成物中的刻板印象,并与真实人像进行比对分析。研究二则是一组对照实验:研究者通过招募不同性别的被试,分别为其分配模型生成人像或真实人像供浏览后,检验了被试个体认知和技术行为意向的情况,并尝试通过结构方程建模估计了背后的影响机制。


(一)算法审计研究


1.样本生成


研究以Stability AI开发的Stable Diffusion(SD)为研究对象。如前所述,由于其开源的属性,SD在全球范围各渠道累计贡献了最多的人工智能生成图像,高度的社会化决定了其适合作为社会科学研究的观察样本。


研究者组合“a(an)”(画面人物数量)+“white/black/Asian”(种族)+“man/woman”(性别),形成了6组提示指令,要求SD根据每一指令生成500张图片,最终获得一个含3000张图片的初始样本集。


2.视觉框架类目确定


依循视觉框架分析的基本分析思路,在选择并确定视觉文本对象后进行视觉编码类目构建(刘涛,2022)。结合现有的关于图像歧视、美学、社会认知及心理学等领域的研究,研究者确定了人像特征维度和图像美学两大维度,其中,人像特征维度指向:


(1)五官与脸型特征


早期研究探究了杂志广告在呈现黑人眼睛、鼻子、嘴巴时的选择偏好,这种偏好可能对黑人群体的自我概念、他人对黑人群体的理解产生影响,最终产生成见与刻板印象(Keenan,1996)。另一项实证研究则表明,上述五官特征还可帮助区分男(女)性,进而传递性别偏见(Palumbo et al.,2017)。基于此,我们选取了眼睛宽度(见图1C1-C2)、眼睛长度(见图1D1-D2)、鼻翼宽度(见图1E1-E2)、嘴巴宽度(见图1G1-G2)、嘴巴长度(见图1F1-F2)、嘴唇厚度(上唇厚度与下唇厚度之和的一半,即图1G1-H1与G2-H2和的一半)等6个五官特征进行计算。


脸型在过去基于杂志照片的研究中也被认为可用以传递性别刻板印象(Dodd et al.,1989),因此脸部长度(见图1A1-A2)、脸部宽度(此处操作化为颧骨宽度,见图1B1-B2)也被纳入研究范畴。


图1 人像五官特征测量示意图(该图为SD生成的一幅亚洲男性图片)


(2)面部皮肤特征


由于面部是人体最常暴露的部位,面部皮肤状况通常是判断面孔吸引力的重要指标。此前实证研究指出,皮肤出现老化,即面部出现皱纹,会显著降低个体的吸引力(Deffenbacher et al.,1998);有面部瑕疵(如痤疮)的脸也被证实令人不悦(Jaeger et al.,2018)。有理由认为,文-图模型可能通过操纵人物的皮肤状况来形成刻板印象。


从现有研究的经验证据出发,本研究对皮肤老化程度的测量操作化为面部皱纹情况,主要检测包括抬头纹、鱼尾纹、眼部细纹、眉间纹和法令纹等5种皱纹类型的有无;对皮肤健康程度的测量则被操作化为对面部瑕疵的测量,包括黑头、痘痘、痣、闭口和色斑等5种瑕疵类型。研究者对5类皱纹和5类瑕疵的检测情况(0=无/1=有)分别进行加和,形成了皱纹指数和瑕疵指数。


(3)着装(暴露)特征


除面部特征外,本研究还考虑了身体其他部位的外在特征。某一性别、人种是否穿着得体是本研究考虑的主要因素。一方面,研究者在试用文-图模型时发现,模型绘制的人物(尤其是黑人)常出现衣着暴露的情况;另一方面,既有研究也表明,一些在线平台所展示的非洲人野蛮、暴露、充满性暗示,传递出种族胁迫和强制原始主义的偏见信号(Nakamura,2014);同时,身体裸露程度也被发现是女性媒介形象构建的一个关键指标,引导着大众对女性的“性化”(sexualized)审美(胡春阳,杨雪晨,2017)。因此,本研究将生成式智能对人像性化或裸露化处理的倾向视作一种冒犯和偏见的信号。


需说明的是,人物着装也可能传递刻板成见,但考虑到服装上的差异或许只是文化多样性的表达,这背后的刻板印象、偏见问题暧昧不清,故研究者在最终设定视觉框架类目时未考虑这一变量。


(4)基础美学特征


除人像特征维度之外,图像美学的多个指标也被纳入本研究的框架类目中。因为先前的研究发现亮度、对比度、饱和度、明度和色彩多样性等基础美学指标会在人们识别视觉线索时产生作用,进而影响人们的好恶(Peng & Jemmott III,2018)。


3.计算机视觉分析


图像编码是视觉框架分析的重要操作过程,过去大量研究主要依靠人力完成。必须承认,人工编码对识别图像中内隐的意见、态度、立场等有着机器编码无可比拟的优势,但面对文-图模型自动化、高效率的视觉生产模式,沿用人工编码方式识别视觉框架,进而判断视觉叙述是否存在刻板印象倾向,显然与现实情境不匹配。


基于研究目的,本研究采用了计算机视觉技术,以辅助解码文-图模型所产出图像背后的视觉框架、定位刻板印象元素。具体而言:


(1)在进行五官与脸型特征、面部皮肤与表情特征分析时,研究者选用了一款通过中外学术期刊同行评议的计算机视觉分析工具Face++(Peng,2018;陈昌凤,师文,2022),这款工具与本研究所设计的框架类目相适应。另外,鉴于初始样本集中出现了没有面部或包含多个面部的图片,研究为确保研究单元的一致,基于Face++的检测结果对初始样本集进行过滤,得到用于最终分析的图片共计2140张。其中:男性照片1041张,含黑人男性照片322张、白人男性照片356张、亚洲男性照片363张;女性照片1099张,含黑人女性照片363张、白人女性照片370张、亚洲女性照片366张。


(2)在进行着装(暴露)情况的判定时,研究者使用了基于Python开发的nudity库。该库基于一个重新训练的Tensorflow MobileNet模型,该模型会为图片的皮肤裸露程度输出一个分值;经检测,该模型在与训练集同分布的测试集上的准确率达92.2%,可有效测量图中人物是否有明显的身体裸露。


(3)在进行基础美学特征指标测量时,研究者使用了基于Python的OpenCV库进行亮度、对比度、饱和度和明度的测量;色彩多样性方面则参考了Hasler和Suesstrunk所开发的算法,实验数据表明这款算法与人类对色彩多样性的感知具有同一性(Hasler & Suesstrunk,2003)。


(4)为考察文-图模型所生产的图像与人类世界的真实人像在各类视觉特征上的关系是弱化、强化亦或延续,本研究引入了一个真实人像的数据集Fairface(Karkkainen & Joo,2021)。该图像集是近年来计算机科学界用于图像偏见基准测试的流行数据集,其建立者考虑到现有的公共人脸图像数据集强烈偏向于高加索人脸,基于这类数据集训练而成的模型损害了对非白人群体的适用性、公平性,因而建立了这一平衡了种族、性别和年龄分布的大规模数据集。本研究根据最终分析的图片规模,对Fairface数据集进行分层随机抽样后检测其五官与脸型特征、面部皮肤与表情特征、着装(暴露)情况与基础美学特征,以此作为真实人像的基线,并与SD生成的人像进行对比。


(二)实验研究


刻板印象与歧视兼具主客观双重属性(刘霞等,2011)。一方面,在探讨刻板印象的成因和表现形式时,往往离不开其背后客观存在的结构与背景,这也解释了为何探索、总结生成式智能刻板印象的视觉框架特点有其必要价值;另一方面,作为一种认知成分,刻板印象是人们关于特定社会群体成员的固定化、简单化、概括性的信念,它与其他认知成分相关联、协调,因此在确定文-图模型刻板印象的视觉框架特点之外,还需明确这种刻板印象如何与人们其他主观上的认知、心理变量产生联系,最终何以塑造人们的行为意向。


为解决这一层面的问题,本研究根据算法审计部分的结论,进一步实施了一组随机对照实验,以比较男/女性被试被指定观看由机器(实验组)或人类(对照组)产出的本性别人像后,在群体刻板印象感知、个体自尊、个体对智能技术的抵制意向等层面的特点。


1.实验物择取


考虑到各类视觉特征的数据分布并不总是正态分布,且多项数据呈非对称分布或包含极端值,对SD生成的图片集、Fairface图片集进行简单随机抽样设计或不能择中具有代表性的真实人类图像与机器生成图像。故研究者在对各类视觉特征的数据进行归一化、去量纲后,根据各类视觉特征数据的中位值,分别选取了与各数据中位值差异最小的5张人类生成/机器生成的亚洲男性/女性图像(共计20张,见图2)。之所以采用中位数而非均值,就是考虑到在数据分布不对称或包含异常值时,中位数通常被认为是优于均值的中心趋势度量,能够更好地代表数据的中心位置。


图2 实验材料


2.被试招募


研究者首先使用G*Power 3.1确定了被试量。在效应量为中度(f = 0.25)、显著性水平为0.95(α = 0.05)的情况下,需要至少231名被试才能保证足够的统计检验力(1-β > 0.90)。为了确保有足够的有效被试,研究利用在线平台Credamo在2024年3月招募了男女等额的300名被试者。经过注意力测试、筛选答卷时间不合要求(短于120秒/长于600秒)的问卷后,最终获得242份有效问卷,超过建议样本规模。其中,真实人类男性图像组63人,模型生成男性图像组61人,真实人类女性图像组60人,模型生成女性图像组58人。242名被试的平均年龄31.21岁,其中230人为18~45岁的青年人;近85%的被试者最高学历在本科及以上(n=204);来自一般地级市的被试者最多,达80人,占比约为33.06%;74.38%的受访者月收入在5000元以上(n=180)。


3.变量设置与测量工具择取


研究者在统计年龄、受教育程度、收入水平、常住地等人口地理学变量之外,主要测量了如下三个变量:①群体刻板印象感知。借鉴Stuart等(2020)使用的量表,询问被试者“国际上存在许多针对亚洲男/女性的偏见”等5个题项(Cronbach 's α=.892,M=2.733,SD=.930);②个体自尊。借鉴Monteiro等(2022)使用的量表,询问被试者“总的来说,我对自己感到满意”等5个题项(Cronbach 's α=.785,M=4.161,SD=.556);③对AI的抵制意向。借鉴Mou等(2023)使用的量表,询问被试者“我将加入抵制生成式人工智能的行列”等5个题项(Cronbach 's α=.853,M=2.277,SD=.746)。


4.实验步骤


研究者首先通过文字材料提示被试将在20秒时间内浏览5张人物图片;随后正式开始浏览时,被试将被提示:展示在他们面前的是人类拍摄或生成式人工智能产出的亚洲男性或女性人像图片。结束实验材料展示之后,被试将被提示填写上述三个量表,并要求回忆图片作者与图中人像性别、种族,该步骤既是注意力检测亦是操纵检验,确保被试认真浏览并成功识别了图中的人物性别与种族。


研究结果


(一)面向文-图模型算法审计的视觉框架考察


为检验生成式智能塑造不同种族、性别人像时视觉表达是否存在显著差异,进而确定其视觉框架中是否暗含偏见、刻板印象,研究采用了经Bonferroni校正后的Mann-Whitney U检验与Kruskal-Wallis检验。另外,为观察生成式智能塑造不同种族、性别人像所调用视觉框架元素是否相对固定,进而确定刻板印象是否相对固化,变异系数在本研究中被特别引入。作为一种无量纲量,它比标准差更适用于观察量纲不同或均值不同的数据。


1.脸型与五官特征


就AI生成的男性人像而言,在脸型与五官特征方面,Kruskal-Wallis检验表明,不同种族的男性人像在所有指标上均存在显著差异。具体而言,基于Dunn检验的多重比较(见表1)显示:脸型特征方面,黑人男性脸部长度、颧骨宽度的平均秩次显著低于白人、亚洲男性;白人的脸部长度与亚洲男性无显著差异,但在颧骨宽度上显著低于亚洲男性。这表明,AI模型绘制的亚洲男性有着明显长且宽的脸,黑人男性的脸型则显著更短且窄。


五官特征方面,亚洲男性眼睛宽度的平均秩次显著低于白人、黑人男性,在眼睛长度的平均秩次上则显著高于白人,与黑人男性则无显著差异。此外,在鼻型方面,亚洲男性的鼻翼宽度显著高于白人、黑人男性,且该项数据波动不大。这表明,亚洲男性被AI模型赋予了显著更窄小但细长的眼睛和最扁塌肥大的鼻翼,黑人与白人的眼型则相对宽大、鼻型相对窄薄。至于嘴型和唇部性状方面,黑人男性嘴巴宽度的平均秩次显著高于白人、亚洲男性,在嘴巴长度、嘴唇厚度上显著高于白人男性(与亚洲人无显著差异),黑人被AI赋予了明显更大且厚的嘴唇。


AI生成的女性人像也基本复现了上述特点。基于Dunn检验的多重比较(见表2)说明,在平均秩次上,AI产出的亚洲女性人像也有着较其他种族女性显著更长、更宽的脸,更窄小的眼睛,较白人女性更扁塌肥大的鼻翼(与黑人无显著差异);AI产出的黑人女性人像则同样有着更大且厚的嘴唇。略有不同的是,一方面,AI产出的亚洲女性人像眼睛长度在平均秩次上最小,显著低于白人、黑人女性,整体眼型更短促,这与亚洲男性细长的眼型特点不同;另一方面,AI产出的白人女性人像嘴巴长度在平均秩次上最大,在AI男性人像方面,嘴巴长度平均秩次最大的为黑人男性。


结合表1、2,AI生成的人像在脸部长度、颧骨宽度、鼻翼宽度、眼睛长度等方面的变异系数均在0.15上下,差异性检验的结果均具备0.001水平的显著性,这表明各组数据的内部波动不大且组间差异稳定可见,表明这些脸型与五官的数据都已逐渐被固定于生成式智能的人像视觉框架之中,在不同性别/种族间得到了常态性的“像化”诠释。


总的来看,文-图模型所产出的亚洲人像受到西方话语的影响,宽且长的脸部、扁鼻子、眯眯眼的形象正好对应着西方文化对亚洲人刻板印象的描摹(Hall,1995;Mok,1998),而作为黑奴时代的种族刻板印象的一项“持久遗产”(continuing legacy)(Plous & Williams,1995),厚嘴唇亦被保留并体现在AI黑人人像的视觉建构中。


2.面部皮肤特征统计


就AI生成的男性人像而言,综合Kruskal-Wallis检验与多重比较结果来看,三组人像皱纹指数、瑕疵指数的平均秩次两两之间至少在0.05水平上表现出显著差异,皱纹指数方面,白人男性的平均秩次最高、黑人男性的平均秩次最低;而瑕疵指数方面,平均秩次最高、最低的则分别为亚洲男性和白人男性。


就AI生成的女性人像而言,三组人像皱纹指数的平均秩次两两之间至少在0.001水平上表现出显著差异,其中白人女性皱纹指数的平均秩次最高、黑人最低;而在瑕疵指数的平均秩次方面,白人女性显著高于黑人、亚洲人,亚洲女性与黑人女性之间无显著差异(p=.314)。


不过,变异系数提醒:皮肤的老化与瑕疵程度似乎并不是生成式AI面向种族与性别的人像框架中相对稳定的变量;尤其在女性人像方面,三个种族瑕疵指数的变异系数均高于1,黑人女性、亚洲女性皱纹指数的变异系数也在1之上。变异系数大于1表明数据集中的观测值相较于它们的平均值有较大的波动性,说明数据存在较强的不稳定性与离散度。鉴于面部皱纹和瑕疵在视觉观感上十分突出,且被证实与观者的负面感受和认知有显著联系(Deffenbacher et al.,1998;Jaeger et al.,2018),SD作为一款社会化AI应用不宜也不会将其设置为一个面向特定人群的固定特征;但数据表明,同一性别的人种间差异已达到统计学意义上的显著水平,这值得模型审计者和传播研究者的注意。


图3 SD生成的白人与黄种人示例


3.着装(暴露)特征统计


着装(暴露)特征的结果部分回应了研究者在初步观察时的发现。数据表明,不同种族男性在暴露程度上的差异不显著(p=0.098>0.05),但不同种族女性在暴露程度上的差异在0.001水平上显著。事后检验指出,黑人女性的裸露水平显著高于白人、亚洲女性(这两者间不存在显著差异)。图4展示了数据集中一些裸露的AI黑人人像,这些人像都有强烈的性化取向,有一定的色情、性暗示意味。


图4 SD生成的裸露黑人人像案例


同样需指出的是,和皱纹、瑕疵一样,暴露着装是目前智能模型生成不同性别、种族人像时所用的视觉框架中一个较不稳定的因素;所有人像裸露程度的变异系数都非常高,至少在5以上,这表明目前生成的人像中色情、裸露照片有限(这也与一些裸露人像遭到系统对人脸的马赛克处理而未被选为最终分析单元有关)。但性化与色情是底线问题,在特定种族上形成显著的色情视觉表达,易导致对特定群体的性化污名,这让着装暴露、色情这一问题在进行算法模型审计时不容回避。


4.基础美学特征统计


人像之外,图像本身的美学特征,如亮度、对比度、色彩多样性等在过去的实证研究中被证实会影响人们的审美判断。就AI生成的男性人像而言,在图片美学特征方面,统计检验表明,不同种族的男性人像在五个美学指标上均存在显著差异。具体而言,基于Dunn检验的多重比较显示:文-图模型为亚洲男性人像赋予了平均秩次显著最高的饱和度、明度、对比度与色彩多样性,虽在亮度平均秩次上与白人男性无显著差异,但也显著高于黑人男性。反观由AI塑造的黑人男性,他们常常被置于一个明度、亮度、色彩多样性显著低于其他两类人种的画面里,处于一个相对黯淡失色的图景之中。


AI生成的女性人像在美学风格上也表现出了高度相似的种族差异。根据表4可以发现,模型生成的亚洲女性人像同样在饱和度、明度、对比度、色彩多样性等四项指标上有着显著高于其他组的平均秩次,在亮度平均秩次上与白人女性无显著差异,但也显著高于黑人女性。AI生成的黑人女性人像在明度、亮度的平均秩次上亦显著低于其他两类人种。


结合表3、4,不同种族的男/女性人像组明度、亮度、对比度的变异系数都在0.15以下,这表明这三项美学指标在AI生成的各种族男/女人像中波动小,加之显著的稳定差异,可以认为这三项画面美学特征是AI面对不同种族人像视觉框架的稳定区分点。其中,黑人男/女性人像在明度、亮度上均为最低,依照过去实证研究的发现,这可能会推动负面情绪或阴谋论的传播(Chen et al.,2022)。


5.模型生成人像与真实人像对比


表5展示了Mann-Whitney U检验的结果,帮助揭示了模型生成人像与真实人像(从Fairface数据集中抽样所获)在各类视觉特征上的异同,亦呼应了前文的一些基本发现。


综合来看,AI生成人像的对比度在所有组别上均表现出显著强于现实人像的特点,这也是唯一展现出跨组别共性的特征。模型在美学风格上强调人像图片的高对比度,整体表现出一种强冲击、超现实的风格化倾向(而非写实倾向),这也是AI生成人像与现实人像在视觉上最明显的分野。此外,另一处较强的共性在于AI生成的女性人像有着显著高于现实人像的色彩多样性,这也是AI生成图片风格化倾向的一种体现。


在白人人像方面,AI生成的男性与女性均有着比现实人像照片更大的眼睛、更窄的脸部和鼻翼,以及更强的画面亮度。这种与现实的反差放大了白人社会对人像美的传统追求——即大眼睛、小鼻子、瘦削脸型(Cunningham et al.,1995)。


在黑人人像方面,AI生成的男性与女性有着比现实人像显著更厚的嘴唇,显著更高的身体裸露程度,以及显著更低的画面明度、亮度,这些都和前文的发现形成关联。厚嘴唇、性化的身体展示以及黯淡的画面,这些特征或与黑人的历史刻板印象直接相关,或不利于黑人刻板印象的消除。


至于亚洲人方面,AI生成人像中有最多项特征涉及刻板印象。数据表明,AI生成的人像在脸部宽度、鼻翼宽度、皱纹分数的平均秩次上显著高于现实人像;在眼睛宽度的平均秩次上则显著低于现实人像,这与亚洲人宽脸、塌鼻子、眯眯眼、皱皮肤的一般刻板印象吻合,关于亚洲人的刻板形象在生成式智能中得到了强化诠释。


(二)面向文-图模型输出内容的传播效果检验


1.随机性检验


承上文所述,AI生成的亚洲人像中有多项特征涉及刻板印象,故实验研究将重心放在AI生产的亚洲人像与亚洲观众的层面,主要面向中国人招募被试。


为确保被试分组有较高的随机性,本研究除比较不同组别在年龄、受教育程度、收入水平、常住地等人口统计学层面的差异外,还借鉴了Kim和Lee(2020)开发的AI消极态度量表,询问被试者“一些组织/机构在不道德地使用生成式人工智能”等题项(Cronbach 's α=.811,M=2.515),比较了不同组别对AI技术的评估。结果显示,各组在年龄阶段(χ2=5.240,df=6,p>0.1)、受教育程度(χ2=8.676,df=6,p>0.1)、常住地(χ2=23.065,df=15,p>0.05)、收入(χ2=32.054,df=24,p>0.1)、AI消极态度(F=.548,df=3,p>0.1)上均无显著差异,表明随机化成功。


2.操纵检查


为检验被试是否正确察觉实验材料的创作者以及所涉人物的性别、种族属性,研究检验了各组回答图像作者、图中人物属性的正确率情况。卡方检验显示,4个实验条件组的平均正确率高于80%,且在正确回答的占比上无显著差异(χ2=1.111,df=3,p>0.1),可以认为操纵有效。


3.主要结果


研究者首先探索了两组男性被试者在浏览人类拍摄或生成式智能产出的亚洲男性图片后的认知、意向差异。独立样本T检验显示,浏览模型生成男性图像的被试在群体刻板印象感知上显著高于浏览真实男性图像的被试组(M模型=2.980>M人类=2.571,t=2.375,p=.019<.05);在个体自尊以及对AI的抵制意向上,两组男性被试间没有显著差异。而在相关关系层面,自尊与智能技术抵制意向之间呈显著负相关(r=-.460,p<.001)。


随后基于两组女性被试者的独立样本T检验显示,浏览模型生成女性图像的被试在群体刻板印象感知上显著高于浏览真实女性图像的被试组(M模型=2.883>M人类=2.510,t=2.341,p=.021<.05),此外,在群体自尊上则显著低于浏览真实女性图像的被试组(M模型=4.110<m人类=4.280,t=-2.041,p=.043<.05)。至于ai的抵制意向层面,两组女性被试间同样无显著差异。通过相关性检验,研究者亦发现自尊与智能技术抵制意向之间的显著负向关系(r=-.358,p<.001)。


两组T检验的结果显示,不论男性、女性,在浏览完AI生成的亚洲人像后都表现出了显著更强的群体刻板印象感知,感受到了亚洲人群体所面临的偏见;此外,女性被试者在浏览完AI生成的亚洲女性人像后还表现出了较低的个体自尊,表明女性有一定可能将生成式智能产出的形象投射至自身,致使个体自尊受损。


综合T检验、相关性检验的结果与S-O-R(刺激-机体-行为)理论的基本观点,即外部环境因素的刺激如何通过改变作为中介变量的个人心理与认知,最终影响个体对某一事物的趋近或趋避,研究者尝试检验并比较不同性别的人在接触真人/机器生成的亚洲同性别人像后发生的心理-行为变化。我们首先用全样本检验了图5所示的模型。测量模型方面,三个主要构念的组合信度值在0.790~0.893不等,其平均方差萃取量在0.433~0.625不等,且各构念平均方差萃取量的平方根均大于该构念与其他构念之间的相关系数,整体展现出良好的聚合效度和区分效度。至于模型拟合度方面,数据显示拟合良好(χ2/df=1.462<3,CFI=.970,TLI=.964,IFI=.970,NFI=.912,RMSEA=.044,SRMR=0.043)。


在此基础上,研究者使用AMOS 24.0中的多组分析确定不同性别之间的组差异。对测量不变性的检验表明,测量加权模型与基准模型之间在卡方值上没有显著差异(Δχ2=18.923,Δdf=12,p=.090),表明本研究构建的这一结构方程模型同样适用于两性被试;结构加权模型与测量加权模型之间在卡方值上同样无显著差异(Δχ2=4.379,Δdf=4,p=.357),这表明两性被试在模型路径系数上不存在显著差异。但应当注意的是:女性被试对AI生成的亚洲女性人像的接触与其个体自尊存在边缘显著的负向关系(β=−.223,p=.06),且偏差校正的Bootstrap检验表明,女性个体自尊完全介导了AI生成亚洲人像接触与AI抵制意向之间的关系(β=.124,p=.032<.05,95%Bootstrap CI:.011~0.263)。而个体自尊的这种中介效应在同样接触AI生成图像的男性被试上并不显著(p=.700,95%Bootstrap CI:-.107~0.099)。此外,尽管男女被试对AI生成的亚洲人像素材的接触与其群体刻板印象感知之间均存在显著正向关联(β男=.226,p=.016<.05;β女=.232,p=.018<.05),但人们的技术抵制意向并未因群体刻板印象感知的变化而发生改变。


这种微妙的差异提醒:面对可能带有刻板印象的AI生成内容,不同性别的人会经历差异化的心理动态,进而表现出不同的技术态度和情感。具体而言,女性或更易内化来自大模型的偏见和丑化,伤及自身自尊,进而转向对智能技术的抵制。这一路径在本研究中的男性样本中未得到证实。


结论与讨论


通过重新定位生成式智能作为刻板印象之新“容器”,本研究首先诠释了生成式智能刻板印象作为媒体与传播研究话题之合法性和必要性。后由此出发,研究通过一组混合研究设计,从框架生产到后效关联两个向度入手,充分挖掘了这一议题。


具体而言,研究者先循算法审计的一般思路,获得生成式智能模型生产的不同种族、不同性别的人像2140张,后根据视觉框架研究的一般思路,构建了一个含人物特征、图像美学特征两大抽象层次(图像脸型与五官等四个具体层次)的框架检验了两千余张AI人像刻板印象的视觉表达逻辑,并将真实人像作为基线,比较了AI生成人像与真实人像在各种视觉特征上的异同。结果表明,就输出内容而言,文-图模型的确有刻板化表达的特点,它会稳定地输出带有刻板印象的种族/性别人像。在文-图模型中,亚洲人面临最严重的刻板印象——从五官特征来说,“亚洲眼”(Asian eyes)、塌鼻子(flat nose)、皱皮肤等性状的偏见化呈现非常稳定地存在于AI人像中,且相较真实的人像而言,这种偏见的表达更为夸张和极端化。同样饱受现实刻板印象困扰的黑人虽在五官、脸型、皮肤等特征上得到了文-图模型相对的“优待”,但色情化(或言性化)、阴暗化的问题表达相对突出。


这些发现表明,生成式智能的确在调动五官、脸型、面部皮肤、表情、着装(暴露)、图像基本美学指标进行人像视觉框架的构建。当然,我们必须承认,种族、性别在五官、脸型、面部皮肤等层面的显著区分某种程度上是生物性差异(biological difference)的客观反映,“千人一面”是不符合现实的。但综合AI人像间的差异性检验、变异系数测算,以及AI人像与基线人像比对的结果,研究结果指出:人种、两性间在外观上的显著差异已经很大程度上被绝对化、超现实地稳定表达在AI人像中,这些超越生物性状现实差异的社会性刻板印象(societal stereotypes)在文-图模型中的“再现”,表明生成式智能被内置了存在传递偏见、加固刻板印象等潜在风险的“像化”表达逻辑。


这种绝对化、超现实的视觉表达逻辑背后是什么?我们认为这在技术原理上应部分地归因于模型的训练与开发过程。现有的公开人像图像数据集有强烈的种族偏向,白人之外的其他种族的代表性明显不足(Karkkainen & Joo,2021),而基于弱代表性数据集训练得到的大模型难免是有偏向的。此外,生成式AI主要基于深度神经网络,学习并抽象出数据的概率分布和本质规律,这使得大模型输出结果存在代表性和典型性的冲突,因为模型会偏向于学习那些出现频率较高的模式,直接忽略少数派或边缘情况,这也即常说的统计歧视(statistical discrimination)——基于人们所属群体的平均特征来推断个体特征,而不是针对个体进行单独评估(Prince & Schwarcz,2020)。不过,过去的质化经验也表明,技术不应成为唯一的归因对象,文化性、社会性的动因也需要得到关注(黄阳坤,俞雅芸,2023);偏见、刻板印象在生成式智能输出结果中的(不)再现,是数据集与算法、技术人员、平台组织、社会舆论等多种因素共同作用的结果。


从传播效果层面,研究者循SOR的一般观点,定位了生成式智能何以在生、心理层面传递刻板印象的机制。鉴于视觉框架部分的检验显示,亚洲人在三大种族中面临的刻板印象风险更甚,我们选取AI生成的亚洲人像和真实人像在中国人当中展开实验研究。结果首先印证了算法审计部分的发现,表明基于视觉框架的这一审计路线之可行可信——就效果而言,接触AI生成人像的中国被试表现出了更强烈的刻板印象感知,换言之,AI人像在内容框架上较真实人像折射出更突出、夸张的刻板印象,激活了观看人对群体刻板印象的感知。这和现有的面向ChatGPT的研究结果不一致:参与者并不认为ChatGPT传播了有害的刻板印象(Salah et al.,2023),这反过来表明,因模态表达的不同,以文交互的大语言模型和以图交互的文-图模型,对人感知的塑造有很大差异;同样作为刻板印象的可能“容器”,它们对人的影响需分而论之。


数据还表明,对群体的丑化让女性投射至自身、导致个体自尊的受伤。这种微妙的性别差异值得关注:正如早期在黑人被试中发现的那样,肤色对女性自尊有显著的负面影响,对男性则不然(Thompson & Keith,2001)。这背后可能是男女自尊稳定程度差异的反映,过去研究指出女性比男性表现出显著更多的状态变异性,即处在相对不稳定的状态(Wagner et al.,2016),而男性在外貌与自我满意度上自尊感觉往往显著更强韧(Gentile et al.,2009),这种性别差异延展到了个体面对AI丑化对待的情景中。同时,接触AI生成的亚洲人像虽影响了用户对群体与个人的心理感受,但都未直接激化用户对AI的抵制意愿;作为两种可能中介变量,群体刻板印象和个体自尊在男性样本中都未表现出显著的中介效应。但不同的是,女性被试会因自尊受损而提升自身的技术抵制意愿。较低自我效能感本身就会促成对技术变革的较强抵抗(Ellen et al.,1991),如个体感受到AI的偏见与刻板印象后,进一步内化了如“对自己不满意”、“我很糟糕”的感知,AI技术的社会推广将有可能面对更大的阻力和挑战。这从心理、行为意向维度上说明了克服AI偏见、消解AI刻板印象的意义与价值,也再次提醒研究者:如考察生成式智能潜在社会心理影响与伦理伤害,并试图为其制定纾解与干预之策时,要充分考虑性别等一系列条件因素,现有的一些研究就未考虑这些(Salah et al.,2023)。


综合实验结果来看,本研究从新闻与传播学科自有的理论资源出发,为探究文-图模型中的刻板印象和偏见提供了一个类目可辨识、可通约、可扩展的可用审计框架;而效果方面的实验则提醒,随着人类社会迎来更智能、全能的机器,诸如“机器启发式”(machine heuristic)这类秉持“机器比人类更安全、无偏、可信”(Sundar & Kim,2019;Sundar,2008)信念的概念和理论面临挑战;人正从机器处承接更严重的刻板印象和更负面的心理后效,并有可能触发技术抵制的信念,有可能进一步恶化分歧与撕裂的现实,这些都关系到人类社会深度智能化后秩序、格局的稳定性,需研究者投入更多的注意、表达基于自身学科的理论与社会关怀。


本研究有如下局限:第一,研究只检查了当下最流行的模型之一;第二,模型侧重检验了AI生产的亚洲人像对亚洲对象(本文中尤指中国人)的心理、行为影响,没有进行跨种族的多向检验,当前结果对于生成式智能是否在种族间扩散了刻板印象等问题还缺乏解释力,是未来研究可能努力的方向。


(黄阳坤 苏思妮 高远:《作为刻板印象“容器”的生成式智能:从“像化”框架到传播后效——基于文-图生成模型的混合研究》,2024年第6期,微信发布系节选,学术引用请务必参考原文)



在这里,读懂转型中的中国新闻业

在这里,探讨新闻业的未来

在这里,进行深入而严肃的思考

在这里,关心新闻人自己的命运!





订阅《新闻记者》其实很方便——


您可以在邮局订阅,邮发代号:4-371,全年定价216元。


您也可以通过编辑部直接订阅,享受优惠价。订阅办法私信微信、微博小编,或电话021-22897351。

新闻记者
上海《新闻记者》杂志是全国新闻核心期刊、CSSCI来源期刊。创刊于1983年,由上海报业集团主管,上海报业集团、上海社科院新闻所合办。始终秉持敏锐、尖锐、新锐的办刊风格,既重理论深度,又紧密联系实际,为新闻业界与学界架起一座沟通的桥梁。
 最新文章