面向机器智能的情感分析

学术 2024-06-18 18:58 上海

大模型的兴起，尤其是以大模型为基础的人工智能技术的发展与应用引起了全社会对人工智能技术的广泛关注。人工智能技术已经在很多方面达到甚至超越人类，可以替代人工完成一些技艺要求较高的工作。不过，在人工智能迈向人类智慧的道路上，仍然有许多难题亟待克服与解决，其中一个重要的问题就是情感分析与理解问题，如让机器准确理解人类的情感。针对该问题，文章从情感的定义与分类入手，对情感分析研究需要解决的问题，研究方向、研究现状、面临的挑战、应用前景与展望等进行了讨论。

作者｜彭俊杰

上海大学计算机学院

2023年，以ChatGPT为代表的生成式人工智能大模型的横空出世，给近些年来一直持续高度火热的“人工智能浪潮”增添了一把强力助燃剂。一时间，社会各行业领域、各学科方向、各年龄层次、各社会阶层没有不讨论“不可思议”的人工智能技术的。这其中，有为人工智能技术的巨大突破喜出望外、欢欣鼓舞的，也有为人工智能技术可能带来的巨大冲击而忧心忡忡、寝食难安的。虽然这些看法与心态迥异，但确实反映了一个不争的事实，那就是人工智能技术发展已从少数专业研究人员的实验室进入公众视野，成为足以影响到全社会发展的重要社会事件。诚然，以大模型为代表的人工智能技术确实得到了突破性进展，不过，以人工智能的研究目标为参考的话，仍然存在许多技术与方向有待进一步的突破与探索。其中非常重要的一个研究方向就是情感分析，即让机器像人一样能理解人的情感情绪，从而使机器更加聪明智能、善解人意。

本文对情感分析所涉及的研究方向、问题、现状及应用做了简单介绍，为全面了解情感分析提供基础。

情感分析

情感是人类对外界刺激肯定或否定的心理反应，是态度在生理上一种较复杂而又稳定的评价和体验，具体表现为喜欢、愤怒、悲伤、恐惧、爱慕、厌恶等^[1]。对情感的分析与预测，有助于了解人们对外界刺激或特定的人物、事件的态度，从而提升沟通与交流的能力，达到意想不到的效果。

正因为其重要性，研究人员从很早就开始关注情感分析的研究^[2-3]。随着计算机技术，尤其是人工智能技术的发展，情感分析研究已经发展成为融合计算机科学、语言学、心理学、社会学等多学科领域交叉的前沿研究，是自然语言处理研究的一个重要研究方向，已成为人工智能研究领域的一个专门研究分支，被称为情感计算^[2,4]。

人的情感可以通过语言、声音、表情、行为、动作、脑电、步态等多种不同形式进行表达，因此，情感分析研究是复杂的，甚至是极其困难的。有的情感表达，如指桑骂槐、明褒暗贬，即便是人类自己都难以分辨与理解，更何况采用机器进行识别与分析。一般认为，以情感的构成粒度而言，情感分析研究可分为粗粒度情感分析和细粒度情感分析。粗粒度情感又称情绪，通常包含正面情绪、负面情绪和中性情绪三类^[4]。根据实际需要正面情绪和负面情绪又可以继续分成若干个等级。细粒度情感分析则是更加明确具体的情感表现，如愤怒、厌恶、恐惧、快乐、悲伤和惊讶等^[1]。以情感特征构成而言，情感分析大体上可以分为两个大类，即单模态情感分析和多模态情感分析。模态是事物的一种表现形式，单模态指通过单一独立感官输入/输出通道获取的信息形式，而多模态指通过多个感官输入/输出通道获取的信息形式^[4-5]。通常，单模态情感分析包括基于文本的情感分析、基于语音的情感分析和基于表情图像的情感分析；多模态情感分析则指同时应用两种以上的模态数据进行情感分析，这些模态数据包括文本、语音、图像等多种不同形式。

单模态情感分析

2.1 文本情感分析

文本情感分析是指利用自然语言处理和文本挖掘技术等，对带有情感色彩的主观性文本进行分析、处理和抽取的过程^[6]。文本情感一般分为显式情感和隐式情感两类，其中，显式情感文本中含有明显反映情感倾向的词，而隐式情感文本中一般不含明显反映情感倾向的词。不管是显式情感分析，还是隐式情感分析，文本质量是分析的关键。在情感分析之前都需要对文本进行预处理，包括文本拼写检查、纠错等^[7-^9]，以提升文本质量。

2.1.1 显式情感分析

显式情感在文本中一般包含反映情感色彩的词语，比如高兴和忧伤等，可以应用这些情感词汇直接反映文本中所表达的积极、消极或中性的情感与观点。针对文本的显式情感分析，目前的研究主要分为三类：基于情感词典和规则的方法、基于机器学习的方法和基于深度学习的方法。

基于情感词典和规则的方法进行情感分析：首先需要对文本进行规范化处理，包括去除停用词、对文本分词等；其次将预处理后的文本通过依存句法，对分词后的文本单元间的语义关联关系进行分析；接下来结合语义规则分析、语义相似度计算等来预测判断文本的情感倾向，并通过构造情感词典或领域本体知识库等进行匹配加权，得到被分析文本的情感分值；最后根据设定的不同情感阈值，对文本的情感倾向进行决策与分类^[10-15]。该类方法的优点是可以根据句子结构对文本的情感倾向进行直接分类，而无须考虑训练数据量的大小和上下文词汇的影响，比较简单方便。不过这类方法也存在明显的不足，那就是该类方法情感分类的效果与准确性严重依赖于情感词典构建的规模和质量，且对不同的应用领域而言，需要收集和查阅大量的领域资料，从中总结、凝练具有领域知识相关的情感倾向词语与短语，耗时长久，人工标注成本高昂。

基于机器学习的方法进行文本情感分析时，首先需要构建并标注一个带有情感标签的文本语料库，然后设计或选择合适的机器学习模型，以该语料库作为训练数据来训练模型，最后将训练出的模型用于待分析文本的情感预测与分类^[16-18]。与基于词典和规则的文本情感分析方法相比，基于机器学习的文本情感分析方法灵活性更好，不过强烈依赖特征工程和标注数据，即情感语料库的规模、覆盖场景范围及标注的质量，这些对情感分析的效果影响较大。除此之外，分类器的设计、机器学习模型与方法的选择也对情感分析结果的效果与性能影响较大，并且对语料库中未包含词汇、短语与表达方式的情感分析与分类也会有很大影响。

传统情感分析方法需要大量人工参与特征工程，即需要通过人工参与抽取、表征语料的情感特征用于模型的学习与训练，这不仅耗时耗力，而且抽取的特征因人不同而差异很大。为了解决这些特征工程带来的弊端，基于深度学习的情感分析方法受到了学术界的青睐。不同于传统方法，该类方法通过神经网络模型建立底层特征与深层语义特征之间的映射，让网络自主从大量语料中学习各种情感特征，用于情感预测与分析。一般而言这类方法主要利用包括卷积神经网络、循环神经网络及各种形式的变体网络等，结合注意力机制对语料中包含的情感特征进行提取，以提高情感分析预测的准确性^[19-22]。基于深度学习的情感分析方法能够从大规模的文本数据中自动提取情感相关特征，有效挖掘与抽取深层次的语义信息，并且泛化能力强，因此这类研究方法受到了广泛关注。不过，基于深度学习的方法需要大量语料数据支撑，并且算法相对比较复杂，参数量大，对设备和训练时间要求较高，并且容易带来梯度消失与爆炸等问题，模型的可解释性有待进一步探讨。

2.1.2 隐式情感分析

日常生活中的很多场景都带有明显的情感倾向，但反映到文本上，却没有明显表达情感词语或短语，如典型的讽刺、挖苦、嘲笑等这些隐式情感。隐式情感分析文本中一般不含有明显反映情感倾向的词语或短语，因此进行情感分析更加困难，传统针对文本的显式情感分析的方法也不再适用。对隐式情感进行分析有两个主要思路，引入外部信息和建构隐式表达映射关系。引入外部信息，是通过不同的手段尽可能增加和引入与情感信息相关的特征，从而增强情感分类与预测的依据^[23-24]。通常，文本隐式情感信息增强方法有如下两种：①分析上下文语境挖掘关键信息，将上下文信息表示与隐式情感句进行融合，以弥补隐式情感句本身信息不足；②充分利用隐式情感与情感实体和外部知识之间的密切关系，引入外部知识和实体信息，用以辅助隐式情感增强知识，典型的外部知识如社交媒体上常用的符号表情等。建构隐式表达映射关系，一般是通过检测文本表达中的实体在源域与目标域上是否存在认知、常识等方面的冲突映射，或者依据目标词在不同领域所表达含义的差异建立源域到目标域的映射关系，或者通过分析隐式情感句的语法结构，建构和挖掘语言驱动的特征和隐式情感关联关系，并以此对隐式情感进行预测与分析^[25-26]。

2.2 语音情感分析

语音是人类语言的基础，通过语音人类能够将语言转化为声音传递给他人。准确的语音可以传递情感、分享知识、交流信息等。基于语音进行情感分析时，主要采用的语音特征包括语言特征和声学特征两类。语言特征即语音所要表达的言语信息；声学特征则主要包含说话人的语气、语调，蕴含的感情色彩等^[27]。除了语言特征外，语音所包含的独有声学特征对于帮助人类和计算机更好理解情感和意图非常重要。一般而言，声学特征大致可归分三类，分别是韵律特征、基于谱的特征和声音质量特征。韵律特征主要包括基频、音高、能量、语速、语调等；基于谱的特征包含线性预测倒谱系数、梅尔频率倒谱系数、线性预测系数、线谱对参数、感知线性预测倒谱系数；声音质量特征用于描述声音的质量，如是否存在“叹息”“颤抖”等，主要包括共振峰频率、幅度及带宽、谐波噪声比、声门参数、短时抖动等^[28-29]。

应用语音信号进行情感分析时，首先需要对语音信号进行预处理，如去除噪声、重叠帧、消除颤音等；其次对经预处理的语音信号进行情感特征提取，包括连续语音特征、基音特征、共振峰特征、能量变化相关特征、发音特征等，将提取的特征信息进行正规化和降维处理，以消除非关键子特征的影响，找出分类效果最好的子特征；然后以降维后的特征为基础，进行特征建模，进而实现对语音情感的预测与分析^[30-32]。语音情感分析是个广受关注的研究方向，目前仍存在很多挑战，如语音中的噪声会严重改变声学特征的分布规律，不同性别、年龄、种族、文化的人群语音表达方式的差异，造成特征选择与提取困难且数据集规模庞大，方言及语言的差异造成识别与建模困难等。

2.3 表情情感分析

表情情感分析是一种典型的基于图像的情感分析，它主要是通过面部表情图像对人面部关键点进行检测，对面部骨骼移动和纹理变化进行分析等，从而推断其情感特征与情绪状态^[33]。

心理学研究表明，面部表情是人们传达情感状态的重要途径。当人的心理发生变化时，面部会产生不同的表情模式，这些模式的分布和规模也有所不同。基于面部表情的情感分析研究很多，大致可以分为两类，即基于图像特征工程的方法和基于深度学习的方法。基于图像特征工程的方法通常又可分为两个方向：一个是通过几何的方法构建人类面部的几何矢量特征，再通过面部各部位的几何关系提取面部图像特征，基于此对面部表情进行预测与分析；另一个是通过局部编码方案提取面部图像的纹理外观特征等，并根据其变化情况与表情之间的映射关系进行表情分析预测。这类方法的基础是传统的图像处理技术，相对比较成熟，不过特征工程的稳定性不好，因为受到提取的特征影响比较大，尤其是容易受环境如光照、噪声等因素影响^[34-35]。与基于特征工程的视觉浅层模型不同，基于深度学习的方法本质上是应用多层神经网络进行视觉增强与建模，利用注意力机制从面部的特定区域提取更充分、更深层的与训练任务相关的高级特征，可以取得更加稳定且鲁棒性强的表情预测^[36-37]。除此之外，这类研究通常还会考虑年龄、性别、种族等统计特性差异对表情分析预测的影响，从而进一步提升表情情感分析预测的准确性^[35]。不过，这类方法是基于深度神经网络进行特征提取，因此需要标注大量的面部表情图像用于模型训练，并且需要大量的计算资源，尤其是以GPU为主的计算资源支撑。

多模态情感分析

多模态数据涉及来源于文字、音频、图像等不同模态的数据形式，包含的信息远比单模态数据包含的信息丰富^[38-39]，用于情感分析的准确性更高，因为在很多场合，仅通过应用文本、语音或图像很难准确判断并预测被分析对象的真实情感状态，一个典型的例子就是反讽检测。只采用文本或语音进行分析要准确预测被检测对象的真实情况是比较困难的，但如果将文本和语音结合起来，则能够相对准确地分析预测被分析对象的真实情感状态。正是由于多模态数据包含多种不同源头的情感信息，针对多模态情感分析首先需要考虑如何有效地从不同的单模态数据中获得单模态特征表示，然后利用提取的单模态特征进行信息融合，并建构情感分析预测模型进行多模态情感预测(图1)。

图1 多模态情感分析基本过程

不同模态数据所包含的情感特征不同，因此多模态情感分析需要对其中所包含的情感特征进行充分提取与挖掘，既包括相同模态内部特征提取，也包括不同模态间的交互特征提取^[40-43]。模态情感特征提取可以采用传统特征工程的方法，也可以采用基于各种神经网络模型的深度学习方法。

目前，对模态情感特征的信息融合的研究很多，总体来说模态融合方法主要可以分为，早期融合、晚期融合和混合融合^[38]。早期融合方法也称特征级融合(图2)，意味着将提取出的单模态特征直接集成与融合，然后依据融合结果进行预测和分类^[42]，主要适合于模态之间相关性较大的场合。晚期融合方法也称决策级融合(图3)，需要首先分别对每个模态特征建立分类模型，然后根据不同模型输入特征不同的特点分别进行情感预测，得到各自独立的预测结果，最后利用合适的决策融合机制对所有预测结果进行决策与分类。常用的决策机制包括平均、加权、投票、神经网络等^[43]，该模型主要适合于各模态之间相关性不大的情况。混合融合模型(图4)，是将早期融合和晚期融合两种方法结合起来，即决策融合的输入既包含早期融合结果，也包含单模态分析预测结果。它具备了早期融合与晚期融合的优点，但同时也使模型结构变得更加复杂，增加训练难度^[44-45]。

图2 早期融合

图3 晚期融合

图4 混合融合

来自不同模态数据的情感特征有助于提升多模态情感分析的准确性，但并不是仅仅用到多模态数据就可以提升情感分析性能的，其中还有一些具体的挑战与难点，主要包括不同模态数据对齐、不同模态间交互特征的提取与融合等。

情感分析应用与前景

情感分析能够直接反映人们对特定事物的态度、情绪和情感，因此已经在很多领域得到了广泛应用，而且今后扩展与应用的前景更加广泛。对于电商平台，通过收集分析用户网购评价的情感信息，可以精准了解用户对产品价格定位、设计、质量、物流及服务等各方面的满意度情况，从而为改进和提升服务品质提供依据；对于互联网平台，如微博、微信等社交媒体，可以通过分析网民分享的文本、图片、语音、视频等各种媒体中所包含的情感信息，了解并掌握突发事件和重大灾险情的影响与传播，从而为高效的社会治理提供依据；对于智能在线教育，通过学习者的表情、语音等信息分析其情感情绪，掌握其学习状态，实时动态调整和推送个性化的学习内容，从而改善学习效果并提升学习效率；对于医疗诊断、心理健康诊疗与预防，通过对特定群体情绪状态、行为表现的观察与分析，建立起情感情绪状态与心理健康之间的关联关系，从一定程度上预防预警抑郁症和自闭症等心理疾病患者的过激行为，从而尽可能避免一些不可挽回的后果。除此之外，情感分析还可以广泛应用于疲劳驾驶检测、超负荷工作检查、交互式产品设计与应用等诸多领域，具有广阔的应用前景。

结束语

情感分析是人工智能技术助力个性化服务的关键之一，也是人工智能技术帮助机器提供善解人意、贴心暖意服务的必由之路。实现基于场景的自适应情感识别是打通不同层次、不同研究思路的情感分析技术的关键。借鉴目前大模型的发展思路，采用情感大模型帮助解决情感分析问题，或许是一条可行之路。

参考文献

向上滑动阅览

[1] EKMAN P, FRIESEN W V. Constants across cultures in the face and emotion [J]. J Pers Soc Psychol, 1971, 17(2): 124-129.

[2] ESULI A, SEBASTIANI F. Sentiwordnet: A publicly available lexical resource for opinion mining [C]//Proceedings of the Fifth International Conference on Language Resources and Evaluation, LREC 2006, Genoa, Italy, May 22-28, 2006: 417-422.

[3] WILSON T, HOFFMANN P, SOMASUNDARAN S, et al. OpinionFinder: a system for subjectivity analysis [C]. Proceedings of HLT/EMNLP 2005 Demonstration Abstracts, October 2005, Vancouver, Canada, 2005, 34-35.

[4] BIRJALI M, KASRI M, BENI-HSSANE A. A comprehensive survey on sentiment analysis: approaches, challenges and trends [J]. Knowl Based Syst, 2021, 226: 107134.

[5] ZHAO T, PENG J J, WANG L, et al. HEROCA: Multimodal sentiment analysis based on heterogeneous representation optimization and cross-modal attention [C]//2023 IEEE International Conference on Systems, Man, and Cybernetics, October 1-4, 2023, Oahu, Hawaii, USA, 2023: 1-8.

[6] 赵妍妍, 秦兵, 石秋慧, 等. 大规模情感词典的构建及其在情感分类中的应用[J]. 中文信息学报, 2017, 31(2): 187-193.

[7] MA C, HU M, PENG J, et al. Improving Chinese spell checking with bidirectional LSTMs and confusionset-based decision network [J]. Neural Comput Appl, 2023, 35(21): 15679-15692.

[8] HU M, PENG J J, ZHANG W Q, et al. Text representation model for multiple language forms in spoken Chinese expression [J]. Int J Patt Recogn Artif Intell, 2022, 36(8): 2253004.

[9] ZHOU Y, LI J, CHI J, et al. Set-CNN: A text convolutional neural network based on semantic extension for short text classification [J]. Knowl Based Syst, 2022, 257: 109948.

[10] HU J, PENG J, ZHANG W, et al. An intention multiplerepresentation model with expanded information [J]. Comput Speech Lang, 2021, 68: 101196.

[11] HUAN H, GUO Z, CAI T, et al. A text classification method based on a convolutional and bidirectional long short-term memory model [J]. Connect Sci, 2022, 34(1): 2108-2124.

[12] XU Q Q, PENG J J, ZHENG C Z, et al. Short text classification of Chinese with label information assisting [J]. ACM Trans Asian Low-Resour Lang Inf Process, 2023, 22(4): 1-19.

[13] CAI Y, YANG K, HUANG D, et al. A hybrid model for opinion mining based on domain sentiment dictionary [J]. Int J Mach Learn & Cyber, 2019, 10(8): 2131-2142.

[14] HU M, PENG J, ZHANG W, et al. An intent recognition model supporting the spoken expression mixed with Chinese and English [J]. J Intell Fuzzy Syst, 2021, 40(5): 10261-10272.

[15] AHMED M, CHEN Q, LI Z. Constructing domain-dependent sentiment dictionary for sentiment analysis [J]. Neural Comput Appl, 2020, 32(18): 14719-14732.

[16] HUQ M R, ALI A, RAHMAN A. Sentiment analysis on twitter data using KNN and SVM [J]. International Journal of Advanced Computer Science and Applications, 2017, 8(6): 19-25.

[17] WAWRE S V, DESHMUKH S N. Sentiment classification using machine learning techniques [J]. International Journal of Science and Research, 2016, 5(4): 819-821.

[18] 饶元, 吴连伟, 王一鸣, 等. 基于语义分析的情感计算技术研究进展[J]. 软件学报, 2018, 29(8): 2397-2426.

[19] HOCHREITER S, SCHMIDHUBER J. Long short-term memory [J]. Neural Comput, 1997, 9(8): 1735-1780.

[20] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need [C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. December 4-9, 2017, Long Beach, California, USA. New York: ACM, 2017: 6000-6010.

[21] CHEN J, YAN S, WONG K C. Verbal aggression detection on Twitter comments: convolutional neural network for short-text sentiment analysis [J]. Neural Comput & Applic, 2020, 32(15): 10809-10818.

[22] DEVLIN J, CHANG M W, LEE K, et al. BERT: Pre-training of deep bidirectional transformers for language understanding [C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, June 2-7, 2019, Minneapolis, Minnesota, USA, 2019: 4171-4186.

[23] KHATRI A, PRANAV P. Sarcasm detection in tweets with BERT and GloVe embeddings [C]//Proceedings of the Second Workshop on Figurative Language Processing. Online. Stroudsburg, PA, USA: Association for Computational Linguistics, 2020: 56-60.

[24] ZHANG M S, ZHANG Y, FU G H. Tweet sarcasm detection using deep neural network [C]//Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics, December 13-16, Osaka, Japan, 2016: 2449-2460.

[25] WEN Z, GUI L, WANG Q, et al. Sememe knowledge and auxiliary information enhanced approach for sarcasm detection [J]. Inf Process Manag, 2022, 59(3): 102883.

[26] RILOFF E, QADIR A, SURVE P, et al. Sarcasm as contrast between a positive sentiment and negative situation [C]//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, October 18-21, 2013, Seattle, Washington, USA, 2013: 704-714.

[27] BHAVAN A, CHAUHAN P, SHAH R R. Bagged support vector machines for emotion recognition from speech [J]. Knowl Based Syst, 2019, 184: 104886.

[28] NEIBERG D, ELENIUS K, LASKOWSKI K. Emotion recognition in spontaneous speech using GMMs [C]//Proceedings of 9th International Conference on Spoken Language Processing, September 17-21, 2006, Pittsburgh, Pennsylvania, USA, 2006. ICSLP, 2006: 809-812.

[29] KUMAR P, JAIN S, RAMAN B, et al. End-to-end triplet loss based emotion embedding system for speech emotion recognition [C]//2020 25th International Conference on Pattern Recognition (ICPR). January 10-15, 2021, Milan, Italy. IEEE, 2021: 8766-8773.

[30] TZINIS E, POTAMIANOS A. Segment-based speech emotion recognition using recurrent neural networks [C]//2017 Seventh International Conference on Affective Computing and Intelligent Interaction (ACII). October 23-26, 2017, San Antonio, TX, USA. IEEE, 2018: 190-195.

[31] ISSA D, FATIH DEMIRCI M, YAZICI A. Speech emotion recognition with deep convolutional neural networks [J]. Biomed Signal Process Contr, 2020, 59: 101894.

[32] MOCANU B, TAPU R. Speech emotion recognition using GhostVLAD and sentiment metric learning [C]//2021 12th International Symposium on Image and Signal Processing and Analysis (ISPA). September 13-15, 2021, Zagreb, Croatia. IEEE, 2021: 126-130.

[33] CHEN G, PENG J, ZHANG W, et al. A region group adaptive attention model for subtle expression recognition [J]. IEEE Trans Affect Comput, 2023, 14(2): 1613-1626.

[34] FU Y, WU X, LI X, et al. Semantic neighborhood-aware deep facial expression recognition [J]. IEEE Trans Image Process, 2020, 29: 6535-6548.

[35] CHEN G, PENG J, WANG L, et al. Feature constraint reinforcement based age estimation [J]. Multimed Tools Appl, 2023, 82(11): 17033-17054.

[36] YE Y, ZHANG X, LIN Y, et al. Facial expression recognition via region-based convolutional fusion network [J]. J Vis Commun Image Represent, 2019, 62: 1-11.

[37] GUO Y, HUANG J, XIONG M, et al. Facial expressions recognition with multi-region divided attention networks for smart education cloud applications [J]. Neurocomputing, 2022, 493: 119-128.

[38] ABDU S A, YOUSEF A H, SALEM A. Multimodal video sentiment analysis using deep learning approaches, a survey [J]. Inf Fusion, 2021, 76: 204-226.

[39] PENG J, WU T, ZHANG W, et al. A fine-grained modal label-based multi-stage network for multimodal sentiment analysis [J]. Expert Syst Appl, 2023, 221: 119721.

[40] 罗渊贻, 吴锐, 刘家锋, 等. 基于自适应权值融合的多模态情感分析方法[J]. 软件学报, 2023, 34: 1-13.

[41] WU T, PENG J, ZHANG W, et al. Video sentiment analysis with bimodal information-augmented multi-head attention [J]. Knowl Based Syst, 2022, 235: 107676.

[42] WILLIAMS J, KLEINEGESSE S, COMANESCU R, et al. Recognizing emotions in video using multimodal DNN feature fusion [C]//Proceedings of Grand Challenge and Workshop on Human Multimodal Language (Challenge-HML). Melbourne, Australia. Stroudsburg, PA, USA: Association for Computational Linguistics, 2018: 11-19.

[43] PÉREZ-ROSAS V, MIHALCEA R, MORENCY L P. Utterancelevel multimodal sentiment analysis [C]. ACL 2013 51st Annu Meet Assoc Comput Linguist Proc Conf, August 4-9, 2013, Sofia, Bulgaria, 2013, 1: 973-982.

[44] ZHAO T, PENG J, HUANG Y, et al. A graph convolution-based heterogeneous fusion network for multimodal sentiment analysis [J]. Appl Intell, 2023, 53: 30455-30468.

[45] YANG B, SHAO B, WU L, et al. Multimodal sentiment analysis with unidirectional modality translation [J]. Neurocomputing, 2022, 467: 130-137.