论文标题：Stance Detection with Collaborative Role-Infused LLM-Based Agents
作者：Xiaochong Lan, Chen Gao, Depeng Jin, Yong Li
发表：The 18th International AAAI Conference on Web and Social Media（ICWSM 2024）
论文链接：
https://ojs.aaai.org/index.php/ICWSM/article/view/31360
代码链接：https://github.com/tsinghua-fib-lab/COLA
导读
背景介绍
近期，大语言模型在各类任务中展现出的优秀性能为立场检测带来了新的研究思路。大模型天然具备的语义理解能力，加之可通过零样本提示方式进行交互的特点，使其有潜力支持准确、易用的立场识别。因此，如何充分利用大语言模型来提升立场检测效果成为了一个重要的研究课题。
已有研究者尝试将大语言模型应用于立场检测任务，但这些方法没有解决立场检测的两大技术难点：
其一，立场检测需要理解分析多方面信息。如图1所示，文本中往往包含专业术语、文化典故、社交媒体特有表达等多层次内容，需要专门解析才能使大模型准确理解这些文本元素。
其二，立场检测依赖较强的推理能力。在实际场景中，作者经常不会直接表明立场，而是通过对相关话题或事件的态度等方式含蓄表达。这要求模型能够基于各类文本特征进行深入推理，才能准确判断作者立场。
图1：立场检测的两方面挑战
模型方法
图2：多大模型智能体协作立场识别框架COLA
多维度文本分析模块
对文本包含的信息的全面理解是准确识别立场的基础。研究表明，文本中的立场往往通过语言特征、领域知识和平台表达等多个维度共同体现。鉴于不同维度的分析重点存在差异，我们构建了三个具有不同分工的智能体：语言学专家、领域专家、社交媒体专家，来从不同维度分析文本。
具体而言，语言学专家负责从语言学视角解析文本特征，包括语法结构、时态语气、修辞手法和词汇选择等。领域专家聚焦于解释文本中的领域知识要素，例如人物、事件、组织机构、政党和宗教信仰等。社交媒体专家主要分析平台特有表达方式，重点关注hashtag网络用语和情感基调等要素。综上，通过专家智能体分工的方式，确保了对文本信息的全面理解。
推理增强辩论模块
立场总结模块
实验结果
我们设计了一系列实验，从立场判断准确性、模块设计有效性、立场判断可解释性、方法泛用性四个维度对COLA框架进行评估。我们采用GPT-3.5-turbo作为实现方法框架的基础模型，采用学界最广泛使用的数据集和指标对我们的方法进行评测。
立场判断准确性
表1：COLA和零样本立场检测基线模型的性能对比
表2：无需标注数据的COLA和依赖标注数据的目标内立场检测方法基线模型的性能对比
模块设计有效性
表3：消融实验结果
立场判断可解释性
图3：可解释性案例分析
表4：可解释性定量实验结果
方法泛用性
为验证COLA框架的泛用性，除立场检测之外，我们还将其应用于情感分析和说服力预测两个社交媒体上的文本分类任务，结果如表5所示。在情感分析任务中，我们的零样本方法与依赖标注数据进行训练的最优基线性能相当，在Restaurant15数据集上的准确率甚至超越了现有最佳方法。在说服力预测任务中，相比Hybrid RCNN和GPT-3.5基线，我们的方法在准确率和F1分数上都取得了显著提升。这些结果充分证明了COLA框架在广泛文本分析任务中的适用性。
表5：方法泛用性实验结果
参考文献
[2] Li, Ang, Jingqian Zhao, Bin Liang, Lin Gui, Hui Wang, Xi Zeng, Kam-Fai Wong, and Ruifeng Xu. "Mitigating Biases of Large Language Models in Stance Detection with Calibration." arXiv preprint arXiv:2402.14296 (2024).
[3] Liang, Bin, Zixiao Chen, Lin Gui, Yulan He, Min Yang, and Ruifeng Xu. "Zero-shot stance detection via contrastive learning." In Proceedings of the ACM Web Conference 2022, pp. 2738-2747. 2022.
