香港城市大学|TELLER:可信任的虚假新闻检测框架 (ACL 2024)

文摘   2024-11-04 09:01   北京  



方法简介  



在构建可信的人机协作系统中,可解释性、泛化性和可控性是至关重要的三大原则。本文基于双系统理论构建了可解释的虚假信息检测框架,TELLER。该理论模拟了人类的认知过程,将系统分为两个部分:感知系统和决策系统。前者提供类似于深度学习的工具,用于直觉性、模糊和无意识的决策,后者则处理需要逻辑和理性思考的复杂情况,类似于符号学习。TELLER可以将人类专家的先验知识融入隐式的检测过程,同时通过数据挖掘出可解释的检测规则,从而使模型在不同领域的数据上依然具备强大的拟合能力,最终提升了框架在不同新闻领域的泛化性和控制性。

  • 感知系统:社交平台和事实检测平台依赖事先制定的虚假信息检测政策,来实现对虚假内容的有效识别和可信检测。TELLER的感知系统充分利用这些由人类专家提供的知识,生成逻辑谓词,并通过先进的语言模型进行推理。给定一则新闻文本,感知系统会基于文本内容为逻辑谓词赋值,生成可读的逻辑原子。对于每个逻辑原子 p,其真值 μ 由语言模型(如FLAN-T5 或 Llama 2)进行推理判断。我们测试了多种语言模型,包括未经过微调的FLAN-T5(780M、3B、11B版本)和Llama 2(7B、13B版本)。检测结果表明,对于依赖背景信息或者不涉及复杂推理的虚假新闻,当能够获取足够的背景信息时,即使是780M版本的FLAN-T5模型,也能有效驱动感知过程。


  • 决策系统: TELLER的决策系统使用我们改进的可微分的神经符号模型DNF( Disjunctive Normal Form)来处理逻辑原子,通过梯度更新,从数据集学习可解释的逻辑规则,逻辑规则的语义包含了与,或,非三种常见的逻辑操作符和他们的组合。DNF的公式表达如下:



其中N 表示逻辑谓词(predicates)的数量。表示第i 个谓词中的逻辑原子数。  是可学习的权重,当  表示逻辑语义非, 是第 个谓词中,第 个逻辑原子的真值。 是偏置项。b 是一个阈值,通常表示为 ,它是所有逻辑原子贡献的最大值。δ∈[−1,1]是一个可调参数,用于控制之间的逻辑选择。表示逻辑与,δ→1 时,系统趋向于合取逻辑(AND),即所有逻辑原子都必须为真,输出才为真。表示逻辑或,当 δ→−1时,系统趋向于析取逻辑(OR),即只要有一个逻辑原子为真,输出为真。我们改进的DNF模型不仅可以从数据中提取可解释的符号规则,即使感知系统中的某些逻辑原子受限于语言模型能力而出错时,这些规则仍然表现出强大的鲁棒性。通过调整DNF层中的权重,我们可以使规则与先验知识保持一致,从而实现模型控制。

实验评估   


本文在四个公开数据上分别验证了框架的可行性,可解释性,泛化性和可控制性。

可行性方面,与基于思维链和多样本prompt技术的baseline相比,TELLER在四个数据集上实现显著的性能提升,同时普遍来说,TELLER的性能,会随着感知系统中语言模型能力的增强而提升。此外,我们也验证了通过大语言模型为感知系统生成逻辑谓词同样可行。

可解释性方面,TELLER抽取的规则如下表所示:


泛化性方面,如下所示,在没有泛化算法的帮助下,TELLER展示了良好的cross-domain的泛化能力,而微调的BERT等模型的泛化能力很差。TELLER优越的泛化性主要来自于决策模型学习到的逻辑规则在不同的场景下是通用的。


控制性方面,我们通过大语言模型自动化调整感知系统的谓词集和依据人类的先验知识,调整决策系统学习到的逻辑规则(修改模型权重)来验证框架的可控制性。

论文信息  


相关论文发表于会议ACL 2024, 作者为刘汇(香港城市大学,博士生),王文雅(南洋理工大学, 教授),李昊儒(电子科技大学,本科生)和南洋理工大学的王文雅,李皓亮(香港城市大学, 教授)。

Hui Liu, Wenya Wang, Haoru Li, and Haoliang Li. 2024. TELLER: A Trustworthy Framework for Explainable, Generalizable and Controllable Fake News Detection. In Findings of the Association for Computational Linguistics ACL 2024.    



供稿:刘汇


隐者联盟
本公众号主要推介多媒体、人工智能、信息安全等方面的最新研究进展,愿与同行携手,共同推动科学研究向前发展。
 最新文章