针对自然语言模型的鲁棒性问题, 中科院软件所马菲菲研究员团队、计算所曹娟研究员团队合作撰写了研究论文:基于提示的对抗样本生成和鲁棒性提升方法。
文章信息
标 题:
A prompt-based approach to adversarial example generation and robustness enhancement
引用格式:
Yuting YANG, Pei HUANG, Juan CAO, Jintao LI, Yun LIN, Feifei MA. A prompt-based approach to adversarial example generation and robustness enhancement. Front. Comput. Sci., 2024, 18(4): 184318
阅读原文:
文章概述
文章旨在利用提示探测基于预训练语言模型的自然语言模型的鲁棒性缺陷,并设计高效的鲁棒训练实现鲁棒性增强。
技术步骤
通过提示将对抗样本生成建模为语言建模任务,借助大规模预训练语言模型的生成能力实现更加多样、流畅的对抗样本生成。设计基于提示的鲁棒训练,将对抗样本的生成过程替换为提示文本的构建,节省训练成本。
实验结果
在多个自然语言处理任务上的实验结果表明,本文提出的基于提示的对抗样本生成方法可以生成更加多样、流畅的对抗样本。并且基于提示的鲁棒训练可以提升模型在不同攻击下的鲁棒性。
相关内容推荐:
文章精要 | 南京航空航天大学黄圣君教授团队:基于成对置信度对比信息的鲁棒AUC优化 2024 18(4):184317
文章精要 | 北京航空航天大学王薇教授团队:基于区块链和联邦学习的物联网流量入侵检测算法 2024 18(5):185328
文章精要 | 中国科学技术大学刘淇教授团队:用于问题生成的分层答案感知和上下文感知网络 2024 18(5):185321
文章精要 | 中国地质大学(武汉)蒋良孝教授团队:基于标记分布相似度的众包噪声纠正 2024 18(5):185323
文章精要 | 复旦大学邱锡鹏教授团队:𝒴-Tuning: 面向大规模预训练模型的一种基于标签表示学习的高效微调范式 2024 18(4):184320
文章精要 | 南京大学俞扬教授团队:模型梯度:统一策略和模型学习目标的基于模型的强化学习方法 2024 18(4):184339
文章精要|北京邮电大学傅湘玲教授团队等:用CB-Transformer学习从非对齐多模态序列中学习模态融合表征用于多模态情感识别 2024 18(4):184314
文章精要 | 苏州大学李培峰教授团队:结合上下文证据改进汉语隐式篇章关系识别 2024 18(3):183312
文章精要 | 中山大学刘玉葆教授团队:基于自适应特定映射的无监督社交网络嵌入 2024 18(3):183310
文章精要 | 重庆邮电大学张清华教授团队:一种基于多关系和多路径的不确定性知识图谱嵌入方法 2024 18(3):183311
文章精要 | 哈尔滨工程大学於志文教授团队等:EvolveKG: 一种演化知识图谱通用学习框架 2024 18(3):183309
文章精要 | 北京师范大学段福庆教授团队:基于小波散射变换的混合域人脸属性估计研究 2024 18(3):183313
文章精要 | 国防科技大学侯臣平教授团队:弱标签先验约束聚类 2024 18(3):183338
文章精要 | 广州大学刘文斌教授团队:FedDAA:一种鲁棒联邦学习框架用于保护隐私和防御对抗攻击 2024 18(2):182307
文章精要 | 广东技术师范大学张越副教授团队:基于张量显著共峰搜索的弱监督实例共分割 2024 18(2):182305
文章精要 | 武汉大学肖春霞教授团队:CRD-CGAN: 基于类型一致性和相对性约束的多样性文本生成图象 2024 18(1):181304
文章精要 | 用于常识问答的基于知识图谱的元路径推理 2024 18(1):181303
CCF 推荐B类期刊;
SCI、Ei等收录;
中国科技期刊卓越行动计划梯队类期刊。
IF 3.4
高等教育出版社 北京航空航天大学
共同主办
《前沿》系列英文学术期刊
由教育部主管、高等教育出版社主办的《前沿》(Frontiers)系列英文学术期刊,于2006年正式创刊,以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题,是我国覆盖学科最广泛的英文学术期刊群,其中12种被SCI收录,其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录,具有一定的国际学术影响力。系列期刊采用在线优先出版方式,保证文章以最快速度发表。
《前沿》系列英文学术期刊 中国学术前沿期刊网 http://journal.hep.com.cn/ |