2024 闻歌论文亮点解析
01. 3D-RPE：通过三维旋转位置编码增强长文本建模（AAAI '24）
Xindian Ma, Wenyuan Liu, Peng Zhang, Nan Xu. 3D-RPE: Enhancing Long-Context Modeling Through 3D Rotary Position Encoding. In Proceedings of the AAAI 2024.
图 1：2D旋转位置编码(RoPE)与3D旋转位置编码(3D-RPE)的对比
表 1：在长文本自然语言理解任务上对开源模型的比较。我们的模型3D-RPE-LlaMA2-7B-Chat是基于LLaMA-2-7b-chat微调得到的，将其上下文长度从4k扩展到了16k
02. 对偶复数知识图谱嵌入（COLING '24）
Yao Dong, Qingchao Kong, Lei Wang, Yin Luo. Dual Complex Number Knowledge Graph Embeddings. In Proceedings of the COLING 2024.
知识图谱嵌入是学习实体和关系表示的关键技术。现有方法在建模复杂关系模式（如非交换组合）时存在局限。本文提出了一种新型知识图谱嵌入方法——对偶复数知识图谱嵌入（DCNE），通过将实体映射到对偶复数空间，利用对偶复数乘法在二维空间中将关系表示为旋转，从而有效建模非交换组合模式。
图 1：以人物 Jack 为例， "Father-in-law"和"spouse"构成了一个非交换组合模式
图 2：RotatE (a) 和 DCNE (b) 的示意图。RotatE将关系r建模为复平面中绕原点的旋转。DCNE将关系r建模为欧几里得平面中绕任意点的旋转
表 1：在 WN18 和 FB15 上的链路预测结果
03. PromISe：基于提示内省搜索释放LLMs潜力（COLING '24）
Minzheng Wang, Nan Xu, Jiahao Zhao, Yin Luo, Wenji Mao. PromISe: Releasing the Capabilities of LLMs with Prompt Introspective Search. In Proceedings of the COLING 2024.
图 1：PromISe 框架从通过广泛搜索发现多样化Prompt开始，通过基于LLM的选择和自省优化迭代式地找到最佳Prompt
图 2：经过PromISe优化后的Prompt显著提升主流的LLMs在MMLU 57个子任务上的性能
04. 利用分析层次过程 (AHP) 增强大型语言模型的对抗鲁棒性（COLM '24）
Jiahao Zhao, Minzheng Wang, Nan Xu, Yin Luo, Wenji Mao. Enhancing Adversarial Robustness of LLMs with Analytic Hierarchy Process. In Proceedings of the COLM 2024.
图 1：分析层次过程（AHP）框架将复杂任务分解为可管理的子任务，对其进行优先级排序，并系统化地逐步解决每个步骤，同时进行反思性调整。其中，AHP 的安全性和有效性评估步骤是一个强化学习过程；安全响应生成步骤则对输出内容进行推理和修正
表 1：AdvGLUE 基准上的对抗性鲁棒性结果。在对抗性示例下的准确率，鲁棒性越强
05. MMA-Diffusion：扩散模型的多模态攻击框架（CVPR '24）
Yijun Yang, Ruiyuan Gao, Xiaosen Wang, Tsung-Yi Ho, Nan Xu, Qiang Xu. MMA-Diffusion: MultiModal Attack on Diffusion Models. In Proceedings of the CVPR 2024.
图 1：主流T2I模型采用的安全机制，包括：(a) 提示过滤器，用于禁止不安全的提示/词语，例如“裸露”；(b) 后安全检查器，用于防止生成显式内容。(c) 我们的MMA-Diffusion攻击框架通过针对文本和图像模态的攻击来测试这些安全机制的鲁棒性，揭示了 T2I 模型在涉及未经授权编辑真实个人影像并生成不适宜内容（NSFW）时的脆弱性
图 2：MMA-Diffusion 成功攻破 Midjourney 和 Leonardo.Ai 的安全策略诱导生成NSFW内容（红色标记单词是online平台使用敏感单词）
06. 基于可解释领域挖掘的词对与词元级隐喻检测融合方法（ACL '24）
Tian Yuan, Ruike Zhang, Nan Xu, Wenji Mao. Bridging Word-Pair and Token-Level Metaphor Detection with Explainable Domain Mining. In Proceedings of ACL. 2024.
隐喻检测旨在识别文本中的隐喻与字面意义，现有研究大多将词对和词级隐喻检测视为不同任务，虽然词对方法提供了可解释的中间线索，但词级隐喻检测仍面临挑战。
图 1：用于词级隐喻检测方法的总体结构图
表 1：我们的方法与对比方法在隐喻数据任务上的实验结果
07. 基于隐喻理论指导的大模型隐喻推理框架 （NAACL '24）
Tian Yuan, Nan Xu, Wenji Mao. A Theory Guided Scaffolding Instruction Framework for LLM-Enabled Metaphor Reasoning. In Proceedings of NAACL. 2024.
图 1：TSI的整体架构，该框架在概念隐喻理论的指导下实现基于LLM的隐喻推理
表 1：我们的方法与对比方法在隐喻数据任务上的实验结果
论文列表
1.《3D-RPE: Enhancing Long-Context Modeling Through 3D Rotary Position Encoding》
论文地址：https://arxiv.org/abs/2406.09897
2.《Dual Complex Number Knowledge Graph Embeddings》
论文地址：https://aclanthology.org/2024.lrec-main.479/
3.《PromISe: Releasing the Capabilities of LLMs with Prompt Introspective Search》
论文地址：https://aclanthology.org/2024.lrec-main.1149/
4.《Enhancing Adversarial Robustness of LLMs with Analytic Hierarchy Process》
论文地址：https://openreview.net/forum?id=DMUGTMWrKZ#discussion
5.《MMA-Diffusion: MultiModal Attack on Diffusion Models》
论文地址：https://arxiv.org/abs/2311.17516
6.《Bridging Word-Pair and Token-Level Metaphor Detection with Explainable Domain Mining》
论文地址：https://aclanthology.org/2024.acl-long.719/
7.《A Theory Guided Scaffolding Instruction Framework for LLM-Enabled Metaphor Reasoning》
论文地址：https://aclanthology.org/2024.naacl-long.428/
中科闻歌基于雅意大模型推出的YaYi-File知识库，专门针对论文研读场景，定制了深度文件解读策略，支持智能总结论文内容主题、关键词、研究目的、核心观点、相关论据、合理性、结论、应用前景以及影响，并可以智能生成论文脑图，辅助用户快速掌握核心知识要点。
YaYi-File学术论文阅读
不仅是学术论文研读，YaYi-File知识库全面增强领域专业知识速读与多轮对话能力，还支持法律文书、专利文献、研究报告、招投标等各类专业场景的文档解读，快速完成单篇或多篇文档的专业解析、内容检索及智能问答，有效提升场景阅读效率。
