大语言模型与知识冲突：知识冲突；对比专家、众包和基于LLM的数据标注优缺点；prompt与内在知识冲突，知识选择，标注错误检测
Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance
2024-10-24｜Technion, Google Research|🔺11
http://arxiv.org/abs/2410.18889v1
https://huggingface.co/papers/2410.18889
研究背景与意义
在自然语言处理（NLP）领域，基准测试依赖于标准化的数据集来训练和评估模型，这些数据集对于推动该领域的发展至关重要。传统上，专家注释确保了高质量的标签，但随着现代模型对更大数据集的需求增长，专家注释的成本并不具备可扩展性。尽管众包提供了一种更具可扩展性的解决方案，但往往以牺牲注释的精确性和一致性为代价。
近年来，大型语言模型（LLMs）的进展为改善注释过程提供了新的机会，尤其是在检测现有数据集中的标签错误方面。本文探讨了利用LLM作为评判者的最新方法，通过一个案例研究，分析了来自TRUE基准的四个数据集的标签质量，并比较了专家、众包和基于LLM的注释在一致性、标签质量和效率方面的表现，揭示了每种注释方法的优缺点。
研究方法与创新
本研究提出了一种简单而有效的方法，通过构建一个使用多种提示的LLM集成模型，标记出一组可能被错误标记的示例。具体而言，我们利用多个LLM的预测标签和相应的置信度分数，比较其与原始标签的差异，并将强烈不一致的实例标记为潜在的错误标记案例。
我们不仅探讨了LLMs在检测错误中的作用，还评估了它们作为注释者的表现，比较了它们与专家和众包注释的质量和效率，强调了它们的优缺点。
实验设计与结果分析
在实验中，我们选择了TRUE基准作为案例研究，分析了四个不同任务的数据集。我们随机抽取了每个数据集中的1000个示例，并通过LLMs进行注释。在评估过程中，我们发现LLMs能够检测出6%至21%的标签错误，并且当LLMs对不一致标签的置信度超过95%时，超过三分之二的标签实际上是错误的。我们的实验结果表明，LLM基于的注释不仅在错误检测方面表现优异，而且在质量、规模和效率之间提供了更好的权衡。此外，我们还展示了标签错误对模型训练和评估的负面影响，并提出了处理这些错误的方法，以改善模型性能。
结论与展望
本文的研究表明，标签错误是NLP数据集中普遍存在的问题，严重影响模型的微调和评估。我们的发现显示，LLMs，特别是在高置信度情况下，能够有效地检测这些错误，超越众包工人的准确性、一致性和成本效率。
随着LLM能力的提升，它们在提高数据质量方面的作用将成为改善NLP基准的核心。未来的工作可以探索将基于LLM的错误检测应用于更广泛的数据集和任务，并优化标签修正策略。我们鼓励研究人员采用我们的研究方法，批判性地评估现有数据集，以推动该领域更可靠的结果。
Analysing the Residual Stream of Language Models Under Knowledge Conflicts
2024-10-21｜U Edinburgh, CUHK, Sapienza Uni. Rome, UCL, Miniml｜NeurIPS 2024|🔺5
http://arxiv.org/abs/2410.16090v1
https://huggingface.co/papers/2410.16090
研究背景与意义
在现代自然语言处理（NLP）领域，大型语言模型（LLMs）展示了其在知识存储和处理方面的显著能力。然而，随着对这些模型应用的深入，研究者们发现它们在处理知识冲突时可能会表现出不理想的行为。例如，当模型的参数知识（parametric knowledge）与上下文提供的信息（contextual knowledge）发生冲突时，模型可能会依赖于过时或不准确的信息。这种现象不仅影响模型的生成质量，也可能导致错误的决策。因此，理解LLMs如何识别和管理知识冲突，进而改善其知识选择过程，成为当前研究的一个重要方向。
本研究的目标是探讨LLMs在面对知识冲突时的内部机制，通过分析模型的残差流（residual stream），揭示其在处理知识冲突时的行为特征。这项研究不仅为理解LLMs在知识冲突中的表现提供了新的视角，也为未来开发更高效的知识选择控制方法奠定了基础。
研究方法与创新
本研究提出了一种新的方法，通过对LLMs残差流的探测，分析模型在知识冲突情况下的行为。具体而言，研究者们采用线性探测（linear probing）技术，利用中间层的激活信号来识别知识冲突的存在。通过实验证明，LLMs能够在其残差流中内部注册知识冲突的信号，并通过探测这些信号，准确地判断模型在生成答案时依赖于哪种知识来源（上下文知识或参数知识）。
与现有方法相比，本研究的创新点在于无需对输入或模型参数进行修改，就能实现知识冲突的检测。这一方法的优势在于其高效性和实用性，能够在不增加显著计算开销的情况下，实时识别和管理知识冲突，从而提升模型的生成质量和可靠性。
实验设计与结果分析
本研究的实验设计围绕开放域问答（ODQA）任务展开，具体通过构建包含知识冲突的实例集，分析模型在处理这些实例时的表现。通过对不同层次的激活信号进行探测，研究者们发现，残差流在模型的中间层（如第13层和第14层）表现出显著的知识冲突信号。这一发现表明，模型在处理知识冲突时，能够在其内部机制中有效地识别和区分不同来源的知识。
此外，实验结果显示，模型在使用上下文知识时，残差流的分布模式呈现出明显的偏斜性，而在使用参数知识时则表现出不同的模式。这一现象为预测模型在知识冲突情况下的行为提供了依据，有助于在生成答案之前，提前识别并减轻潜在的错误响应。
结论与展望
本研究深入分析了LLMs在知识冲突情况下的行为机制，揭示了模型如何通过残差流识别和管理知识冲突的内部机制。研究结果表明，LLMs不仅能够检测知识冲突，还能通过不同的激活模式反映出其对知识来源的依赖。这一发现为未来的研究提供了新的思路，尤其是在如何进一步优化模型的知识选择过程和提升其生成质量方面。
未来的工作可以集中在如何将这些发现应用于实际的NLP任务中，尤其是在知识密集型应用场景中，进一步提高模型的可靠性和准确性。同时，探索其他潜在的内部机制，可能为理解和控制LLMs的行为提供更深入的见解。
