东南大学柯文俊等 | 先检测后增强：利用强化学习和数据配比提升LLMs的事实准确性
文摘
科技
2024-10-09 12:01
北京
![]()
![]()
研究团队
柯文俊，尚子渝，汪鹏，陈雨轩：东南大学
罗志钊：北京理工大学（珠海）
郭艺凯，刘琦：北京计算机技术与应用研究所
文章下载
Wenjun KE, Ziyu SHANG, Zhizhao LUO, Peng WANG, Yikai GUO, Qi LIU & Yuxuan CHEN. Unveiling factuality and injecting knowledge for LLMs via reinforcement learning and data proportion. Sci China Inf Sci, 2024, 67(10): 209101, doi: 10.1007/s11432-024-4158-4
![]()
随着大型语言模型（LLMs）在自然语言处理（NLP）领域的广泛应用，它们的生成能力有了显著提升。然而，这些模型在输出时常出现事实准确性问题，这主要是由于训练数据中缺乏充分的事实性分布。在知识密集型任务和对准确性要求极高的场景中，这一问题尤为明显。因此，针对性提升LLMs的事实准确性对于确保其在实践中的可信度和有效性是至关重要的。为了解决上述问题，本文提出了一个包含两个关键模块的综合框架：OntoFact 和 OntoInjection，旨在提升LLMs的事实准确性。OntoFact模块基于本体驱动的强化学习机制，用于检测LLMs中的事实性错误。该框架能够在大规模知识图谱中动态生成测试案例，预测并识别图谱中的潜在错误三元组，从而有效且精确地识别LLMs在事实准确性上的不足。基于OntoFact，OntoInjection 模块通过注入缺失知识增强LLMs的事实准确性。此模块开发了一种新的同质性评分指标，该指标从知识密度与知识缺失程度两方面筛选出最适合注入的自然语言文本，并利用增量微调机制将这些知识注入LLMs。(1) 提出了一个“先检测后增强”的框架，包括OntoFact和OntoInjection两个模块，用于系统性地改善LLMs的事实准确性。(2) OntoFact利用知识图谱的本体结构来精确映射和强化LLMs的事实基础，结合图强化学习技术提升事实检测的效率。 (3) OntoInjection框架基于数据比例设计，通过一种重视知识密度和非事实比例的同质性度量函数，实现高效且精确的知识注入。![]()
OntoFact对32个LLM进行了事实性评估。评估结果显示，在通用领域中，ChatGPT的事实错误率为50.1%，而在生物医学领域中的错误率为22.7%。此外，与逐条检测相比，使用我们精心设计的图强化学习策略，可以将挖掘事实性错误所需的时间减少35.29%-63.12%。 OntoInjection在5个LLM上的实验结果表明：相较于使用三元组文本，使用自然语言文本进行知识注入能使事实错误率降低3.1%-56.6%。与随机选择自然语言文本的方法相比，选择通过同质性得分筛选的自然语言文本可以提高知识注入的效率21.9%-57.4%。![]()
