沈健, 朱闽峰*, 马昱欣, 程司哲, 陈治彰, 严丹方, 陈为
浙江大学计算机辅助设计与图形系统全国重点实验室
引用本文: 沈健, 朱闽峰, 马昱欣, 程司哲, 陈治彰, 严丹方, 陈为. KLMVis: 基于知识图谱的检索增强语言模型可视分析系统[J/OL]. 计算机辅助设计与图形学学报: 1-12[2024-11-22]. https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024-00393
Citation: Shen Jian, Zhu Minfeng, Ma Yuxin, Cheng Sizhe, Chen Zhizhang, Yan Danfang, Chen Wei. KLMVis: Knowledge Graph-Based Retrieval Augmented Language Model Visual Analysis System[J/OL]. Journal of Computer-Aided Design & Computer Graphics: 1-12[2024-11-22]. https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024-00393
大型语言模型(LLM)在文本生成、问答系统和自然语言理解等关键任务上的表现尤其出色. 但是, LLM仍然存在显著的短板, 如在回答特定领域问询时生成不正确的信息. 检索增强生成(RAG)通过整合外部数据库中的相关知识提升模型回答的精确性和可靠性; 在此框架下, 基于知识图谱(KG)的检索增强LLM技术被视为一种优秀的实践方案. KG是结构化且高质量的信息存储库, 可以显著地提升LLM在需要额外知识的任务上的表现. 该过程通常涉及从KG检索相关数据, 用检索到的信息丰富提示内容, 然后将增强后的提示输入到LLM中. 但是, 现有的方法在实践中面临着一系列挑战: (1) 检索到的信息与用户实际需求存在偏差. (2) 准确地评估外部知识带来的增强效果也是一个挑战. 因此, 当前缺少直观易懂的可视化方法展示知识的整合过程, 并且亟需透明且用户友好的评估机制和可视化方案.
为了有效地应对这些挑战, 本文提出一个KLMVis可视分析系统. 通过引入可视化界面和交互式工具, 对检索流程及增强后的结果呈现进行显著优化, 使得用户能够直接参与到知识的检索与筛选过程之中, 同时辅助用户理解LLM的推理逻辑并评估生成结果. 通过可视化手段, 展示基于问询中的话题实体检索获得的证据及其相关KG子图, 协助用户深入探索并筛选出有价值的证据; 当证据被选定并被提供给LLM后, KLMVis将呈现经过视觉增强处理的可视化文本输出以及包含生成逻辑的推理树, 辅助用户理解外部知识源与生成内容之间的联系, 并对增强后的推理结果进行综合性分析.
研究背景
为了优化检索和生成的流程, 本文确定了一组系统的设计要求:
R1. RAG过程的可视化.
R2. 提升KG探索的灵活性与效率.
R3. 增强模型决策过程的透明度与可解释性.
KLMVis和算法
实验与结果分析
用户评估
结 语
沈 健: 硕士研究生, 主要研究方向为可视分析.
朱闽峰: 博士, 研究员, 硕士生导师, 论文通信作者, 主要研究方向为人工智能、可视分析.
马昱欣: 博士, 副教授, 博士生导师, 主要研究方向为信息可视化、可视分析;
程司哲: 在校学生, 主要研究方向为可视分析;
陈治彰: 硕士研究生, 主要研究方向为可视分析;
严丹方: 博士, 副主任医师, 主要研究方向为肿瘤放射治疗及医学图像分析;
陈 为: 博士, 教授, 博士生导师, CCF会员, 主要研究方向为可视化、可视分析、大数据分析.
— END —
还没关注？点击下方“卡片”关注，获取第一时间资讯
精选报告 | 基于紧凑型线性混合半侧蒙皮权重的神经辐射场人体表示方法
开源代码 | 基于EfficientNetV2的PCB缺陷检测算法
本公众号发布的所有原创文章欢迎转发和转载，但必须注明作者和文章出处为《计算机辅助设计与图形学学报》公众号；任何媒体、网站或个人不得对本公众号原创图文进行内容修改或摘编。除本公众号原创的图文之外，本公众号发布的图文旨在学术交流，版权归原作者所有，本公众号将不承担任何法律责任；非原创内容均已对来源作出标注，如有侵权，请留言与本公众号联系，我们将及时处理。《计算机辅助设计与图形学学报》拥有最终解释权。
