引用格式：王婷, 王娜, 崔运鹏, 刘娟. 基于人工智能大模型技术的果蔬农技知识智能问答系统[J]. 智慧农业(中英文), 2023, 5(4): 105-116.
DOI：10.12133/j.smartag.SA202311005
WANG Ting, WANG Na, CUI Yunpeng, LIU Juan. Agricultural technology knowledge intelligent question-answering system based on large language model[J]. Smart Agriculture, 2023, 5(4): 105-116.
DOI：10.12133/j.smartag.SA202311005
官网全文免费阅读
知网阅读
王婷1，2， 王娜3， 崔运鹏1，2*， 刘娟1，2
（1.中国农业科学院农业信息研究所，北京 100081，中国；2.农业农村部农业大数据重点实验室 ，北京 100081，中国；3.96962部队，北京102206，中国）
摘要：
［目的/意义］乡村振兴战略给农业技术推广提出新的要求，使农业推广知识的供给形式有待进一步创新。以果蔬农技知识服务为需求导向，基于前沿大语言模型技术，面向新型农业知识导读和知识问答等农技推广服务，构建果蔬农技知识智能问答系统。
［方法］基于草莓种植户需求分析，把草莓栽培农技知识划分为不同主题，形成知识对象识别和知识问答两种大模型下游任务，结合机器自动标注和人工标注的方法构建小样本高质量训练语料；通过对比已有的4种大语言模型：Baichuan2-13B-Chat、ChatGLM2-6B、Llama-2-13B-Chat、ChatGPT的性能表现，选择性能最优的模型作为基础模型，按照“优质语料+预训练大模型+微调”的研究思路，训练具有语义分析、上下文关联和生成能力，能够适应多种下游任务的深度神经网络，构建农业知识问答大模型；采用数据优化、检索增强生成技术等多种策略缓解大模型幻觉问题；研发果蔬农技知识智能问答系统，生成高精度、无歧义的农业知识答案，同时支持用户多轮问答。
［结果和讨论］以精准率和召回率为命名实体识别任务的性能表现指标，参与测评的国内主流模型在微调后不同知识主题下的平均精准率均超过85%，平均召回率表现各异，其中知识实体类型的数量、标注语料数量等因素都会影响大模型性能；以幻觉率和语义相似度为知识问答任务的性能表现指标，数据优化、采用检索增强生成技术等策略以10%~40%的幅度有效降低大模型幻觉率，并有效提高大模型的语义相似度。
［结论］在农业领域的命名实体识别和知识问答任务中，预训练大模型ChatGLM的表现性能最优。针对预训练大模型下游任务的微调和基于检索增强生成（Retrieval-Augmented Generation，RAG）技术的模型优化可以缓解大模型幻觉问题，显著提升大模型性能。大模型技术具有创新农技知识服务模式、优化农业知识推广的潜力，能够有效降低种植户获取高质量有效知识的时间成本，引导更多的种植户实现农业技术创新和转型。但是由于性能不稳定等诸多问题，大模型的优化方法和具体场景应用仍需进一步深入研究。
关键词： 大模型；生成式预训练变换器；农技知识；智能问答；命名实体识别
文
章
图
片
图1 果蔬农技知识需求调研种植户的区域分布
Fig. 1 The district distribution of farmers related with the requirement study on agricultural knowledge
图2 果蔬农技知识智能问答系统总体框架图
Fig. 2 The general framework of intelligent question answering system oriented to agricultural technology
图3 不同知识主题下大模型“微调+优化”前后的幻觉率对比分析
Fig. 3 The hallucination rate comparative analysis of LLMs before and after fine-tuning and optimization in different knowledge topics
图4 大模型“微调+优化”前后的语义相似度对比分析
Fig. 4 The semantic similarity comparative analysis of LLMs before and after fine-tuning and optimization
图5 果蔬农技知识智能问答系统问答界面
Fig. 5 The QA interface of agriculture technology question answering system
图6 检索信息源详细内容展示
Fig. 6 The details presentation of indexed information sources
推荐阅读
智慧农业微信交流服务群
发布征集
欢迎在我公众号发布科研团队介绍、创新科研成果及相关活动等信息。
