内容来源:文因互联业务分析师&提示工程师分享,内容有删减。
将AIGC真正落地到专业领域,让AI真正成为专家,需融入领域 know-how,围绕大模型构建起一套新的工作流。专业、创新、落地、三者缺一不可。
银行AIGC需求广泛,从智能客服、智能风控、智能投研等场景,到投研报告撰写、营销数字员工、合规风控、员工智能培训。AIGC平台在银行场景的应用,对内可辅助运营办公业务提效、流程简化;对外可辅助展业和营销内容的生成,减少人工投入的同时提高服务质量。
文因互联的提示工程实验室(PEARL)专注于此,基于自研通用撰写平台,实现适配各种细分场景,丰富的落地实践,已验证提示工程能力全面为业务理解、工作流搭建、实际交付等流程提升效率。
接下来,以银行撰写需求为例,与您探讨提示工程可以发挥哪些作用?提示工程师如何用它辅助构建高效的撰写工作流?
来自银行的调研报告,大多都是在同一个大纲上填写出来的,如何基于多份同质化报告以及固定大纲形成一个更全面的报告?这里涉及文档解析、数据整合、自动分析以及报告撰写等一系列问题。
STEP1
文本业务逻辑梳理
这些调研报告大部分是和商品有关的,可能是食品、药品、贵金属、住房。我们的目标是先汇总这些很模板化、格式化的调研报告,拥有全量数据后为进一步的分析提供参考。
#01 目标大致可以分为三类任务:
第一类是信息汇总和分类。比如报告中某商品本月涨价了百分之多少,先汇总所有报告中的这些数据再进行分类。
第二类是因果归因和分类。比如报告显示某商品价格上涨了,是什么原因导致的?
第三类是语气调整。报告的文字需要根据具体需要,进行适当的调整,然后输出成完整的报告内容。
以语气调整为例,明确调整方向的需求例如“从某视角出发”的很好理解,但一些包含中性和非中性的需求就不好理解,例如“理性且乐观”,这种需求交给大模型去做改写会更好,输出水平也会高于预期。
把调研报告粗暴地规划成三部分内容:
第一部分是事实,本月某商品价格是多少,较上月上涨了百分之多少。
第二部分是归因,调研报告中总结的可能因素(比如供应链上/下游、供给/需求侧的某些变化导致了价格的上涨或者下跌)。
第三部分是预期,基于前面的事实和归因,在未来一段时间内,预计某商品的价格是会上涨、下跌还是维稳。
#02 对应需求,来看我们如何处理:
1. 抽取和分类:从调研报告中抽出所有的事实,然后按照我输入的业务知识进行分类(摆摆好)。
2. 归因和分类:先汇总每份调研报告的因果分析,把上一步收集、分类好的事实放进来,让大模型去做交叉连线(比如报告A中的归因,是不是对应了报告B上报的事实)。
3. 语气改写:归结起报告中前面汇总、处理过的信息后,根据需求用大模型进行改写。这就是大模型很擅长,人工不太擅长的工作。
最后,我们就会输出一个完整的调研报告了。
STEP2
提示工程工作流搭建
#01 撰写平台工作流梳理
接入需求后,借助模型管理平台可以进行工作流的梳理和单元测试,来看看怎么处理工作流。
用户端检索到相应的素材后对应到提示词,这个提示词里引用的可能是知识库里的上下文,也可能是最初输入的信息。整个流程相当于五个独立的RAG,先进行检索然后撰写,如此运行,最终按照章节标题和内容的顺序输出结果。
#02 提示工程的应用探索
传统的提示工程应用开发中,需要业务分析师和开发工程师一起完成,现在业务分析师或者提示工程师只需多做一个步骤:通过接口将提示工程“打包”,然后提供给开发团队,这样就完成了。
我们在传统的工作方式上往前走了一步,让提示工程师可以帮开发工程师分担了一个步骤的工作量。基于模型管理平台的便捷,提示工程师可以快速的去调试提示工程,且有两个好处:
1. 不需要改代码。因为每个部分都被包在一个API里,可以单独运行,而这个API本身是不动的。所以调试提示工程的过程中几乎不需要改代码,可以非常直观地边改边看。这一敏捷的建模方式就是我们提出的“Just In Time”范式。
2. 自动化的版本管理。传统的提示工程调试过程中,由于注意力在提示词的修改,容易忽略版本管理,难以找回历史版本,借助模型管理平台,可以随时查看历史版本信息。
STEP3
报告撰写与微调
基于文因的通用撰写平台,我们已经可以实现对具体细分场景的适配应用,通过微调等手段在更多的成功落地越来越多的金融文档撰写场景。配合智能化的工具辅助,结合我们的“Just In Time”范式的敏捷建模,提示工程大大降低了开发成本,以更少的人工投入并获得优质的内容输出结果,持续赋能企业知识管理体系的建设与发展。
在银行撰写场景的日常实践中,我记录了一些零散经验,简单分享两个方面:
#01 完成比完美更重要,用“浆糊”版本先跑通
由于平台整体涉及文档解析、数据整合、自动分析、报告撰写多个流程,如果一开始就埋头进行“精雕细琢”,POC快速验证阶段周期会很长。所以首要任务是把整体流程跑通,它可以是个粘在一起的“浆糊”版本。先假定文档解析和切分都正确,继续往后推流程,把整个流程跑通后再回过头逐一解决遇到的问题。
#02 交付实操的测试与“多想一步”
1、保证整体应用准确率,需要单元测试+整体测试。
想要保证整体应用的准确率,不仅仅需要做好每一个节点的单元测试,同时需要做好整体流程测试。工作流里的节点越多,累沉下来的结果准确率越低。五个节点的90%准确率,沉到一起后,可能最终输出的准确率就只有50%~60%了。
所以,在搭建完整个工作流后,需要对应用进行批量测试,把它看成一个黑盒,输入了多少数据,输出数据有多少是准确的。
2、模型的输入输出,关注用户直观感受+易被忽视因素。
在输入阶段,我们可能会忽略哪些因素呢?我们可能认为,只需简单地将素材投入撰写功能即可。但实际上,我们还需要考虑向量库的检索功能,这意味着向量库的API也是输入的一部分。
在输出阶段,我们可能会遗漏哪些要点呢?完成一篇文档的初稿就结束了吗?实际上,如果用户需要在页面功能上追溯每个部分的来源,我们就需要在输出内容中包含从项目库检索得到的位置信息,以便将这些信息统一提供给下游系统。
今天的分享就到这里,在撰写方面我们有很多实践工作和业务思考,整理了一下之前的一些内容(智能撰写、大模型、提示工程)供大家参考,欢迎一起交流~
智能撰写应用
大模型时代如何赋能工作效率提升,探索证券行业的“新质生产力”发展新思路。
落地银行场景,大模型撰写平台究竟表现如何?会是“人工智障”吗?场景实战中,可以解决哪些问题?可用度有多高?
用智能撰写辅助各类金融文档的自动化生成,基于内部平台化产品实现统一管理、快速建设,甚至部分“0开发”。
大模型&提示工程
赋能银行业务,提升转型效率。现阶段,金融业服务内涵日渐丰富,市场持续增长,数字化带来的市场变局,使得各企业都在探索更专业、更实用的发展方向。银行也在大语言模型的逐渐落地中,寻找应对业务挑战和客户需求变化的更好方法。而大模型在处理、分析大量金融数据中的表现日益成熟,帮助银行在决策和风险控制方面作出更明智的选择。
提示工程是指构建可以被大模型理解和解释的文本结构。这一过程涉及到精确的问题表述、风格指定、相关背景提供以及对AI的角色赋予,如让AI扮演一个银行在线客服,回答业务相关问题。在金融行业,有效的提示工程不仅能提高大模型的准确性和效率,还能帮助模型更好地理解和处理复杂的金融数据和情境。
文因互联提示工程实验室(PEARL),成立于 2023 年 6 月。借助在金融、自然语言处理、知识图谱领域的深厚业务、技术积累,快速搭建提示词库,将提示工程、大模型深度融入现有的产品和服务,为每个应用场景定制提示词库,快速承接垂直领域的个性化大模型需求。