端到端的GPT微调实践: 基于Personas的数据合成

文摘   2024-10-25 17:08   新加坡  

本文涉及到的详细测试代码和测试步骤放置于:

https://github.com/xinyuwei-david/david-share.git下的:DeepLearning/synthetic-data

本文中不再赘述代码实现。欢迎给repo点亮Star,您的点赞是作者持续创作的动力。

argilla/FinePersonas-v0.1是HF上一个高质量的、开放 2100 万个详细人物角色的数据集,用于生成多样化、可控的合成文本。

第一步:通过指定Persona从HF上获取角色描述信息

可以通过指定Persona来获取角色描述信息,然后借助于LLM模型分别生成问题和答案。

下图是是基于Programmer Persona从argilla/FinePersonas-v0.1获取的最初始信息。

这时候数据集里面只是Persona的描述:

第二步:基于4o生成问题:

第三步:基于4o生成答案

第四步:优化后的数据

第五步:生成支持AOAI微调格式的训练数据

接下来进行微调。

将生成的数据训练GPT3.5。

超参训练前的训练效果:

超参训练后的训练效果:

大魏分享
https://github.com/davidsajare/david-share.git
 最新文章