今天是2024年12月04日，星期三，北京，天气晴。
今天，我们来回顾ChatGPT两周年历程，并于基于大模型来完成Text2SQL的方案索引。
供各位参考，多思考，多总结，多实践；
一、ChatGPT两周年历程回顾
Chatgpt两周年历程回顾。我们回顾下这段历史，可参考https://baike.baidu.com/item/ChatGPT/62446358：
2018年，OpenAI发布了最早的一代大型模型GPT-1；
2019年，GPT-2发布，模型参数量提高到15亿个；
2020年，GPT-3诞生，参数量达到了1750亿个，其训练参数是GPT-2的10倍以上；
2022年1月，OpenAI对GPT-3用监督式训练进行了微调，并且进行迭代，最终发布了InstructGPT；
2022年11月30日，OpenAI正式发布了ChatGPT，与InstructGPT是姐妹模型，能够对话的GPT版本，是在GPT-3基础上的3.5版本，所以，大家开始用ChatGPT进行对话、写代码等等。
2023年，3月15日，OpenAI正式推出GPT-4，支持多模态；
2024年5月14日，OpenAI推出新旗舰模型GPT-4o；
2024年9月13日，OpenAI发布o1模型，并在ChatGPT和API接口渠道上推出该系列的预览版本OpenAI o1-preview，OpenAI o1包括三个型号，除o1-preview之外还将有o1和o1-mini。
两年后的今天，我们已经已经不习惯没有AI，以AIGC驱动的各种工具越来越多。
二、大模型Text2SQL方案索引
作为第二个问题，我们来看看一个基于大模型方案，一般的流程如下图所示：
从Spider中选取的一个基于大型语言模型（LLM）的文本到SQL的示例。用户提出了一个问题：“哪些卡通片是Joseph Kuhr编写的？”LLM将这个问题及其对应数据库的schema作为输入，然后生成一个SQL查询作为输出。这个SQL查询可以在数据库中执行，并检索到内容“蝙蝠侠系列”，以回答用户的问题。
最近的工作 《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》(https://arxiv.org/pdf/2406.08426) 介绍了文本到SQL任务的背景和挑战，然后概述了从传统方法到深度学习方法再到预训练语言模型（PLM）和大型语言模型（LLM）的演进过程。接着，文章详细地介绍了用于评估文本到SQL系统的数据集和指标，并对近期LLM在文本到SQL领域的进展进行了系统性分析。
看几个图：
一个是Text2SQL的整体技术演变进展：
一个是LLM-based text-to-SQL的技术方案层级分类树：
一个是text-to-SQL的流行数据集：
一个是基于ICL示例学习的text-to-SQL方案代表工作
一个是基于SFT微调的text-to-SQL方案代表工作
关于技术路线的选择，都可以基于这些来作为索引查找。
参考文献
1、https://data.eastmoney.com/report/zw_industry.jshtml?infocode=AP202404171630397168
关于我们
老刘，NLP开源爱好者与践行者，主页：https://liuhuanyong.github.io。
对大模型&知识图谱&RAG&文档理解感兴趣，并对每日早报、老刘说NLP历史线上分享、心得交流等感兴趣的，欢迎加入社区，社区持续纳新。
加入会员方式：关注公众号，在后台菜单栏中点击会员社区->会员入群加入
