ChatGLM4开源大模型基座的微调

教育   2024-11-15 12:05   四川  

【大模型】

北京时间2024年1月16日,智谱AI正式推出GLM-4新一代基座大模型,整体性能相比GLM3全面提升60%,根据实际测试,GLM-4在以中文为主的应用场景中实际性能逼近GPT-4的95%,在一些中文对齐的测试中,甚至超过GPT-4表现,逼近GPT-4-turbo模型。 

此外,GLM-4支持128K对话上下文,并且支持更强的多模态功能、支持更快推理速度,更多并发,大大降低推理成本;同时GLM-4增强了智能体(Agent)和Retrieval(检索)功能。并且,经过一段时间的实际使用发现,GLM-4相比ChatGLM3有明显进步,这也进一步增加了我们对国产大模型未来发展的期待。


【免费GPU服务器】

1️⃣ 谷歌Colab 🌐
- 显卡T4,显存16GB,支持所有深度学习框架
- 每次使用12小时,完全免费!但需要科学上网哦~

2️⃣ Kaggle 🎯
- 提供显卡T4或P100,显存16GB,支持所有深度学习框架
- 每周可享受30小时的计算时间,也是完全免费!但同样需要科学上网。

3️⃣ 百度Aistudio 🐧
- 显卡v100,显存从16到32GB不等,仅支持paddlepaddle框架
- 每天赠送8小时计算时间,完全免费!还有会员升级服务哦,而且无需科学上网。

4️⃣ 阿里天池 🌊
- 显卡T4,显存16GB,支持所有深度学习框架
- 单次提供8小时计算时间,完全免费!无需科学上网,使用起来超方便!

【文生图】

人提供一张图片,并告诉AI这正图片里面是什么东西,提供海量这样的图片,最后AI通过泛化学习,就可以识别不同图片了,就像告诉小孩子几个狗的照片,他学习以后,各种狗的姿势和品种,他都知道是狗。

【文生文】

instruction 是用户指令,告知模型其需要完成的任务;

input 是用户输入,是完成用户指令所必须的输入内容;

output 是模型应该给出的输出。

{  "instruction": "回答以下用户问题,仅输出答案。",  "input": "1+1等于几?",  "output": "2"}

【微调训练】

使用LLaMA-Factory微调大模型




数据产品之美
基金分析,LOF基金套利,基金实时估值
 最新文章