Datawhale开源
开源贡献：Datawhale 团队
前 言
深入剖析大模型原理——Qwen Blog 逐步预训练一个手搓大模型——Tiny Llama3 如何评估你的大模型——Tiny Eval 纯手工搭建 RAG 框架——Tiny RAG 手搓一个最小的 Agent 系统——Tiny Agent 深入理解大模型基础——Tiny Transformer
https://github.com/datawhalechina/tiny-universe/tree/main
图1.项目主页
开源初心
大模型（LLM）狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型和科学计算大模型等。
我们希望本项目能为广大学习者提供一个可以看得见、够得着、跟得上的大模型实践机会。让大家在实践中学习，不断提升自己的技术水平。
我们希望为更多学习者打开 LLM 的神奇世界，以“知其然更知其所以然”的心态，搭建属于自己的“Tiny LLM Universe”。
项目受众
掌握了大模型的基本应用，想要学习原理，但不知从何开始；
好奇心旺盛、求知欲强的同学，具备一定的学习热情的同学；
对大模型的RAG、Agent、Eval任务感兴趣，并想要从原理层面了解；
喜欢动手实践写代码，想要从零开始手写大模型的 RAG、Agent、Eval 任务；
想要了解大模型的底层原理，提升自己的大模型技术水平。
本项目旨在全流程 从零手搓；
本项目目前包含 LLM 全流程，从 Model, 到 pretrain，RAG，Agent，Eval，打造 LLM 全栈教程；
区别于大型的算法包，我们的项目代码对初级开发者更 简洁清晰，更“白盒子”；
欢迎大家参与贡献哦，一起打造一个更好的 LLM 生态！
学习指南
本教程目的在于为 LLM 学习者提供一份全链路最简实现框架，帮助大模型学习者更好掌握内部原理。因此，本教程更适合具有一定 NLP, 深度学习经验的学习者食用。如果是初学者小白，建议首先看查下“Qwen-blog”章节的直播内容是否能理解，如果首节课程理解有困难，建议先移步本课程的姊妹项目“self-llm”进行探索。
本教程摒弃使用高度封装的 API, 旨在进行全流程手搓，解析大模型的细节。基本没有显存与硬件等设备的需求, 拥有一张大于 2G 显存的显卡，即可玩遍本项目~~
文章最后
为什么要做这样一个项目？作为一名学习者，我在初尝深度学习的时候，就喜欢 line-by-line 研读代码。从踏上研究这条道路时，深感能得到一份优质的开源代码有多么的不容易，基本每一行都不舍得掠过，研读完每一处细节才肯放下...这种对于优质材料打破沙锅问到底的方式是我的学习习惯，我和项目的伙伴们也一直受益于此学习方式。基于此，伙伴们和我决心为 LLM 系列开创一个从零手搓的教程，帮助更多学习这门深入了解 LLM 的每一处细节，让“黑箱”从此消失！！
最后，由于贡献者团队时间仓促、精力有限，教程难免有些疏漏甚至错误，我们期望学习者在学习的同时，也能积极给我们建议，或者直接对项目进行贡献，让我们共同打磨教程，为后面的学习者提供更好的内容。
补充
为什么要叫“tiny-universe”?
虽然本项目聚焦于 LLM，但绝不仅志只在 LLM。
Datawhale 有求必应
评论区留下你想要的开源教程
