我是
小冬瓜AIGC，原创超长文知识分享原创课程已帮助多名同学上岸
LLM赛道
知乎/小红书：小冬瓜AIGC
基于Llama-3-8B预训练模型全参SFT微调
中文问答轻松秒了ruozhiba
经过DPO/PPO强化学习训练
便可胜任代码生成/中英文安全对话
Llama-3-8B-PPO 代码生成:
Llama-3-8B-PPO 中文问答实例:
本效果为课程的实操实际结果可复现，更多课程内容详情如下：
一、课程概况
课程内容：直播 + 往期录播 + 手撕级Notebook + 非调包源码 + 算法图解 + 课程PPT 课程项目：垂域大模型实操 + DeepSpeed多卡SFT、RM、RLHF、DPO训练 进阶专题：手撕LLaMA、手撕RL、手撕RLHF PPO(Notebook)、LLM加速、LLM分布式训练、 入门要求：Pytorch+神经网络或深度学习基础 授课形式：每周2章节直播，5周上完前10章节 价格：私聊单独咨询 实操效果：本课程代码仓库MA-RLHF，实战多卡训练; 已全线支持Llama-3-8B SFT全参微调，LoRA微调DPO、RM、PPO；支持低成本百元 8B DPO训练；支持70B模型SFT/DPO训练 二、课程目录
详细目录：第9/10章节-RL/RLHF
第11章节-LLM加速（以长文档形式授课）
第12章节-LLM分布式训练（以长文档形式授课）
三、课程内容详情
3.1 课程直播+录播
已成功开展 7 期【手撕LLM+RLHF】课程，目前9期可约
在线直播授课、随讲随答，即刻解疑瞬间秒懂, 直播课程会进行录制，便于课后随时学习。
3.2 课件PPT
每章均有完整PPT，图解复杂公式、代码实现细节， 1比1复现原论文
完整构建LLM知识体系， 拒绝知识碎片化
3.3 源码工程+Notebook
pytorch工程，代码精简，全部调试可运行，CPU都能Run的代码
复杂代码Notebook随手debug，不惧手撕代码
非调包级工程、坚持逐行代码剖析算法原理，从代码视角，解密复杂的公式原理。
手撕RLHF PPO代码-Pytorch实现, 不依赖RL库
LLM中的RLHF-PPO算法复杂, 逐行手撕LLM中的PPO算法, 主要通过Pytorch实现。
包含4个模型：Ref/Actor/Critic/Reward、PPO采样及训练流程、Loss计算Actor Loss+Critic Loss+Entropy、reward+KL散度...
3.4 实操项目
实操项目1 ：垂域LLM微调Notebook
1个月从0搭建LLM，覆盖LLaMA-LoRA-Pretrained-sft-RM-RLHF
实操项目2 ：DeepSpeed + RLHF + DPO + PPO 代码仓库
DeepSpeed多卡RLHF-PPO训练实操
Llama-3-8B 全流程实操训练效果
基于Llama-3-8B 预训练模型，混合中英alpaca和ruozhiba数据; 全参微调SFT，轻松回复ruozhiba问题
项目新增70B SFT/DPO 训练方案
LLaMA-2-7B SFT/DPO/PPO 训练效果
本课程提供的代码仓库，DPO 安全对齐效果
4x3090(24GB) DPO训练成本低至百元
PPO训练效果
四、LLM社群 & 教学成果
4.1 内部LLM社群
部分学员就职 Meta、google、微软、亚马逊、高通、阿里、百度等海内外大厂
超50%成员来自海外名校，北美 PhD 居多
部分学员本身从事 LLM 相关岗位，有的本身就在各大厂做 LLM 相关的负责人，手上也有HC，能直接触到一线的机会
4.2 部分教学成果
（注：不提供算力，本课程所提供项目可在多卡环境一键运行，能低成本run出大模型项目）
我是小冬瓜AIGC，原创超长文知识分享
原创课程已帮助多名同学上岸LLM赛道
知乎/小红书 ：小冬瓜AIGC
我是
小冬瓜AIGC，原创超长文知识分享原创课程已帮助多名同学上岸
LLM赛道
知乎/小红书：小冬瓜AIGC
微信咨询xiaodongguaAIGC
