2024最新版，人大赵鑫老师《大语言模型》新书pdf分享

科技 2024-09-15 00:01 北京

本书主要面向希望系统学习大语言模型技术的读者，将重点突出核心概念与

算法，并且配以示例与代码（伪代码）帮助读者理解特定算法的实现逻辑。由于大

语言模型技术的快速更迭，本书无法覆盖所有相关内容，旨在梳理最具代表性的

基础知识内容，帮助读者更好地了解大语言模型技术的核心知识点，能够快速上

手相关的科研与工程项目。为了配合本书的阅读与使用，我们创建了一个 GitHub

项目网站，该网站收集了关于大语言模型的相关资源，链接为 https://github.

com/RUCAIBox/LLMSurvey。

关注下方微信公众号“AII大模型”回复关键字“dmx24”获取下载地址。

本书共设置了五个主要部分，分别是背景与基础知识部分、预训练部分、微

调与对齐部分、大模型使用部分以及评测与应用部分，按照如下的内容组织进行

设置：

• 背景与基础知识部分. 第 2 章将首先介绍大语言模型的构建过程，随后介绍

大语言模型相关的背景知识以及重要概念，包括涌现能力、扩展定律以及二者之

间的联系与区别；进一步介绍 GPT 系列模型的发展历程以及各个阶段的重要技术

创新，从而能够更好地了解大语言模型的技术升级历史。第 3 章将介绍目前大语

言模型相关的资源信息，包括公开可用的模型检查点与 API 、数据集合以及代码

工具库，为读者梳理与汇总相关资源。

131.5 本书的内容组织

• 预训练部分. 第 4 章将主要介绍预训练数据的准备工作，主要包括数据的收

集、清洗以及词元化方法，随后将介绍数据课程的设计方法。第 5 章将主要介绍

大语言模型的架构，主要包括 Transformer 模型、各种组件的详细配置、长文本建

模以及一些新型的模型架构。第 6 章将主要介绍预训练过程所涉及到的预训练任

务、优化参数设置、可扩展的训练技术以及参数量计算与效率分析方法，并通过

相关实战代码进行讲解。

• 微调与对齐部分. 第 7 章将主要介绍指令微调所涉及的数据构建、优化策

略；进一步将介绍典型的轻量化微调技术，减少模型训练的开销；并且通过实践

示例介绍指令微调的具体流程。第 8 章将主要介绍大模型的人类对齐技术，将以

RLHF 为主要方法进行详细介绍，并且进一步介绍非强化学习的对齐方法，最后

探讨 SFT 与 RLHF 之间的关系。

• 大模型使用部分. 第 9 章将主要介绍大模型的解码与部署方法，包括解码策

略、解码加速算法、低资源部署策略以及其他模型压缩方法。第 10 章将主要介绍

面向大语言模型的提示学习技术，包括基础的提示学习设计方法、上下文学习方

法以及思维链方法等。第 11 章将主要介绍面向复杂任务的规划技术，探索如何将

复杂任务进行有效分解，并通过回溯、反思等关键技术形成有效的解决方案；进

一步，将介绍如何构建基于大语言模型的智能体以及多智能体系统。

• 评测与应用部分. 第 12 章将主要介绍面向大语言模型性能的评测方法，针

对不同的能力维度介绍相关的评测集合、评测指标以及评测方法，并且指出大语

言模型目前存在的问题。第 13 章将主要介绍大语言模型的应用情况，具体将分别

从代表性的研究领域以及应用领域两个维度展开讨论，我们将以代表性工作为驱

动，使得读者能够了解如何将大语言模型进行领域特化以及任务特化。

最后，第 14 章将对于全文的内容进行总结，进一步梳理目前每个部分存在的

技术挑战以及研究趋势。

本书内容截图

本书pdf免费下载地址

关注下方微信公众号“AII大模型”回复关键字“dmx24”获取下载地址。

往期精品内容推荐

深度数学简书-《深度学习论文写作之数学符号规范表示合集》免费pdf分享

神经网络经典书籍-《神经网络简要介绍》免费pdf分享

双语斯坦福CS224W《图机器学习》课程(2021) 视频及ppt分享

麻省理工新课-《机器学习导论》课程视频及ppt分享

【双语字幕】CMU《多模态机器学习》课程视频及ppt分享

李宏毅最新-《深度学习/机器学习课程》课程视频及ppt免费分享

经典必学-台大林智仁中文版-《深度学习优化方法》课程视频及ppt分享

国语-台大陈蕴侬-《应用深度学习》课程最新视频及ppt分享

Ml新课-《机器学习核方法》课程(2021) 视频及ppt分享

【中文字幕】加州理工《数据学习：机器学习课程》视频及ppt分享

免费ML课程-《深入浅出机器学习》视频及ppt分享

最新《动手学习深度学习》配套课程视频、笔记、ppt等资源整理分享

NLP必读经典书籍 -《语料语言学-NLP方法学入门》最新免费pdf分享

强化学习/机器人学经典教材-《策略规划算法原理》免费pdf分享

中文版-《可解释的机器学习-黑盒模型可解释性理解指南》pdf免费分享

2023 dl实战精选书籍-《基于Keras的深度神经网络应用实战》免费pdf分享

2024最新机器学习新书-《解决几乎任何机器学习问题路径》免费pdf分享

ChatGPT背后原理综述-《预压模型基础综述:从BERT到ChatGPT的历史》pdf免费分享

chatgpt 7月最新-复旦大学张奇老师《自然语言处理导论》初版pdf分享

LeetCode精选101刷题必备（C++）-附详细分类及解体说明-免费pdf分享

新书-《图神经网络表示学习技术综述》免费pdf分享

邱锡鹏DL经典教材-《神经网络与深度学习》免费pdf及ppt分享

扫描下方二维码可以订阅哦！

DeepLearning_NLP

深度学习与NLP

商务合作请联系微信号：lqfarmerlq

http://mp.weixin.qq.com/s?__biz=MzIxNDgzNDg3NQ==&mid=2247546916&idx=2&sn=7470443365467274a6af0e1de04844b5