介绍
“人工智能（AI）”一词于 1956 年问世，如今已为大家所熟知。然而，在 ChatGPT 迅速流行之前，AI 的使用和讨论大多局限于科学研究或虚构电影。如今，AI 尤其是生成式 AI 已成为大家热议的话题。初学者生成式人工智能科普系列内容面向希望踏上人工智能之旅的任何人。目前，无论您的角色和工作内容如何，无论您是技术人员还是产品专家，或者担任其他任何角色，学习了解生成式人工智能的基础知识绝对是一个明智之举。在本系列文章中，我们将一步步分享生成式人工智能的基础知识。为了便于理解，将整个系列分为8篇内容（阅读时间15~20分钟）：第 1 篇--人工智能简介（点击查看）
第 2 篇--理解机器学习（点击查看）
第 3 篇--深度学习基础（点击查看）
第 4 篇--生成式人工智能简介（点击查看）
第 5 篇--什么是大型语言模型 (LLM)？[当前内容]
第 6 篇--与人工智能沟通的艺术
第 7 篇--生成式人工智能中的伦理考量
![]()
下面是本系列第 5 篇内容——探讨大型语言模型技术基础
我们了解了深度学习是如何从人类大脑中受到启发的。
我们了解了人工神经网络的工作原理。
现在，让我们继续我们的学习旅程，并尝试理解为人工智能系统与人类交流提供动力的概念——大型语言模型。让我们以 ChatGPT 为例来清楚地理解它。在 ChatGPT 的众多功能中，一项是理解人类语言（用简单的英语提出的问题）。它还可以生成我们人类可以理解的响应。ChatGPT 与人类交流的这种能力是由大型语言模型提供支持的。换句话说，我们可以说——需要生成类似人类文本的生成式人工智能系统需要大型语言模型。语言模型是：
简单来说，语言模型的目的是根据给定的句子/短语的上下文，预测下一个最合适的单词来填补句子或短语中的空白。让我们举一个例子来更好地理解！
当我们在手机上使用消息应用时，它会在我们输入消息时预测下一个单词，从而帮助我们更快的输入。例如，当我们输入“how”时，手机可能会建议“are”或“is”等单词，因为它知道这些词在句子中通常位于“how”之后。类似地，如果我们输入“我要去”，手机可能会预测“商店”，“公园”，“办公室”或“海滩”等词，因为这些是日常语言中“去”之后的常用词。这个预测是根据我们迄今为止输入的内容以及通过分析大量文本学到的模式做出的。大型语言模型 (LLM) 是一种语言模型，其特点是：
一种机器学习模型。
它是在大量文本数据集上训练的。
并使用先进的神经网络架构。
回到我们之前的例子，语言模型可以帮助人工智能工具预测句子中即将出现的单词。大型语言模型最独特、最强大的一点是它们能够生成类似人类的文本，并根据大量数据总结和预测内容。LLM可以处理和分析大量文本数据，使其在文本生成、总结、翻译和情感分析等语言处理任务中非常熟练。自然语言处理是一个与 LLM 密切相关的重要概念。自然语言处理（NLP）是人工智能的一个子集，它专注于计算机与人类通过自然语言（例如英语）之间的交互。让我们再举一个例子来更好地理解 NLP。虚拟助手，例如 Siri，可以使用 NLP 理解并响应我们的命令。想象一下，你问 Siri，“将闹钟设置为明天早上 7 点。”自然语言处理是响应人类（例如 ChatGPT）、语言翻译、搜索引擎等任务的支柱。自然语言处理 (NLP) 和大型语言模型 (LLM)大型语言模型可以看作是自然语言处理模型的演变。换句话说，我们可以说大型语言模型是任何为 NLP 任务设计的模型，专注于理解和生成类似人类的文本。虽然 NLP 包含各种用于处理人类语言的模型和技术，但 LLM 专注于理解和生成类似人类的文本。LLM 专门设计用于根据单词或句子前面的单词来预测单词或句子的概率，从而使它们能够生成连贯且上下文相关的文本。从机器学习技术的角度来看，自然语言处理使用广泛的技术，从基于规则的方法到机器学习和深度学习方法。另一方面，大型语言模型主要使用深度学习技术来理解文本数据中的模式和上下文，以预测序列中下一个单词的概率。LLM 是基于人工神经网络架构设计的。大多数大型语言模型都是基于 Transformer 的模型。大型语言模型 (LLM) 是生成式 AI 的一个子集。虽然生成式 AI 可以生成多种类型的内容，例如文本、图像、视频、代码、音乐等，但 LLM 仅专注于生成文本。大型语言模型 (LLM) 在不同行业的各种 AI 应用中使用。以下是一些主要示例：虚拟助手
LLM 模型是驱动虚拟助手（例如 Siri、Alexa 或 Google Assistant）的引擎。LLM 模型可以分析人类命令并解释其含义，帮助这些虚拟助手代表用户执行多项操作。ChatGPT 不再是一个新词。我们大多数人都使用过它或类似的 AI 对话聊天机器人。这些聊天机器人使用大型语言模型来理解人类的问题并以模仿人类语言的方式做出回应。大型语言模型在谷歌翻译等人工智能工具的语言翻译中发挥着重要作用。这些模型经过大量多语言文本数据的训练，能够捕捉不同语言的细微差别、变化、上下文和复杂性。当我们要求翻译工具翻译一个句子时，它会使用 LLM 算法来分析一种语言的输入文本，并生成目标语言中准确且符合上下文的翻译。通过双向考虑两种语言中单词和短语之间的关系，法学硕士可以生成保留原文含义和语气的翻译。如今，许多应用程序都使用大型语言模型来生成类似人类的文本。这些模型非常复杂，可以根据给定的提示或输入生成连贯且上下文相关的文本。LLM 模型可用于撰写故事、生成产品描述、撰写电子邮件等等。大型语言模型对于文档摘要非常有用。使用自然语言处理功能，LLM 模型可以将冗长的文档或文章总结为简洁的摘要，同时保留关键信息和要点。使用以下技术注意力机制和上下文理解，法学硕士可以确定摘要中要包含的最突出的信息，确保它抓住了原文的本质。情感分析是确定文本中表达的情感或情绪基调的过程。大型语言模型可用于分析大量文本数据，理解语言的上下文、细微差别和语调，并识别情感极性（积极、消极或中性）。如今，许多组织使用大型语言模型来识别来自社交媒体帖子、产品评论、客户反馈、新闻文章等文本数据中的情绪。Netflix、YouTube、Amazon 等平台越来越多地使用大型语言模型 (LLM) 进行内容推荐，以便为用户提供更加个性化和相关的建议。这些模型可以捕捉单词、短语和主题之间的关系，从而理解内容的含义和上下文。在内容推荐方面，LLM 会分析用户与内容的互动，例如他们阅读过的文章、购买过的产品或观看过的视频。根据这些数据，LLM 可以预测用户可能对哪些其他内容感兴趣，并推荐相关选项。生成式预训练 Transformer 可能是最受欢迎的大型语言模型，它用于 ChatGPT。在 2017 年推出 Transformer 架构后，OpenAI 于 2018 年发布了 GPT-1 作为其首个基于 Transformer 的大型语言模型。GPT-1 最初在 BookCorpus 上进行训练，该数据集包含 7000 多本自出版书籍。随后，OpenAI 发布了更高级的 GPT 版本，即 GPT-2、GPT-3、GPT-3.5 和 GPT-4。所有这些都是基于 Transformer 的大型语言模型。GPT-4 是一个多模态模型，这意味着它可以将图像和文本作为输入。BERT（来自 Transformer 的双向编码器表示）BERT 是 Google 于 2018 年推出的基于 Transformer 的大型语言模型。BERT 代表了大型语言模型和自然语言处理领域的重大进步。它是一种双向 Transformer 模型，可以并行处理单词，与循环神经网络 (RNN) 等传统顺序模型相比效率更高。LaMDA 是谷歌开发的对话式大型语言模型，也是一个基于 Transformer 的模型。在 ChatGPT 突然崛起之后，谷歌宣布了自己的对话式 AI 聊天机器人“Bard”。Bard 由 LaMDA 提供支持。后来，谷歌推出了 PaLM（Pathways Language Model），作为 LaMDA 的继任者。此外，在 2024 年，谷歌将 Bard 更名为“Gemini”。Gemini 由同名的大型语言模型 (LLM) 提供支持。Gemini 多模态大型语言模型是 LaMDA 和 PaLM 的继任者。LLaMA（大型语言模型 Meta AI）是 Meta AI 推出的一组大型语言模型（LLM）。LLaMA 是一种自回归语言模型，建立在 Transformer 架构上。看到这里相信你已经对大型语言模型有了初步的认识。如果您有任何疑问或想法，欢迎评论区留言探讨。下期内容--AI初学者必看：第 6 部分 - 与人工智能沟通的艺术
![]()
