自己电脑搭建AI大模型详细教程，支持通义千问、Llama3、接口调用等。

科技 2024-12-21 22:17 美国

你好，我是郭震

今天教程关于在自己电脑搭建大模型，支持开源的大模型，像主流的通义千问2.5，Llama3，教程还包括如何使用这些大模型做接口调用，实现自动化输出。

如下图所示，这是我自己的电脑安装的两个AI大模型，一个是qwen 7b尺寸，另一个是llama3 8b尺寸：

本地部署大模型有哪些好处呢？

首先，因为这些大模型都是开源的，安装在自己的电脑上也是免费使用的，如下图所示启动qwen7b后，我可以直接在命令窗口提问它，全球各地有记载的历史最低温度是多少？，后面是qwen的回复：

其次，安装大模型在自己电脑除了我们可以直接免费使用它外，还有一个很大的好处，就是我们可以结合自己的私有文件系统，打造一个大模型+个人知识库的AI系统，既保护了个人数据隐私，也让AI「更懂你」。

大模型的一些基本知识科普

可能点进来看我这篇文章的朋友，有不同行业、不同专业的，可能对一些大模型的基本概念不太了解，下面就先做一个基本梳理。

其中比较重要的比如qwen7b, llama8b，这里的7b、8b代表什么？

b是英文的billion，意思是十亿，7b就是70亿，8b就是80亿，70亿、80亿是指大模型的神经元参数（权重参数 weight+bias）的总量。目前大模型都是基于Transformer架构，并且是很多层的Transformer结构，最后还有全连接层等，所有参数加起来70亿，80亿，还有的上千亿。

大模型和我们自己基于某个特定数据集（如 ImageNet、20NewsGroup）训练的模型在本质上存在一些重要区别。主要区别之一在于，大模型通常更加通用，这是因为它们基于大量多样化的数据集进行训练，涵盖了不同领域和任务的数据。这种广泛的学习使得大模型具备了较强的知识迁移能力和多任务处理能力，从而展现出“无所不知、无所不晓”的特性。

相比之下，我们基于单一数据集训练的模型通常具有较强的针对性，但其知识范围仅限于该数据集的领域或问题。因此，这类模型的应用范围较为局限，通常只能解决特定领域或单一任务的问题。

Scaling Laws这个词大家可能在很多场合都见到过。它是一个什么法则呢？

大模型之所以能基于大量多样化的数据集进行训练，并最终“学得好”，核心原因之一是Scaling Laws（扩展规律）的指导和模型自身架构的优势。Scaling Laws指出参数越多，模型学习能力越强；训练数据规模越大、越多元化，模型最后就会越通用；即使包括噪声数据，模型仍能通过扩展规律提取出通用的知识。而Transformer这种架构正好完美做到了Scaling Laws，Transformer就是自然语言处理领域实现扩展规律的最好的网络结构。

知道这些基本知识后，我们回到安装大模型到本地步骤上。一共只需要三步就能做到和大模型在本地会话。

第一步，我使用的是ollama管理各种不同大模型，当然还有其他工具，不过ollama是比较直接、比较干净的，如下所示，一键下载后安装就行了，安装过程基本都是下一步：

不知道去哪里下载的，可以直接在我的公众号后台回复：ollama，下载这个软件，然后装上：

安装后，打开命令窗口，输入ollama，然后就能看到它的相关指令，一共10个左右的命令，就能帮我们管理好不同大模型：

第二步，命令窗口输入：ollama pull qwen:7b，下载大模型qwen7b到我们自己的电脑：

同理，执行 ollama pull llama3:8b，下载大模型llama8b到本地。

ollama list，列举出当前已经安装的大模型：

ollama show qweb:7b，看到模型的基本信息，执行后看到qwen7b模型的基本信息，如下图所示：

模型的基本信息解释如下：

架构qwen2，7.7b参数，32768的上下文处理长度，4096词向量嵌入维度，Q4_0的四位量化技术。

第三步，ollama run qwen:7b，执行这条命令后，我们就可以和大模型对话了：

如下所示，大模型一般都支持多语言会话：

以上就是本地搭建AI大模型的三个步骤。

接下来，我再介绍一个比较常用的，尤其是想深入一步使用大模型接口做开发的。

ollama也支持接口开发，它默认的端口是11434，打开浏览器后，输入下面命令，会得到一个字符串输出：ollama is running:

基于上面已经搭建好的ollama+大模型qwen:7b，我们可以编写几行代码，使用ollama的接口，自动执行大模型会话。

非常实用！

具体来说，最精简版代码不到10行，首先pip安装requests包，然后执行下面代码：

自动输出下面的回答：

所以，当你有很多任务需要执行时，能通过API调用就会非常省事，自动给你回复，自动给你干活。

上面的url就是API接口的地址，payload是三个必须要传入的参数，使用Python的requests包自动发送请求，然后response得到结果。

以上就是API调用的完整步骤。

总结一下

这篇教程总结了自己电脑搭建大模型的步骤，以及自动调用大模型API的步骤。

最后说一下电脑所需要的配置，一般来说安装上面尺寸的大模型目前电脑都可以，不过大模型回答你的速度会有区别，电脑带有GPU显卡且显存大于等于8G的回答会比较流畅，低于这个配置的就会有些卡顿，但是不至于不能使用。

以上全文2223字，13图。如果这篇文章觉得对你有用，可否点个关注。给我个三连击：点赞、转发和在看。若可以再给我加个⭐️，谢谢你看我的文章，我们下篇再见！

郭震AI

郭震，工作8年后到美读AI博士，努力分享一些最新且有料的AI。

最新文章

自己电脑搭建AI大模型详细教程，支持通义千问、Llama3、接口调用等。

彻底爆了！阿里再次拿下第一！

腾讯版Sora开源，大模型继续狂飙。

天工AI彩页编辑器，让我体验了一把0帧起手

2024年中国AI初创公司，前30强榜单发布。

字节再送神助攻，大模型继续狂飙。

2024年国产大模型最强前10榜单发布。

团队准备解散了。

被字节起诉的田某，拿下今年AI最佳论文奖，戏剧拉满！附论文分析。。。

2024年值得去的50家互联网公司名单。。。

双非计算机硕士，投了109份简历，目前2个offer。。。

字节要求攻击大模型的实习生赔偿800万。。。

最强代码生成大模型前10榜单，国产占据2席。。。

大模型算法岗工资都是4开头了吗！。。。

国内12家主流大模型，谁是地表最强？亲测后发现是它！。。。

985计算机硕士，拿了10个offer。。。

字节2024年不同岗位的薪资表，差别蛮大。。。

终于可以这样在线刷题、在线编程了，好用到爆！。。。

文字转图表，这个AI工具秒杀PPT。。。

字节不同职级薪资待遇一览表。。。

他偷瞄的AI神器，竟是百度网盘的隐藏功能。。。

AI“底裤“被扒，百度文库上榜。。。

值得去的16家IT公司及待遇（西安篇）。。。

现在大专生年薪都35万了吗！。。。

飞行员薪资曝光，程序员看完后傻眼了。。。

值得去的20家国企名单（北京篇）。。。

值得去的15家IT公司及待遇（苏州篇）。。。

爆了！这个AI 应用开发。。。

值得去的25家IT公司及薪资（成都篇）。。。

值得去的20家央国企名单。。。

清华硕士8面字节，最后被拒。。。

爆了！阿里再次第一。。。

快手不同职级薪资待遇一览表。。。

程序员炒股亏了48万。。。

比亚迪在越南员工的薪资曝光。。。

值得去的20家IT公司及薪资（杭州篇）。。。

他19天副业收入过千。。。

拼多多不同职级薪资待遇一览表。。。

80w起！零成本快速入门大模型指南

来了！GPT4.0接入个人微信！！

全球顶尖AI人工智能大集合：ChatGPT、Midjourney、Suno、Luma等等

2024年民企前35强榜单一览表。。。

美团不同职级薪资待遇一览表。。。

纽约街头偶遇马云。。。

值得去的20家IT公司及薪资待遇（广州篇）

一条短视频赚了2154元（附教程）。。。

华为不同职级薪资待遇一览表。。。

值得去的30家IT公司（深圳篇）。。。

哇，OpenAI又一重磅功能来袭。。。

百度不同职级薪资一览表

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉