大家好,我是一卓!两周前,META(原Facebook)发布了它们最新最强的开源大语言模型Llama3.2。以前我都是用收费的OpenAI的GPT-4o,这次突然心血来潮,身为电脑小白的我,尝试下载了一个开源大语言模型玩玩,并且成功的在自己的Macbook上运行。
没想到这么容易!没想到交互反馈这么快!(之前错以为要配很强的显卡才行)
安装完后,未来不需要连网也能在本地使用GPT,那真是一个爽!
废话不多说,我就把我下载安装的全流程分享给大家,希望大家也能自行尝试一下。我用的Mac,Windows用的软件也是一样的,估计应该差不多。
全步骤一共需要安装2个软件和完成1个设置,总共25步:(可滑动图片观看)
最后再补充几点:
我们使用的这个版本是Llama3.2 3B模型,也就是拥有30亿参数的版本。目前,适合在笔记本电脑上运行的模型只有两个选择,一个是1B,另一个就是我们用的3B模型。已经是最好的选择!
实际上,还有11B和80B模型对外开放。这两个模型都带有图像处理能力的大模型,但目前我们使用的Ollama软件平台不支持,而且需要具备一定的编程基础以及高性能的计算设备才能使用,所以暂时不考虑了。
另外,之前我也探索过是否能在手机上下载和运行本地开源大模型,目前看也没找到相关的解决方案,所以谁有经验欢迎留言。
没别的了,如果你成功运行了这个模型,请点赞并转发这篇文章。希望更多的人能够把AI融入到他们的生活和工作中。一起努力!
上面涉及到的链接:
https://www.ollama.com
https://www.docker.com
https://docs.openwebui.com/getting-started/
http://localhost:3000/