上千开源大模型免部署直接用!英伟达原来藏了波大的!

科技   2024-08-11 17:17   四川  

阿虚同学

读完需要

5
分钟

速读仅需 3 分钟

前端时间,开源大模型又火了一把

Mate CE0 扎克伯格前脚发布 Llama 3.1-405B

Mistral Αl 隔天就开源了 Mistral Large 2

各个都说比肩、超越 GРТ4,不少自媒体也都来蹭热点教大家怎么本地部署

但其实多数蹭热点视频都在混淆视听,故意不介绍说明模型参数问题,比如 Llama 3.1-405B 有 4050亿 参数,的确在某些测试中超过了GРТ4-o

但 405B 这个模型别说个人电脑,甚至很多公司都跑不起来

各种视频里教你部署的,也就 Llama3.1-7B 或者 13B 模型,这俩模型只有 10 亿左右参数,随随便便拉一个在线国产 Αl 出来,都起码是千亿级参数

而参数就相当于模型的神经元,所以你可以试想得出 10 亿级别参数的模型体验几何

排除一些内网环境无法使用在线 Αl,或者对隐私及其在意,一般人根本没有折腾的必要

不过既然都写到这儿了,阿虚还是分享点真正实用的,一些免费可在线体验各大开源模型的网站


1


   

Nvidia

首先是 Αl 时代垄断算力芯片的绝对商业霸主,英伟达:https://build.nvidia.com/

果然是有钱有卡就是任性,不但把主流开源大模型都部署到了自己的官网,而且直接免费开放使用!甚至都不用注册

对话的、绘图的、生成视频的,主流的开源模型基本上都有,网站左边有详细的目录,看不懂的话可以用插件进行一下网页翻译

▲点击查看大图

甚至 Llama-3.1-405B 模型都能直接在线体验~


2


   

Mistral

第二个就是文章开头提到的,在 Llama 3.1 发布第二天把它踹下开源大模型铁王座的 Mistral Large 2:https://chat.mistral.ai/chat

这个呢人家直接就有官网,同时好消息是国内直接可以访问且用微软账号就能注册登录免费使用!

据相关评测,在开发者非常看重的代码生成、函数调用等关键领域,表现尤为突出,甚至还超过了最大参数版的 Llama 3.1

阿虚体验实测了一段时间,个人感觉还不错,支持中文、回答逻辑性和质量都不差,确实可以拿来和 GРТ4-o 、Claude 3.5 比一下的程度,唯一缺点就是网站反应有点慢


3


   

Replicate

除了上面两个,阿虚翻了一圈,国内还有一个可以在线体验开源大模型的网站Replicate:https://replicate.com/

数千个开源大模型都能在这个网站上在线运行,首页有大量模型推荐,也可以点击右上角 Explore 探索更多模型

Llama 3.1-405B 也是可以在上面简单体验一下的

除外上面还有各种图像生成啊、视频生成、画质修复、语音识别、图片文字识别等等开源大模型可供体验,大家感兴趣的话可以自行探索

↕上下滑动查看更多↕

4


   

Chatbot Arena

很出名的大模型竞技场,自然也是第一时间就上线了文章开头提到的俩模型(点击顶部的 Direct Chat):https://arena.lmsys.org/

▲点击Direct Chat

这个网站旨在以更公平公正的方式,在现实世界中根据人类的偏好进行评估大模型的能力,除了Llama 3.1、Mistral、GРТ4-o、Gemma-2、Claude-3等等大模型也都能在网站上免费体验


除了以上,其实还有 Huggingface、Groq、POE、Perplexity 等等网站也能免费体验使用各种开源大模型

但众所周知的原因,国内无法直接访问,其实介绍的意义也不太大。有能力的粉丝也可以自行到上述网站体验,阿虚这里就不多介绍了

今天介绍的这几个网站,均已经更新到储物间第 4 栏

整个Αl栏目在渐渐不断扩充中,最近又新增了 Αl 视频、Αl 写作两栏,有需要的粉丝可以自行查看哈




阿虚同学
致力于生产收藏级的干货文章
 最新文章