首先准确率上,社区已经有太多对比了,大部分都认为超过了gpt4o等等。llama3.1以下几个特性,算是有了很明显的进步:
128k的上下文
这样用llama3.1做基于文件的对话,完全是可以胜任的,我就用llama3.1帮我分析了阅读了部分合同。
支持工具调用
这样就与国内或国外的商业闭源模型一样了,可以有更强的推理能力。如下图就是一个非常好的例子。甚至可以上传一个csv,然后用llama3.1来帮助我们做数据分析。
本地搭一个自己的llama3.1聊天机器人,确实可以比较明显地提升工作效率。而且运行一个8b模型,我看了下在mac m1上只消耗了不到1g左右的内存,速度也在40 token/s。