人工智能 | mixtral大模型

文摘   2024-10-16 08:00   北京  

简介


Mixtral 是一种具有开放权重的高质量稀疏专家混合模型 (SMoE)。根据 Apache 2.0 许可。 Mixtral 在大多数基准测试中都优于 Llama 2 70B,推理速度提高了 6 倍。它是最强大的开放权重模型,具有宽松的许可证,也是成本/性能权衡方面的最佳模型。特别是,它在大多数标准基准测试中匹配或优于 GPT3.5。

Mixtral 的特点


  • 可以优雅地处理 32k 令牌的上下文。

  • 可以处理英语、法语、意大利语、德语和西班牙语。

  • 在代码生成方面表现出强大的性能。

基于 Hugging Face Transformers 使用 mixtral

## Use a pipeline as a high-level helperfrom transformers import pipeline
def test_mixtral(): pipe = pipeline("text-generation", model="mistralai/Mixtral-8x7B-Instruct-v0.1") pipe("请为google编写web自动化测试用例,使用pytest page object设计模式,断言使用hamcrest"))

使用 langchain 调用 mixtral

def test_mixtral():    llm = Ollama(model="mixtral", base_url="http://localhost:11434")    r = llm.invoke('请为google编写web自动化测试用例,使用pytest page object设计模式,断言使用hamcrest')    debug(r)

总结


Mixtral 是一种具有开放权重的高质量稀疏专家混合模型。

推荐学习

人工智能测试开发训练营为大家提供全方位的人工智能测试知识和技能培训行业专家授课,实战驱动,并提供人工智能答疑福利内容包含ChatGPT与私有大语言模型的多种应用,人工智能应用开发框架 LangChain,视觉与图像识别自动化测试,人工智能产品质量保障与测试,知识图谱与模型驱动测试,深度学习应用带你一站式掌握人工智能测试开发必备核心技能,快速提升核心竞争力!


霍格沃兹测试学院
霍格沃兹测试学院致力于培养专业的测试人才,推动测试行业的技术更新和发展,我们本着此宗旨,为您提供测试技术培训和实战,让您真正的可以在测试能力上获得提升。
 最新文章