魔乐社区大模型应用速通指南

文摘   2024-11-28 13:00   北京  
2024年8月底,魔乐开发者社区上线。在魔乐社区的平台上,每一位开发者都能找到所需的资源和工具,无论是数据集、模型库还是开发工具,魔乐社区都将提供一站式服务。
魔乐社区作为一体化开源平台,集成了openMind Library和openMind Hub Clinet等工具套件,模型库、数据集和体验空间等核心组件,覆盖了自然语言处理、视觉、音频等领域。致力于打造开放共享的人工智能生态社区,提供首发原生模型、易用开发工具、丰富生态资源,帮助每一位开发者获取领先的人工智能技术,打造出更有竞争力和差异化的模型及应用。

魔乐社区托管基于Git的仓库,包含以下内容:

  • 仓库:存储模型、代码和文件,支持用户和组织协作开发。

  • 模型:托管用于自然语言学习、视觉和音频任务的模型。

  • 数据集:托管用于翻译、语音识别和图像分类等任务的数据集,包含生成训练、评估和测试所需的数据。

  • 体验空间:开发者可以使用体验空间一键部署在线推理服务;用户无需下载即可体验各大模型的推理服务。

魔乐社区、openMind联合DataFun将于11月29日下午14:00将在DataFun直播间进行主题为“魔乐社区:AI模型、工具与应用的融合之道”的线上活动并结合线上活动组织了一系列模型应用时间的活动,目的是让用户更好的进行模型开发体验、获取优质的平台支持,并进一步体验openMind和魔乐社区。
本次活动我们设置了多个可参与的活动,分别也对应了不同的奖励

1. 开发者朋友们可进入魔乐社区注册账户可获得一份最新的技术成熟度曲线(待更新)
操作方式:注册后可添加小助手发送注册ID即可领域上述奖品

识别二维码,免费注册体验

识别二维码,添加小助手

第一步

第二步

第三步

第四步

点击链接进入魔乐社区官网https://modelers.cn/

点击注册后进入注册页面填写信息提交

提交注册后返回登录

登录后进入欢迎页面即表示成功


2. 进入魔乐社区上传模型并通过可用性测试即可获得DataFunPro季度会员

操作方式:

a. 模型上传

模型上传官方文档链接为:https://modelers.cn/docs/zh/openmind-hub-client/0.9/basic_tutorial/upload.html

  • 模型去哪里寻找?来Hugging Face

Hugging Face是一个开源的机器学习平台,专注于自然语言处理(NLP)和人工智能(AI),是全球机器学习和社区合作开发模型、数据集和应用程序的主要集合地。

首先确定模型规格

根据模型名,去MindNLP模型对应位置查找对应模型文件,查看modeling_xxx.py文件。

在文件中查找XXX_PRETRAINED_MODEL_AECHIVE_LIST,如下图,即待上传模型规格。

以deit为例,去Hugging Face官网(或者HuggingFace国内镜像)搜索‘facebook/deit’,如下图,即待上传模型规格。

如果_CHECKPOINT_FOR_DOC也没有,则查看是否有示例注释,如下图。

以depth-anything为例,去Hugging Face官网(或者HuggingFace国内镜像)搜索‘LiheYoung/depth-anything’,如下图,即待上传模型规格。

下载模型

进入Hugging Face官网(或者HuggingFace国内镜像),根据模型规格搜索模型。

点击Clone repository,通过git-lfs将模型仓克隆到本地。

模型如何上传?

第一步:首先将模型上传至魔乐社区,上传之前需要在社区新建模型仓库,如下图所示

第二步:创建完成之后就是上传了,此时记住我们在openmind_hub云端上的模型的路径为:lvzhou/all-MiniLM-L12-v2,接下来在all-MiniLM-L12-v2模型目录下新建examples目录,并在examples目录内创建inference.py和requirements.txt,两个文件的内容如下:

inference.py

主要修改parse_args函数内的default参数所指定的模型路径,便于接下来将模型上传到openmind_hub中,具体代码可查看提供的md文件(inference.py)

inference.py.md

requirements.txt

设置NPU下运行该脚本需要配置的对应文件,默认torch_npu, openMind Library已安装

命令行:transformers==4.39.2

第三步:创建好就可以上传,先打开魔乐社区链接:https://modelers.cn/my/tokens,新建一个令牌,将权限设置为write,并将其复制在下面的上传代码中token中,具体代码可查看md文件(上传代码.md)

https://drive.weixin.qq.com/s?k=AD4Atgd8AA4PqIIk0cAfQA_AbDAL8

第四步:接下来在bash终端内执行模型上传命令

命令行:python upload.py

b. 模型可用性测试

上传成功后在社区项目介绍页进行模型可用性测试,当出现测试成功即可,如果失败也可以下载日志进行debug,具体可参看教程:

https://modelers.cn/docs/zh/community/models/verifying_models.html

c. 梳理readme文档

readme主要是对该上传模型的介绍,可在Hugging Face或其他平台下载的时候带出,但需要根据在魔乐社区上传的版本做优化

内容可参考此文档:https://modelers.cn/models/TeleAI/TeleChat2-115B

3. 根据模型上传的经验,撰写辛苦历程

魔乐社区征文简介

基于魔乐社区与openMind技术稿件征集,鼓励开发者加入魔乐社区体验openMind能力,实现创新创意并输出技术稿件。识别并孵化布道师,持续为openMind发声。

文章内容:

与openMind相关的技术干货文章均可参加,支持一切自由形式的原创作品:可以是结合热门模型和常用模型,针对应用场景,基于openMind模型应用实战的技术文章;也可以是在人工智能和大模型领域和openMind相关的技术点解析或发展趋势讨论。

文章要求:

  • 文章篇幅字数不得少于1000字;
  • 文章必须原创,不可搬运、抄袭,以及AI生成;
  • 文章内容可深入分析openMind在模型训练、微调、评估和推理等环节的支持能力;探讨openMind如何提供海量模型和数据的托管服务,以及其在线推理体验服务的实现方式和优势等维度撰写。

备注:优秀文章传播将发布于魔乐社区与openMind各媒体渠道进行二次传播、同时DataFun也将提供公众号位置供内容展示。

DataFunTalk
专注于大数据、人工智能技术应用的分享与交流。致力于成就百万数据科学家。定期组织技术分享直播,并整理大数据、推荐/搜索算法、广告算法、NLP 自然语言处理算法、智能风控、自动驾驶、机器学习/深度学习等技术应用文章。
 最新文章