0编码也能搞AI大模型!Agent算外力,模型真内功!领域AI服务与模型开发平台差别?绝对不能错过的热门模型服务与训练平台盘点!

文摘   2024-07-17 00:46   浙江  


点击箭头处“蓝色字”,关注更多及时AI资讯哦



之前的小纸条给大家盘点了Agent智能体构建平台,来自国内各家主流产品的特点,看过的大家应该也能发现,这些Agent智能体其实都是在模型之上,通过提示词和输入内容的扩充,以及后续的调用工具来做文章,真正对的依赖的底层模型其实是没有侵入的,更像是用一种“外力”来帮忙。

而今天我们要聊的辅助工具-大模型开发服务平台,就是真正打磨模型的内力了,但是不会写代码的小伙伴也不要担心,我们只要掌握了基本的模型训练的流程,目前这些工具平台都有非常好的可视化支持,帮助大家一步一步的炼出只属于自己专款专用的厉害模型!

但是也有一些有明确诉求的用户或者企业,他们的面临场景用Agent这种外力能做到的还是很有限,但是可能碍于技术或者内部数据的缺口,所以并不具备训练出应对这些场景专门使用的模型,比如智能语音识别啦,医疗影像解读啦这种,那像这种情况,也是有很多厉害厂商直接提供领域AI模型专门的服务的,也就是我们要说的-领域AI模型服务平台。

那接下来,小纸条就来带你就大模型开发服务平台和领域AI模型服务平台,给大家说说,咱不写代码,怎么让专精的大模型,为咱们所用!

领域AI模型服务平台与大模型开发服务平台,有什么差别?


0代码如何进行模型微调的步骤


在介绍可以帮助我们0代码训练模型的平台之前,我们先来看看进行模型微调一般是通过什么样的方式和步骤,以下步骤为通用说明,不同平台可能有细节差异:


一、数据准备


收集和整理您希望用于模型微调的数据。这些数据应该与您想要模型学习的特定任务或领域相关。

对数据进行预处理和标注。这可能包括清洗数据、将数据分类、标记数据等操作,以便模型能够理解和学习。


二、选择平台与模型


选择一个支持零代码模型微调的平台。例如一些在线的人工智能开发平台、云服务提供商的人工智能服务平台等。

在选定的平台上,选择适合您需求的预训练模型。这些模型通常涵盖了各种领域和任务,如自然语言处理、图像识别、语音识别等。


三、上传数据与配置微调参数


将您准备好的数据上传到平台

在平台的界面上,设置与模型微调相关的参数。这些参数可能包括学习率、训练轮数、优化器选择、微调的目标(如提高准确性、降低损失等)。


四、启动微调任务


完成数据上传和参数配置后,启动模型微调任务。


五、监控与评估


在模型微调过程中,通过平台提供的监控功能,实时查看模型的训练进度、损失函数值、准确率等指标的变化。

当模型微调任务完成后,使用平台提供的评估工具或方法,对微调后的模型进行性能评估。


六、模型部署与应用


如果微调后的模型性能达到您的预期,您可以将模型部署到实际的应用环境中,使其能够对新的数据进行预测或处理。


好啦说完开发一个模型的标准步骤,我们就来看看我们要借力的工具吧!我们先来说提供给我们无脑直接使用的专业模型的提供平台,再来讲自己练模型的平台!


领域AI模型服务平台



腾讯AI开放平台


https://ai.qq.com/

腾讯提出以“基础研究—场景共建—AI开放”为三层架构的整体AI战略,从技术、场景与平台三个层面实现“AI in All”,AI被提到战略级高度。腾讯的AI版图围绕技术、场景与平台持续扩大,AI以产品的形式落地应用,从内部场景应用不断向外部产业化场景落地延伸。

腾讯AI开放平台是一个面向开发者和企业的人工智能服务平台,提供了各种AI技术和应用的API接口和SDK工具包,帮助快速构建自己的AI应用。该覆盖了语音识别、图像识别、自然语言处理、机器翻译、智能推荐等多个领域。(花钱滴)


智能闲聊 https://ai.qq.com/product/nlpchat.shtml
情感分析 https://ai.qq.com/product/nlpemo.shtml
文本翻译(AI Lab) https://ai.qq.com/product/nlptrans.shtml
看图说话 https://ai.qq.com/product/visionimgidy.shtml#express
词性标注 https://ai.qq.com/product/nlpbase.shtml#participle
语音识别-echo版 https://api.ai.qq.com/fcgi-bin/aai/aai_asr
同义词识别 https://ai.qq.com/product/nlpbase.shtml#synonym
场景识别 https://ai.qq.com/product/visionimgidy.shtml#scene
分词 https://ai.qq.com/product/nlpbase.shtml#participle
语音合成(AI Lab) https://ai.qq.com/product/aaitts.shtml
语音识别-流式版(AI Lab) https://api.ai.qq.com/fcgi-bin/aai/aai_asrs
专有名词识别 https://api.ai.qq.com/fcgi-bin/nlp/nlp_wordner
物体识别 https://api.ai.qq.com/fcgi-bin/vision/vision_objectr
图片滤镜(AI Lab) https://api.ai.qq.com/fcgi-bin/vision/vision_imgfilter
多人脸检测 https://api.ai.qq.com/fcgi-bin/face/face_detectmultiface
语义解析 https://api.ai.qq.com/fcgi-bin/nlp/nlp_wordcom
跨年龄人脸识别 https://api.ai.qq.com/fcgi-bin/face/face_detectcrossageface


阿里云AI(现成场景模型API服务)


https://ai.aliyun.com/

阿里AI依托阿里领先的云基础设施、大数据和AI工程能力、场景算法技术和多年行业实践,一站式地为企业和开发者提供云原生的AI能力体系。帮助提升AI应用开发效率,促进AI在产业中规模化落地,激发业务价值。

以下是现成的,付费就可以用API接入使用的一些服务:


华为云AI应用专区


https://marketplace.huaweicloud.com/markets/ai/index.html

华为云上提供的官方出品的AI大模型API/SDK服务,支持SaaS、License、API、AI资产、数据资产、镜像、人工服务、硬件云服务等多达11种接入类型,满足应用不同形态上架场景。定价策略和各家差不多,支持包周期、套餐包、支持tokens等等。

来看下华为云上提供的一些场景模型接入服务:


百度AI开放平台


https://ai.baidu.com/

同样是提供了很多垂直场景的模型API/SDK能力,提供端到端软硬一体的应用


大模型开发服务平台



腾讯TI-ONE


https://cloud.tencent.com/product/tione

TI-ONE是为 AI 工程师打造的一站式机器学习平台,为用户提供从数据接入、模型训练、模型管理到模型服务的全流程开发支持。TI-ONE 支持多种训练方式和算法框架,并已全面支持 LLM 大模型的增训(Post-Pretrain)和有监督精调(SFT),满足不同 AI 场景的需求

用户也可以在该平台上选择平台提供的AI模型和算法,也可以基于自己的数据和需求,进行自定义训练和优化。

除了提供API接口和SDK工具包外,平台还提供了一系列增值服务,如数据标注、模型评估、部署管理等,可为用户提供全方位的技术支持和解决方案。此外,平台还提供了免费试用和按量计费的灵活付费方式,方便用户根据实际使用情况进行选择和调整。

核心功能


数据中心:提供面向传统 AI 训练和大模型训练的数据集管理以及数据构建、标注功能。其中:

数据构建:内置开源可扩展的数据处理 pipeline,可一键启动基于 Notebook 的数据构建任务;预置超 100w 条高质量精调配比数据,覆盖12 大类、100+任务类型,可提升 LLM 训练效果。

自动学习:提供基于内置模板的快速建模能力,覆盖计算机视觉(CV)、智能结构化(OCR)、自然语言处理(NLP)三类场景。

训练工坊:提供 Notebook 和任务式建模两种训练方式,可基于内置镜像或自定义镜像快速、灵活发起训练任务,并基于腾讯自研的 Angel 框架提供训练加速。其中:

Notebook:提供交互式的开发功能,内置主流框架,支持SSH 远程连接、Git 存储库。不仅支持算法调试与模型训练,也可以进行数据准备和预处理。

任务式建模:提供向导式的训练任务提交、管理功能,特别适用于多机多卡大规模训练。基于训练任务优先级管理以及多层容错机制,保障训练任务高效、稳定运行。

模型管理:内置丰富大模型资源,支持对 AI 模型进行管理和评测。其中:

内置大模型:内置主流开源大模型和腾讯自研大模型,支持快速发起精调训练和模型部署、体验。

模型仓库:支持模型导入和版本管理。


模型优化:内置腾讯自研的 Angel 推理加速框架,提升模型推理性能。

模型评测:支持轻量体验、客观评测、主观评测三阶段评测能力,全方位保障模型效果。

模型服务:支持将模型快速发布为推理服务,同时也支持离线批量预测。其中:

在线服务:在一键部署之外,还支持丰富的服务管理和监控能力,包括热更新、手动/自动扩缩容、流量分配、在线测试、服务监控。

对接云原生:无缝打通腾讯云的存储、镜像、权限、监控、日志等产品,提供一站式、全方位的云上机器学习体验。


阿里云百炼(模型服务平台)


https://www.aliyun.com/product/bailian

阿里云百炼是基于通义大模型、行业大模型以及三方大模型的一站式大模型开发平台。面向企业客户和个人开发者,提供完整的模型服务工具和全链路应用开发套件,预置丰富的能力插件,提供API及SDK等便捷的集成方式,高效完成大模型应用构建。

特点:


兼容LlamaIndex等开源框架和Open AI的Assistant API调用,支持5-10分钟快速构建智能体

高效的Agent智能体应用开发提供完整的应用创建流程,支持使用开放架构创建智能体应用,集成prompt优化工具、流程管理工作流、插件等能力

支持灵活可配置的全套应用开发工具,自定义大模型应用流程编排。

开放的大模型三方生态合作,提供开源、闭源等多种模型供选择;全链路的模型训练及评估工具

在线部署按需扩缩容,后付费结算。千万token免费送,为大模型创新落地提供极致性价比

完整的全链路模型工具支持全参/高效等多种大模型在线调优方式,同时配备多元化的大模型效果评测,实现全链路在线调优-评测-部署的能力


华为ModelArts


https://www.huaweicloud.com/product/modelarts.html

面向开发者的一站式AI开发平台,为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。构筑全栈全生命周期的模型开发工具链,通过全面的AI工具和服务,为业务智能快速创新赋能。

核心能力:


AI高效开发

提供端到端模型生产线,高效开发、调试和调优大模型应用和场景化应用

提供端到端监控工具,智能运营运维


MLOps高效迭代AI模型,持续提升精度

数智融合,数据服务与AI开发全流程打通

对接AI Gallery,便捷使用开源大模型等预置资产,支持万亿参数模型训练,支持单作业万亿参数、百PB级数据超大规模训练


AI高效运行

提供AI加速套件,支持数据加速、训练加速和推理加速,支持分布式高效训练和推理

提供多规格、多样化AI算力,提供大规模分布式训练、推理加速能力

提供高性价比昇腾算力,支持大规模异构集群及调度管理,支持故障容错,训练作业故障自动恢复,作业失败率低于0.5%,万亿参数模型训练30天不中断


AI高效迁移

提供全流程云化昇腾迁移工具链,支撑用户AI业务全栈国产化,提供迁移专业服务


华为昇思MindSpore


https://xihe.mindspore.cn/

昇思大模型平台旨在为AI学习者和开发者提供在线学习的项目、模型、大模型体验和数据集的平台。同时也添加了各领域的经典数据集来帮助学习者解决AI学习过程中的一系列难题, 如高质量的数据集不易获得,以及本地难以使用大体量数据集进行模型训练等。为用户提供多种业务场景的支持。

覆盖NLP和CV等场景。面向语言理解、语言生成,具有超强语言理解能力以及对话生成;可实现跨模态检索、图文生成、图片文档的信息提取等应用;可实现对遥感数据的目标检测等。

覆盖全领域主流模型,可体验MindSpore大模型推理API,用户既可下载公开的预训练模型,也可以上传自行训练的模型文件,同时平台提供GITLAB一站式代码托管,支持文件批量上传,支持LFS大文件管理

MindSpore同名还有一个华为自研的一款支持端边云全场景的深度学习训练推理框架,官网和上面的模型平台还贼像-https://www.mindspore.cn/

MindSpore框架主要应用于计算机视觉、自然语言处理等人工智能领域, 昇思MindSpore提供了多种高级特性来支撑大模型分布式训练,供用户根据自己的需求进行灵活组合。

我们继续回来说大模型平台MindSpore。平台提供了四大模块,和基本的模型训练服务平台一致,分别是:

项目模块:覆盖多领域任务,体验全流程开发,支持用户在线训练和推理可视化,可创建自己的项目空间。

模型模块:覆盖全领域主流模型,可体验MindSpore大模型推理API,用户既可下载公开的预训练模型,也可以上传自行训练的模型文件。

大模型模块:在线体验预训练超大模型任务。

数据集模块:在数据集仓库中,你既可以下载公开的数据集,也可以上传合规的数据集。


场景举例:


华为ModelArts vs.华为昇思大模型平台


ModelArts


功能定位:ModelArts是一个面向AI开发者的一站式开发平台,提供从数据准备、算法开发、模型训练到模型部署的全周期AI工作流管理。

目标用户群体:适合不同经验的AI开发者,包括业务开发者、AI初学者和AI工程师。

技术特点:支持数据治理、极“快”致“简”的模型训练、多场景部署、自动学习等。

昇思大模型平台


功能定位:昇思大模型平台专注于大模型的开发、训练和部署,提供从模型训练、推理到部署的AI应用开发专区。

目标用户群体:主要面向企业开发者,特别是需要在大模型领域进行深度开发的企业。

技术特点:支持Jupyter Notebook在线编程,提供MindSpore Transformers模块,以及课程模块覆盖CV、NLP等多个领域。

差别


功能差异:ModelArts提供的是全周期的AI开发服务,而昇思大模型平台更专注于大模型的开发和部署。

目标用户群体差异:ModelArts适合更广泛的AI开发者群体,而昇思大模型平台更倾向于有特定大模型开发需求的企业开发者。

技术特点差异:ModelArts强调的是易用性和全周期管理,而昇思大模型平台则在大模型开发的专业性上提供了更多支持。

总结,ModelArts更适合需要全周期AI开发服务的开发者,而昇思大模型平台更适合专注于大模型开发的企业开发者。


阿里ModelScope


https://www.modelscope.cn/my/overview

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单。笔者觉得更偏向于个人开发者去微调大模型,用户可以免费使用平台提供的预训练模型,支持免费下载运行。一行命令实现模型预测,简单快速验证模型效果,用户也可以用自己的数据对模型进行调优,定制自己的个性化模型。有点模型的github内味儿。

核心能力:

丰富的预训练SOTA模型

覆盖NLP、CV、Audio等多领域的具有竞争力的SOTA模型,更有行业领先的多模态大模型,全部免费开放下载以及使用。


多元开放的数据集

汇集行业和学术热门的公开数据集,更有阿里巴巴集团贡献的专业领域数据集等你来探索。


一行代码使用模型推理能力

提供基于模型的本地推理接口,以及线上模型推理预测服务,方便开发者快速验证与使用。

十行代码快速构建专属行业模型

十几行代码实现对预训练模型的微调训练(finetune),方便开发者基于行业数据集快速构建专属行业模型。


即开即用的在线开发平台

一键开启在线Notebook实训平台,集成官方镜像免除环境安装困扰,链接澎湃云端算力,体验便捷的交互式编程。


灵活的模型框架与部署方式

兼容主流AI框架,更好地实现模型迁移;多种模型训练与服务部署方式,提供更多自主可控的选择。



技术资源社区

提供友好的优质的教程内容与开放的社区氛围,帮助开发者学习成长。



阿里云DashScope模型服务灵积


https://dashscope.console.aliyun.com/overview

DashScope灵积模型服务建立在“模型即服务”(Model-as-a-Service,MaaS)的理念基础之上,围绕AI各领域模型,通过标准化的API提供包括模型推理、模型微调训练在内的多种模型服务。

DashScope灵积模型服务依托于业界各领域的优质模型,基于阿里云强大的基础设施搭建。

DashScope将各类AI模型通过标准化的封装形成API服务,以方便应用开发者调用。通过DashScope,丰富多样化的模型不仅能通过推理API被集成,也能通过训练微调API实现模型定制化。DashScope为AI模型提供云原生的Serverless服务,使得开发者无需关注模型服务API背后的服务器管理,也可直接获得稳定可靠的服务。此外DashScope也为有需求的用户提供特定模型的独占服务。

在DashScope中,每个模型都拥有其唯一的模型名称字符串。例如,qwen-turbo 代表的是通义千问大模型、paraformer-v1 代表的是Paraformer语音识别模型等等。模型名称字符串是模型的代号,用于在DashScope API中以指定被调用的模型,通过model=‘模型名称字符串’ 给出。

使用DashScopeAPI通常需要了解指定模型所在的领域和任务。不同模型的领域和任务标签可以在其模型卡片、快速开始或模型详情文档中找到。领域是模型所属的大类,例如:生成式AI(aigc)、计算机视觉(cv)、自然语言处理(nlp)、音频(audio)、多模态(multi-modal)等。任务是模型所具备的能力,例如:光学字符识别(ocr)、语音识别(asr)、分词(word-segmentation)等。对模型服务API的调用编程需要指定模型的领域和任务。

也支持模型定制允许开发者通过API调用灵积高效的大模型微调接口,基于自定义的数据,快速定制业务专属大模型。基本流程:


1、选择支持定制的模型

2、准备训练数据,上传数据文件

3、使用API-KEY和数据文件,创建模型定制任务

4、部署定制模型

5、调用定制模型



阿里云ModelScope vs. 阿里云模型服务灵积 vs. 阿里云百炼


阿里云DashScope模型服务灵积和阿里云的ModelScope都是阿里云提供的AI模型相关服务,但它们在功能和使用场景上有所区别:

功能定位:


DashScope模型服务灵积:它是一个全托管的模型服务,提供从模型训练到在线推理的一站式服务。用户无需配置和管理服务器等基础设施,即可快速构建和部署机器学习模型。此外,它还支持多种模型格式,并允许用户自定义模型。

ModelScope:它是一个开放、易用的云上模型工厂,提供从数据预处理、模型训练到模型上线的端到端AI模型开发工具链。ModelScope还集成了阿里云的机器学习平台PAI的核心能力,支持多种AI算法和大数据处理能力。

阿里云百炼平台:是一站式的企业专属大模型生产平台,提供企业专属大模型开发和应用的整套工具链。

使用场景:


DashScope模型服务灵积:更适合希望快速构建和部署机器学习模型,且希望减少运维负担的场景。例如,小型创业公司、科研机构或中大型企业中的某些部门。

ModelScope:更适合需要进行大规模数据处理、模型训练和调优,以及希望利用阿里云强大计算能力的场景。例如,大型互联网公司、金融机构或科研机构。

阿里云百炼:面向企业客户和个人开发者,提供完整的模型服务工具和全链路应用开发套件,预置丰富的能力插件,提供 API 及 SDK 等便捷的集成方式,高效完成大模型应用构建。

技术特点:


DashScope模型服务灵积:它提供了弹性、免运维的计算资源,支持多种编程语言和框架,并提供了丰富且易于使用的 API 接口和SDK,方便用户集成和使用。

ModelScope:它基于阿里云的弹性计算资源,支持分布式训练和加速推理,同时提供了可视化的模型开发和调优工具,提供了丰富的预训练 SOTA 模型,覆盖 NLP、CV、Audio 等多领域的具有竞争力的 SOTA 模型,更有行业领先的多模态大模型,全部免费开放下载以及使用。

阿里云百炼:支持多种数据处理和分析算法,提供可视化的数据探索和建模界面,自动优化模型参数。

使用方式:


灵积目前提供 Paraformer 语音识别 API 能力,后续通义千问也将通过该服务对外提供 API 能力。

ModelScope 提供基于模型的本地推理接口,以及线上模型推理预测服务,方便开发者快速验证与使用。

阿里云百炼提供从基础模型推理服务到复杂模型定制化训练的全方位服务,实现 AI 能力的快速接入与应用。升级后的阿里云百炼正式推出了智能体 API,并为企业和开发者提供智能体 API 的调用。


百度飞桨AI Studio星河


https://aistudio.baidu.com/overview

飞桨AI Studio星河社区是针对AI学习者的一站式学习与实训社区。提供专业易用的开发工具,降低AI应用开发门槛,提供了多种领域的预训练模型、在线试用、在线训练&部署等能力。该社区对不同人群(比如开发者、技术小白等)也进行了差异化划分。主要是通过项目、应用的等不同板块去提供这些能力的。如果创建的是零代码应用,则会直接给你提供一个WebUI,也符合“开箱即用”的标准。


云端超强算力及存储资源

平台具备超大规模分布式训练和快速推理能力,支持并提供如NVIDIA V100/A100/多卡GPU, Intel、海光等多种异构算力资源,助力您的模型开发创作之旅。


丰富的学习内容与技术资源

持续更新从初级到进阶的专业课程体系与各类行业、学术赛事活动,同时还有大量优质公开模型、数据集和项目示例,支持学习到实践的每一步成长。


专业灵活的在线开发平台

支持在线Notebook、VSCode 等多种开发环境,预置官方镜像解决环境安装困难,同时提供产业级模型全流程开发与部署工具,满足各类开发场景需求。


一站式大模型应用开发体验

提供可视化大模型应用开发工具,支持灵活的参数配置、实时呈现预览效果,实现AI原生应用的零门槛打造,并可直接发布使用。

模型训练,这里有一个0代码开发流程的例子:https://ai.baidu.com/ai-doc/AISTUDIO/elucgyxra

(同名的还有一个百度开源的深度学习框架-PaddlePaddle(飞桨),这里是一个深度学习框架,它提供了丰富的API,支持多种深度学习模型的构建、训练和部署。PaddlePaddle也提供了模型微调的功能,适合不同水平的开发者,但是得是个开发者 https://www.paddlepaddle.org.cn/)


好啦,今天先说到这里,虽然还有像是智普啊、科大讯飞啊、火山引擎啊这些没说到,但是笔者觉得触类旁通,各家玩法差不多,虽说工欲善其事必先利其器,但是找到一个够用的,更快去行动也是很重要的!就好比读书前总要先搞一堆文具的形式主义(说的笔者自己,小时候贼喜欢买文具= =)但是真正动起手来,才是最重要的哦!咱共勉呀

扫码关注更多及时AI资讯

我们一起学AI!





同桌的AI小纸条
一个专注于将先进的AI人工智能技术融入日常生活的频道。关注让AI为我们所用,探索人工智能领域的无限可能,并征服他们,让AI赋能生活快乐每一天!
 最新文章