云计算与大模型训练的结合

文摘   2024-12-26 07:01   美国  
点击下方卡片,关注“Ai fighting”公众号

 我们要学会使用第三方的大模型平台,而不是什么都从0开始 



大模型从出现以来,其巨大的成本问题一直都是压在很多企业头上的一座山;但大模型作为一项基础设施,理论上应该和现有的基础设施相结合,比如说云计算平台。


根据云计算的思想,除了实现快速部署迁移以及庞大的网络洪峰之外;其次最重要的一点就是提升资源的利用率;比如对很多公司来说,流量洪峰主要都集中在某些时间段,大部分时间的流量都比较平稳。


因此,如果按照最高峰值部署服务器,那么就会造成巨大的浪费;因此,云计算的用武之地就出现了;因为云计算快速动态扩/缩容的机制,导致其能够更好地利用空闲资源。



云上的大模型




大模型由于其巨大的体量,以及参数和数据;对一家企业来说,要想设计训练出一个属于自己的模型,就需要购买大量的算力资源——也就是GPU。


但GPU的价格问题使得企业面临着巨大的成本压力;因此,购买或租用别人的算力,就成了一个比较好的选择。在需要算力的时候就租用别人的算力,再不需要的时候就可以把算力给释放掉;这样既节省了成本,也提升了资源的利用率。


而由于云计算的诸多特性,比如快速扩容,集群,调度等等;使得把大模型搬到云上就是一个很好的选择。

 欢迎加入自动驾驶实战群



今天在看腾讯云平台的时候,发现其提供了大量与大模型训练,微调,部署相关的功能;其不但提供了算力支持,同时还封装了很多与大模型训练,微调,部署相关的工具包,加速器等工具。


其上不但可以部署自定义的大模型,而且其官方还提供了大量的预制基础模型镜像;用户可以通过这些镜像做上层的训练与部署开发。



如上图所示,这种功能大大降低了大模型的训练和微调成本;不但是资金成本,同样还包括技术成本;因为其封装了大量的基础功能,只需要通过简单的命令或API以及SDK集成即可使用。


这种方式,不但降低了企业的使用成本,对于对大模型技术感兴趣的个人技术人员,或者学习大模型技术的人;也同样让他们有机会设计和训练部署属于自己的大模型。


当然,提供这种云上大模型服务的企业不仅仅腾讯一家;国内还包括阿里,华为等多家云服务商;而国外包括微软,谷歌等都提供了类型的功能模块,方便大家使用。


因此,特别是对一些大模型应用领域的创业者来说,这种云上模型解决了底层模型的很多问题,节省了大量的时间;使得创业者可以专注于自己的产品和功能实现;而不用把大量的时间浪费在大模型的底层架构上。


所以说,对企业和创业者来说,一定要弄清楚自己的定位;到底是想做技术,还是做产品,还是做服务;不同的定位,需要关注不同的技术点和业务环节。


因此,随着社会的发展,社会分工变得越来越细;每个人都应该找准自己的定位,然后深入的钻研下去;而不是在不同的领域里反复横跳。


最后别忘了,帮忙点“在看”。  

您的点赞,在看,是我创作的动力。


AiFighing是全网第一且唯一以代码、项目的形式讲解自动驾驶感知方向的关键技术。


长按扫描下面二维码,加入知识星球。





Ai fighting
全网第一且唯一分享自动驾驶实战,以代码、项目的形式讲解自动驾驶感知方向的关键技术,从算法训练到模型部署。主要致力于3D目标检测,3D目标追踪,多传感器融合,Transform,BEV,OCC,模型量化,模型部署等方向的实战。
 最新文章