容器镜像加速,让你的AI应用尽享丝滑!

科技   2024-08-05 11:03   上海  
在AI推理业务中,面对业务请求量的持续攀升,快速部署和扩容的能力至关重要。优刻得容器服务(UK8S)现推出容器镜像加速功能,旨在提升AI业务应用过程中的部署速度和运行效率,确保各类项目能够快速、稳定地交付和开展。
容器镜像是容器化应用的基础,而快速下载和启动容器镜像是提升应用部署速度的关键。优刻得UK8S的容器镜像加速功能,通过优化镜像下载和缓存机制,显著缩短了容器启动时间,使得 AI 应用能够在极短的时间内上线运行。

核心优势

1.更快的镜像拉取速度

UK8S 集群利用UFS+FUSE文件系统来实现容器镜像按需加载(Lazy Pull),大幅提高了镜像拉取速度;尤其在处理大型 AI 模型和复杂应用时,速率优化尤为明显

2.IO损耗小

通过采用延迟加载和热缓存技术,有效减少了因 FUSE 机制带来的 IO 损耗,这些优化措施确保了系统在处理数据时的效率和速度,大大提升了整体性能

通过案例看应用

  • 背景
某 AI 客户需要在短时间内通过 CA 弹性伸缩 200 个节点进行 AI 训练,且使用的容器镜像总大小达到了 20GB,传统的镜像加速方案会因节点上的部分性能限制,无法满足客户的需求。
  • 挑战
1. 大规模扩容需求:任务需要在短时间内大规模扩展至 200 个节点,确保训练任务能够快速启动和运行
2. 镜像加载速度慢:传统的镜像加速方案无法满足高性能存储需求,导致镜像加载时间较长,影响整体训练效率

  • 解决方案
1. 采用 Lazy Pull 技术:UK8S集群引入了延迟加载(Lazy Pull)技术,通过在容器启动时按需加载镜像数据,有效削减了初始加载时间

2. 热缓存优化:通过热缓存技术,能够智能识别并预先缓存高频访问的镜像数据,保障了容器的IO效率

  • 效果

1. 加载速度提升3倍起:通过 Lazy Pull 技术,将容器加载速度从传统的分钟级提升至 20 秒左右,极大地加速了 AI 训练任务的启动速度

2. 弹性伸缩:借助 UK8S 的弹性伸缩能力,能够迅速响应AI 客户的扩容需求,在极短时间内将资源高效扩容至 200 个节点,快速拉起大规模训练任务

3. 高效部署:容器镜像加速功能,缩短了镜像下载时间,还加速了容器的启动过程,使得推理业务的部署流程更加顺畅高效,为生产取得了宝贵的时间

使用指南

要测试 UK8S 集群的容器镜像加速功能,您可以预先准备下列资源,并根据下述准备列表咨询技术支持即可。
1. 登录到优刻得控制台:
https://console.ucloud.cn/uhost/uhost/gpu_create

2. 创建一个UK8S集群:根据您的测试业务创建对应规格即可

3. 创建一个UFS:准备一个大于目标加速镜像、且与集群同一个VPC和子网的UFS,并设置好对应的挂载点

4. 提供加速镜像及加速镜像的uhub用户名和密码

优刻得容器服务UK8S推出的容器镜像加速功能,为AI应用部署和加速提供了强有力的支撑。无论是模型推理,还是模型微调场景,都能够通过容器镜像加速进行技术优化,帮助企业和开发者更快地部署和运行智能化应用。

快来体验吧!
  热文回顾
1、优刻得参加工信部中非数字合作论坛
2、恭喜此芯科技点亮其首款自研芯片
3、Llama3.1模型来袭!火速get“开源巨无霸”
4、优刻得国产千卡智算集群落地


优刻得云计算
UCloud优刻得,中国第一家云计算科创板上市公司,服务近5万家消费用户,提供包含公有云、私有云、混合云的全局解决方案。应需而为、快速响应,产品免费试用。立即注册:https://passport.ucloud.cn/#register
 最新文章