首页 时事 民生 政务 教育 文化 科技 财富 体娱 健康 情感
更多
旅行 百科 职场 楼市 企业 乐活 学术 汽车 时尚 创业 美食 幽默 美体 文摘

GMI Cloud King Cui演讲：AI Native Cloud助力企业出海，解决算力需求，构建高稳定性GPU集群

科技   2024-12-23 18:11   北京  

构建高稳定性的GPU集群，是AI企业出海实现降本增效的必由之路。
12月5-6日，由智猩猩与智东西联合主办的2024中国生成式AI大会（上海站）在上海圆满收官。在第二日的「AI Infra峰会」上，GMI Cloud亚太区总裁King Cui发表了主题为《全球化布局：AI企业如何补齐算力短板，保障GPU集群稳定性》的演讲。
GMI Cloud成立于2023年，是一家AI Native Cloud服务商，旨在为企业AI应用提供最新、最优的GPU资源，为全球新创公司、研究机构和大型企业提供稳定安全、高效经济的AI云服务解决方案。其研发团队主要来自谷歌X Lab，具备丰富的AI领域专业知识。King Cui是云计算领域资深专家，已有十几年从业经验，今年正式加入GMI Cloud。
本次演讲中，King Cui分享道，“目前中国AI出海处于加速期，算力作为其中的核心生产资料正发挥重要作用。构建高稳定性的GPU集群是实现AI出海降本增效的必由之路，可以帮助企业在AI全球化浪潮中取胜。”
在确保GPU集群的高稳定性方面，GMI Cloud除了拥有稳定的尖端GPU芯片优势以外，其还自主研发了Cluster Engine，整合了对GPU卡、GPU节点、高速存储以及高速网络的控制，为客户提供三种核心服务形态：裸机、虚拟机、容器。这些服务在不同的层面上支持AI机器学习、基础平台设施以及HPC高性能运算。此外，作为Nvidia全球Top10 NCP，GMI Cloud在交付前会进行严格的验证流程。
GMI Cloud还与IDC协作，拥有充足的备件，提供及时的维修，在更短的交付时间，确保停机时间最小化。另外值得一提的是，他们灵活的选型方案符合各类AI出海企业需求，King Cui在大会现场进行演讲时引起众人关注。
以下为King Cui的演讲实录：
今天给大家分享的主题是，在AI全球化的布局下，AI企业如何在海外补齐高端GPU的算力短板，并且保证整个GPU集群的稳定性。

01.
快速了解一下GMI Cloud


首先我们来快速认识下GMI Cloud。GMI Cloud是一家AI Native Cloud公司，我们专门做AI时代的GPU Cloud。关于我们公司，主要有三点：
1.我们是全球Top10的Nvidia Cloud Partner，也是Nvidia Preferred Partner，可以提供英伟达全套最新最强的GPU云服务。
2.我们与英伟达是战略合作伙伴关系，同时获得了全球顶级GPU ODM厂商的投资，在亚太区有GPU的优先分配权，能在最短时间拿到最新最强的GPU。现在亚太很多云厂商还没有提供H200的服务，但我们已经在今年八月份就向客户提供H200云服务，目前具备几千卡的H200集群。
3.我们致力于为所有AI企业打造一套独立的AI云原生平台，不做贸易，只做AI Cloud。我们希望为所有企业提供具备高稳定性的GPU集群云服务。

我们致力于为所有企业提供一套稳定、高效、安全、好用的GPU Cloud，铸就全球领先的AI Cloud。目前我们在美国、中国台湾、泰国、马来西亚等多个国家和地区提供云服务，主要提供H100和H200，集群总规模接近万卡规模。今年十月份，GMI Cloud刚刚完成8200万美金的A轮融资，这笔资金将也将用于GMI Cloud在全球AI算力服务方面的布局。

02.
中国AI出海是大势所趋，
算力需求和GPU集群稳定性是核心痛点


介绍完公司，我们来讲第二部分，AI出海的趋势和算力的挑战。我们为什么要做一家出海的云服务公司呢？在分析这点之前，我们要首先回顾过去中国30多年经济高速发展的2个核心底层因素。
第一是人口红利和城镇化的高速发展，这个底层因素带动了产业高速发展，推动了中国经济GDP高速增长。
第二个底层驱动的核心因素是通信基础设施的发展。从2G到3G到4G到5G，通信基础设施的发展使得人机交互的信息传输媒介发生了从文字、图片、视频的演进。移动互联网的高速发展催生了很多新创公司，也使得国内几个头部云计算厂商实现了几百亿人民币市值的跃迁。
但到今天，这两个核心因素已经进入失速期。中国的城镇化率已经高达66%，中国移动网民用户数量接近11亿，AI时代正式来临，出海趋势比较明晰了，所以我们一定要做出海。
从技术的发展来看，我们这代人是非常幸运的，我们经历了整个互联网时代的发展和移动互联网时代的演进，目前正在进入AI时代。从1990年到2010年的20年是互联网时代，从2005年到2020年的15年是移动互联网时代，但这两个时代都已经进入技术普惠点，不再有高速增长的机会。从2022年开始，AI时代兴起，就像1995年的互联网时代一样，未来会有巨大的机会。它的发展速度会比以前每个时代都更加猛烈，所以我们要抓住这波人工智能浪潮。

当前行业的发展趋势是，做AI就一定要做出海。我相信所有企业在做AI的同时，一定要立足于全球，一定要做全球化的生意。截止到今年8月份，全球AI产品总量大概有1717个，其中中国相关的AI产品有280个，出海相关的接近95个，超过三分之一。
我截取了AI产品榜前30名的APP，中国AI出海的APP前9个月的时间，整体MAU（月度活跃用户）已经翻了一倍，并且还在高速增长。但从MAU角度来看，相比第一名的ChatGPT，中国企业还有很大的增长空间。

AI出海趋势的底层是中国的产品力竞争。AI有三要素：算法、数据和算力，算力是非常核心的生产资料。那我们出海时如何解决算力问题？
中国的国产GPU很强，但相比高端GPU来讲还有一定差距。因为各种原因，我们国内在高端优先的顶尖GPU储备量不够。同时，AI时代的发展时间不长，大家对于推理稳定性的运维经验也不足。
所以，我们在海外时发现，所有的IDC、服务器、能源等供应商，他们的标准化和稳定性的考量也不充分。所以，目前在海外做AI推理面临的最大挑战就是稳定性问题。
这个图（下图）大家并不陌生，Meta了公布Llama 3-405B大模型用了16000张H100的卡，训练了54天，总共出现了466次故障中断，其中419次是意外发生的，而GPU相关的高达200多次。Meta是全球顶尖的互联网公司，他们有非常强大的推理能力，但大部分厂商在面对这么高故障率的GPU集群时，是难以应对的，所以选择一个非常稳定的GPU服务提供商是十分关键的。

GPU集群的稳定性与公司付出的经济成本（含研发成本）有直接联系，在出海时有人想选择最便宜的GPU裸金属服务提供方，这也许在GPU单价上节省了10%-20%，但如果稳定性不够，整个公司研发的总成本可能会成倍增长。
从公司总体成本来讲，选择一个具备高稳定性、安全高效的GPU云服务提供方，总成本其实更低。所以无论是降本还是增效，选择高稳定性的GPU集群是最重要的。

03.
Cluster Engine、NCP验证体系、故障预防策略“三管齐下”，承诺99%SLA


GMI Cloud如何保证GPU集群的高稳定性，面对故障时的应对措施又是怎样的？
GMI Cloud致力于对外提供全栈AI应用平台。

    • 最底层的硬件架构层，我们提供高性能的GPU服务器，包括大容量的存储系统以及高带宽的数据通道。

    • IaaS层，我们完成了所有容器化的梳理，今年年底我们还会推出Serverless技术。同时我们对网络和存储都做了API的封装，可以以API方式对外提供服务。IaaS层和GPU硬件架构层所有相关软件技术完全由GMI Cloud自主研发和管控。

    • 再往上是模型层。开发者或小微企业可以直接使用开源的大模型。这时我们可以提供更多便利性，支持一站式把开源大模型直接部署到我们的集群，不需要做任何代码开发就可以直接上手使用。

    具备技术实力的公司可以在我们集群上部署自己的大模型做fine-tuning，我们可以提供专家服务，帮助大家把模型训练得更好。

    对于整个GPU集群的管理，我们自主研发了一套平台，叫Cluster Engine，能够实现所有资源的调度和管理。
    在计算层面的资源调度，GMI Cloud提供裸金属、虚拟机还有容器化等服务。在存储层面，GMI Cloud提供基于NVME和RDMA的高性能分布式存储，也包括冷热分离。我们完成了所有形态的研发。在网络层面，我们支持IB虚拟化，能够帮助企业客户使用更加高速稳定的IB网络。

    这里举个例子，这是一个万卡集群的IB网络架构（见下图），总共用了1280台H100服务器，总共有10264张卡，也是一个常见的400G×8的3.2T的三层IB高速网络架构。这里面有一万多张H100的GPU卡，如果从正常的SLA表现来看，可能每3-4个小时就会中断一次。

    目前我们公司是为数不多真正具备万卡IB网络集群运维实践的公司。在网络虚拟化层面，我们也做了许多相关技术，能够最大化利用资源，具体有三个好处：第一，通过网络虚拟化，我们在资源管理上能做到很好的隔离，使不同用户之间不会发生资源争抢，提高整个IB网络的使用效率；第二，性能会有提升；第三，成本会优化。
    通过虚拟化技术，我们提高了现有集群的硬件使用效率，从而进一步优化整体成本。基于IB网络，我们实现了VPC参考架构，这个VPC与传统云计算的VPC没有太大差异，只是每个VPC里面用的是IB网络。比如在国外某所大学的私有GPU集群里，我们提供了IB网络的VPC，可以把不同学院、不同教授的实验分配到不同VPC中，各个之间不会发生资源隔离和争抢，这对客户来说是很好的体验。
    讲完容器和网络，我们再看存储。我们基于不同场景做了存储分级。如果是做备份需求，我们可以提供成本较优的SATA存储。如果是对时效性要求高、吞吐较高的场景，比如做模型训练的Checkpoint存储，或者自动驾驶数据加载的高性能读写存储，我们提供了基于NVME的GPFS存储系统。根据不同场景需求，我们提供不同性价比的存储产品。
    对于大规模集群来说，可观测性非常重要。我们提供了主动监控功能，通过自研平台能够实时监控和告警，并且快速定位问题，在最短时间恢复集群。这是我们集群目前提供的端到端检测、实时仪表盘、故障告警通知及数据历史记录监控（下图），“端到端监测”是目前很多客户反馈非常方便的定位功能，我们可以发现是哪个节点、哪台机器出了问题，快速进行修复和调整。

    然后再讲一讲GMI Cloud的验证体系。为了保证集群的高稳定性，GMI Cloud有两套体系：第一套是作为Nvidia Cloud Partner的Nvidia验证体系，第二套是在真正交付给客户之前的、GMI Cloud自有稳定性验证测试体系。
    Nvidia的NCP认证体系非常严格。首先要做整个集群方案设计，然后通过NCP评估，再做整个集群建设。建设完成后Nvidia会派人检查和测试，最终才能获得资质许可。
    此外，在交付之前的验证，我们还会自己做硬件层面测试、系统配置测试，对网络和存储做压力测试，确保这套集群既能实现单机测试，也能实现整个跨集群分布式训练需求。

    第三部分，我们看看故障的预防策略和应对措施。没有人能保证集群稳定性达到100%，难免会出现一些问题，比如GPU硬件的掉卡或故障。我们要在最短时间内实现硬件替换。GMI Cloud与IDC伙伴和ODM厂商保持深度紧密的合作关系。我们有3-5%的备机率和备件率，能在硬件故障时通过IDC本地伙伴快速更换。
    通过问题源头追溯和SLA签订，我们能对外承诺使用Cluster Engine的GPU云服务可达到99%的SLA。这是目前全球GPU云服务厂商中为数不多能在合同中约定99%SLA的厂商。同时我们提供7×24小时服务响应及技术咨询服务，确保快速解决硬件故障，减少停机时间，为客户保持高稳定性系统。

    04.
    研发团队来自谷歌X Lab，
    可提供私有、按需两种方案


    接下来，我想讲讲对AI Infra选型的思考，并结合两个实际案例进行分享。
    在出海过程中，选型有几个因素需要考虑。AI场景中，是长期租用还是短期租用？还要根据业务需求选择是做推理还是训练，同时也要根据经济情况，选择目前普遍使用的H100，或性能更高的H200，亦或未来会推出的GB200。
    综合考虑，我们提供两种方案：第一种是Private Cloud，可以根据客户需求和地点选择，在全球合法的国家和地区帮助选择IDC，定制GPU服务器，提供长期稳定服务。第二种是On-Demand的标准产品，可以按卡时计费。客户可能只需要使用一两张卡，训练一两天就释放，不需要为短期GPU需求付出高昂的购机成本。
    除了以上所讲，我们还提供专业的AI顾问和咨询服务。我们的研发团队主要来自谷歌X Lab，在深度学习和机器学习领域积累了丰富经验，可以为企业客户提供专业化的AI咨询和建议。

    最后分享两个案例。
    第一个是某大型互联网招聘平台，他们在全球化过程中希望基于业务定制招聘垂直场景的大模型。我们在海外帮他们构建私有GPU集群，从IDC选址到GPU服务器定制，到云管理平台组件，以及模型训练建议，提供端到端解决方案。让企业客户可以专注业务研发，提高效率，加速模型训练。
    另一个是在线直播平台，主要做主播与观众连麦。在涉及不同语言时，以前的技术需要先语音转文字（ASR），再文字转语音（TTS），目前的端到端大模型，可以实现不同语言之间的无缝对话。这家公司基于开源大模型做fine-tuning，不需要长期租用大集群，只需在fine-tuning时使用几台服务器再训练几天或一周。他们采购了GMI Cloud的On-Demand服务来完成模型fine-tuning和调优。

    05.
    结语


    总结一下，今天我们从GPU云服务提供商角度分享了在AI全球化视角下如何提供高稳定性GPU云集群。
    在集群稳定性方面通过三个方式，具备主动监控的Cluster Engine云平台、英伟达验证体系和交付测试体系、主动运维监控策略，通过这三个维度保证GPU集群稳定性。最后结合两个实际案例分享了AI Infra选型的思考，希望可以给大家的业务发展带来帮助。
    最后祝所有AI企业在全球化过程中业务蓬勃发展，谢谢大家。
    （本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）
    智东西
    智能产业新媒体！智东西专注报道人工智能主导的前沿技术发展，和技术应用带来的千行百业产业升级。聚焦智能变革，服务产业升级。
     最新文章
    端侧AI随时上云？这套端边云协同方案给出了新解法
    一枚智能戒指值380亿！三星荣耀踊跃入局
    大模型中标排行榜出炉，科大讯飞成2024年度标王
    追觅首创机械手，真正作用于亿万家庭的“灵巧手”出现了
    AIGC时代，联想的野望和收获
    2025 AI深度前瞻：推理成本暴降90%，智能体迎GPT时刻，空间智能涌现
    支付宝长眼睛了！打造新一代视觉搜索，AI帮你探索万物
    川普马斯克决裂倒计时？《福布斯》预测AI十大趋势：AI接管电脑，在太空建集群
    雷军4小时跨年直播：交小米年终总结，晒30万辆交车目标，立了N多flag
    00后李飞飞学生联合创业，破解世界级机器人难题，被稚晖君投资，独家对话创始人
    大模型“六小虎”，拿下4200万大单
    最快5秒光速出片，全球首个接近实时生成的AI视频模型来了
    百年“老字号”靠AI上市，IPO估值10亿美元
    从雷军到张文宏都是假的，起底乱象丛生的AI数字人带货
    追觅再革新热清洁技术，智能清洁的竞争尚未进入困境
    孙正义“芯片帝国”计划曝光！向特朗普承诺投资1000亿美元
    如何快速部署和体验内置开源LLM大模型
    2024年大模型融资全景：最高800亿，独角兽洗牌，地方国资猛扑
    套壳AI公司，骗了800名员工和200只猫
    三个人，估值650亿
    AI大模型权威评测：豆包中文对话最强，OpenAI o1推理和数学占优
    人形机器人再添数亿元融资！江苏创企拿下，曾帮小米造机器狗
    2个月，11亿大模型大单，讯飞狂赚
    AI视频创企又拿新融资，数亿元！
    刚刚，马斯克融资438亿！黄仁勋苏姿丰都投了
    一家AI独角兽宣布倒闭
    微软CEO纳德拉年终访谈！赞同黄仁勋，坦露与OpenAI分歧，揭秘夺回市场战略
    GMI Cloud King Cui演讲：AI Native Cloud助力企业出海，解决算力需求，构建高稳定性GPU集群
    刚刚，又一家大模型独角兽获新融资：数亿美元！
    OpenAI最强推理模型o3发布！AGI测试能力暴涨，最难数学测试分数碾压同行
    专用、类人形、人形全面布局：普渡机器人解答了具身智能商业化的终极命题
    比小米便宜，比Meta高清，国内首款量产AI眼镜999元开售
    AI创企暴雷！90后女创始人欺诈被捕：涉案7000万，或面临40年刑期
    苹果AI落地中国生变：正接触腾讯和字节，谁还有机会
    深圳重磅AI利好！5亿元训力券，1亿元模型券，重奖爆款智能硬件产品
    一口气融728亿！AI融资新纪录，比OpenAI还吸金，华人联合创办
    黄仁勋深度专访：谈英特尔CEO下课，回应美国半导体管制，用AI写演讲稿
    24万“AI民工”血汗，哺出一个95后亿万富豪
    深圳教授联手三星高管押注具身智能！被联想创投等看中了
    清华系大模型独角兽又融资，30亿元！今年商业化收入翻倍
    学校新来的AI体育老师，量身定制每天一小时最合理运动计划
    NVIDIA RTX™ 5880 Ada 性能解析与私有化大模型部署｜在线研讨会直播预告
    清华系出手！全球第一款端侧全模态理解模型开源
    国产AI算力黑马崛起，解密英博云全新产品矩阵
    XR一夜变天，谷歌“重做安卓”！三星MR头显亮牌，硬刚苹果
    2024 ACL Fellow出炉！全球九位科学家入选，华人有四位
    后Scaling Law时代，需要一份向量数据库的琅琊榜
    趣丸科技贾朔：探索音乐创作的技术平权——AI音乐的创新实践
    谷歌最强大模型登场！掀Agent风暴，放AI芯片大招，深夜突袭OpenAI
    让手机、PC、汽车、AIoT等“终端”都用好AI，搞定统一生态这事太重要了
     分类
    时事
    民生
    政务
    教育
    文化
    科技
    财富
    体娱
    健康
    情感
    旅行
    百科
    职场
    楼市
    企业
    乐活
    学术
    汽车
    时尚
    创业
    美食
    幽默
    美体
    文摘
     原创标签
    时事 社会 财经 军事 教育 体育 科技 汽车 科学 房产 搞笑 综艺 明星 音乐 动漫 游戏 时尚 健康 旅游 美食 生活 摄影 宠物 职场 育儿 情感 小说 曲艺 文化 历史 三农 文学 娱乐 电影 视频 图片 新闻 宗教 电视剧 纪录片 广告创意 壁纸头像 心灵鸡汤 星座命理 教育培训 艺术文化 金融财经 健康医疗 美妆时尚 餐饮美食 母婴育儿 社会新闻 工业农业 时事政治 星座占卜 幽默笑话 独立短篇 连载作品 文化历史 科技互联网
     发布位置
    广东 北京 山东 江苏 河南 浙江 山西 福建 河北 上海 四川 陕西 湖南 安徽 湖北 内蒙古 江西 云南 广西 甘肃 辽宁 黑龙江 贵州 新疆 重庆 吉林 天津 海南 青海 宁夏 西藏 香港 澳门 台湾 美国 加拿大 澳大利亚 日本 新加坡 英国 西班牙 新西兰 韩国 泰国 法国 德国 意大利 缅甸 菲律宾 马来西亚 越南 荷兰 柬埔寨 俄罗斯 巴西 智利 卢森堡 芬兰 瑞典 比利时 瑞士 土耳其 斐济 挪威 朝鲜 尼日利亚 阿根廷 匈牙利 爱尔兰 印度 老挝 葡萄牙 乌克兰 印度尼西亚 哈萨克斯坦 塔吉克斯坦 希腊 南非 蒙古 奥地利 肯尼亚 加纳 丹麦 津巴布韦 埃及 坦桑尼亚 捷克 阿联酋 安哥拉