GPU集群的稳定性终于不再是个「坑」了！
Lepton AI与DigitalOcean强强联手，将大规模GPU集群的正常运行时间提升到了惊人的99.5%以上。
这一成就远远超过了行业标准中98%左右的服务水平协议（SLA）。
为什么这个数字如此重要？
要知道，GPU可不像CPU那么「乖巧」。每个NVIDIA HGX系统通常包含8个GPU，每个GPU本身就是一台小型计算机。这种复杂性导致它们的故障率比单CPU机器高出不少。
更糟糕的是，一旦GPU出现故障，影响可能会被放大到难以想象的程度。想象一下，你正在进行一个涉及成百上千个GPU的分布式训练任务，突然有一个GPU罢工了。这可能意味着整个任务都得重启，因为所有节点必须实时同步。即使是推理工作负载，大模型的缓慢加载时间和维护缓冲容量的成本也会让每次故障变得比CPU微服务故障昂贵得多。
那么，Lepton AI是如何实现这个「不可能完成的任务」的呢？
他们首先采用了主动健康监控策略。
不再是被动等待硬件信号，而是使用先进的监控工具实时评估GPU和机器的健康状况。这种方法将错误检测时间缩短到了几秒钟，大大提高了问题解决的效率。
另外，Lepton团队拥有超过10年的GPU工作负载管理经验。
他们利用AI技术从系统日志和历史信息中快速识别问题根源，为基础设施提供商提供准确的描述，加速恢复过程。
不仅如此，Lepton平台还能自动识别训练中的常见问题，并通知用户该如何处理。上图展示了Lepton平台如何从冗长的训练日志中自动理解问题根源。
DigitalOcean提供的专门支持和两家公司之间的紧密合作也功不可没。他们不仅在解决当前挑战方面表现出色，还在持续优化基础设施，以适应生成式AI不断演变的需求。
Lepton创始人兼CEO贾扬清（Yangqing Jia）表示：「作为一个从研究员转型为工程师再到创业者的人，看到AI基础设施从桌下嗡嗡作响的一个GPU发展到现在大规模、互联的百万美元集群，真是令人惊叹。要把事情做对并取得成功，需要行业专家的努力。我对这次合作感到非常兴奋！」
这种高度可靠的GPU基础设施不仅仅是技术上的进步，更是为AI开发者和企业提供了一个稳定、流畅的平台，无论是用于模型训练还是推理。
在瞬息万变的生成式AI 潮流中，这样的可靠性或将是一个巨大的竞争优势！
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
