FastAINet通过光纤直连专线加速大模型训练与推理

文摘   2024-10-28 09:53   北京  

     互联网某大厂(AI大模型一线公司)在中心城市有关键数据中心,存储有大量的训练数据。由于在中心城市,非常难于建设太多的智算中心,只能在中心城市建设了较多的小智算中心。

     由于大模型训练使用的数据量非常之大,全部走互联网,耗时惊人而且价格过高。通过使用FastAINet解决方案,成本下降明显,并且传输性能是互联网的数倍之多。

      同时,大厂也在测试不预加载数据,直接在训练时预加载训练数据的方案。

       如果您有遇到类似的问题,可以联系我。谢谢!

行恒编程1对1
Python、R、CS编程1对1咨询辅导,一对一在线/线下会议教学模式,超过100次的高分成功辅导真实案例。智算中心运营方案规划与大模型AI咨询服务,2021年开始从事大模型架构工作。
 最新文章