知乎:手抓饼熊(已授权)
链接:https://zhuanlan.zhihu.com/p/12663989502
记录一下2024做大模型Infra的一些破防瞬间。
大厂All in大模型的历史背景
不上称四两重
日常GPU余额
当卡被其他人用了
平时的心里状态
接到任务时的心里状态
辛苦优化的功能算法不肯上线
模型训崩了
遇到友商打价格战
与开源方案对比性能前
与开源方案对比性能后
竞品发布指标第一后
最后截取部分评论,哈哈
又一年要过去了,乐呵一下,大家对目前的LLM Infra有何看法,敬请留言,直抒己见!