2024年算力采购:
芯片采购量:拿了超过二十多万张的H20,大概4到5万张的L20,采购以英伟达的卡为主,还买了一些升腾、海光的K100-AI、寒武纪等芯片,以及少量的昆仑芯类型的芯片。此外,还进阶采购了一些英伟达的H100芯片,但总量不多。
服务器预算:2024年CAPEX的服务器预算为850亿到880亿,其中有大概60万台的通用CPU(英特尔、AMD),构成了算力储备的基本盘。
2025年算力规划:
对国内训练卡的看法:认为国内训练芯片不足以承接自身模型训练任务,主要用国产芯片承接推理需求。
芯片采购策略:对芯片采购不设上限,只要算力采购的合理性和业务必须性没问题。
算力预算:预计2025年算力预算为1400到1500亿,其中通算服务器整机的预算函数增加,可能从60万台的兜底数字增加到80万或100万,CPU采购量可能会上扬30到40万台,通算预算可能会奔着800亿再加一些。海外算力预算500亿左右,国内400亿左右,英伟达份额从去年的80%多下降到40%多。
多模态应用场景:重点关注审核、风控监测、摄像头监测、教育硬件、智能家居、智能设备和消费机器人等领域,以及科研行业的数据验证和比对、互联网内容审核等。抖音主站应用日均调用量在1.5万亿到1.6万亿,带动了大量算力需求。
应用进展预判:认为模型应用的渗透和商业化会随着时间推移快速落地,多模态场景(如图像理解、视频生成、视频理解等)对算力开销会有较大增加,预计明年综合调用量可能从4万亿到40万亿扩容十倍,但这是结构性扩容,文本占比会压缩,其他模态调用量会逐步增加。
传统产品效果提升:随着能力和精度提升,传统产品在严肃场景中能实现较好效果,明年可能会持续对这些场景进行赋能,载体可能更倾向于硬件。
内部需求:认为海外算力会逐步承接训练动作,国内部分芯片会释放到模型推理业务资源池。模型需求明显,所带来的算力增长也可能明显,但很多场景落地和商业化需要逐步适配和打磨。
下游需求:对自身应用落地信心较高,认为下游应用场景中,真正的买的很多芯片都是围绕自有需求,外场调用增长预期没有内部那么乐观。
GPU租赁毛利及规模:2025年GPU租赁市场毛利会从现在的20%回落到10%以内,租赁价格已在下降。预计明年租赁业务规模会从今年的小几十亿奔着大几十亿去做,释放更多芯片算力会对市场租赁价格产生冲击和影响。
租赁业务计划及预期:计划在2025年做到大几十亿收入,以补充云的营收。不太在意租赁价格,更看重营收规模,有资源成本优势,在价格层有信心与友商PK。租赁业务对AI本身帮助不大,主要是为了赚钱,且与部分租赁客户的生态不一定完全互补甚至可能有冲突。
2025年上半年国产芯片采购:2025年上半年,字节算力入库流程中,昆仑芯走到了集群验证环节,昇腾和寒武纪流程相对靠前,每家可能有一万张卡左右的订单,昆仑芯若努力有机会分到小几万张订单,海光的DW100入库节奏较慢,若能在一月份送样,二月份出结果,五六月份以后有机会拿到批量订单。
国产芯片评价:对国产卡座训练没期待,只用其做推理。以A800为锚定,对国内现有芯片进行比对,910B、920C和690排序靠前,海光的BW100、昆仑芯的P800、A800等次之。认为现在国产芯片的综合能力还不错,但很多公司不愿投入人力精力做测试。
国内云厂增长预期:百度增长较小,阿里会跟着字节的节奏往前,投入不会特别小,腾讯的预算不太清楚,但量也不算小。云行业可能有40%到50%的增速,但钱不一定花得出去,因为不是所有厂商都有大量预算投入海外算力资源。
AI云增长预期:围绕模型所产生的收入保守翻倍,高点在搜索里可能翻几倍。市场平均翻个三五倍也合理,字节自己定的目标是to B这侧翻十倍。
训练投入原因:字节老板有冲劲,愿意在前沿投入力度和预算去探索AI,尽管模型创新可能在放缓,但Meta、Amazon、OpenAI、Google等公司也未暂停,字节的投入量与这些公司相比不算多。同时,字节高层认可AI,持续投入,未看到力度缩减。
组织架构及人员:字节的海外模型训练由全球模型团队牵头,团队成员分布在新加坡、圣何塞、西雅图等地,共一千四五百人,核心负责人是张一鸣本人。
加微信领取星球优惠