新智元报道
新智元报道
【新智元导读】600万美金训出击败GPT-4o大模型，竟被中国团队实现了！今天，DeepSeek-V3在全网掀起巨大风暴，仅凭671B参数在数学代码性能上，堪比国外大模型Claude 3.5 Sonnet。
首先最重要的是，我们正式进入了分布式推理时代。一台单GPU机器（80×8=640G）的显存已经无法容纳所有参数。虽然更新大显存机器确实可以装下模型，但不论如何，都需要分布式推理来保证性能和未来扩展。
即使在单个模型中，也需要关注MoE的负载均衡，因为每次推理只有大约5%的参数激活。
论文中特别提到引入「redundantexpert」概念，正是为了解决这个问题。这已经不再是「一个模型多个副本」的问题、而是「每个模型子模块都有多个副本」，然后独立扩缩容。
输入token很容易实现盈利。根据个人专业判断，需要大量优化才能使输出token盈利或实现收支平衡。但如果我们相信「软件摩尔定律」，这就不是问题：每18个月单token成本减半。
需要进行分块（tile）或块（block）级别的量化。
等硬件支持FP4以后，肯定还有不少可以玩的花样冷知识：FP4乘法实际上就是个16×16的table lookup等等……
中国模型一夜击败GPT-4o，100%开源
训练细节
采用无辅助损失（auxiliary-loss-free）方法来实现负载均衡，目的是最小化负载均衡对V3性能造成的不利影响。
采用多token预测训练目标，结果证明能够提升V3在评估基准上的整体性能。
网友炸锅了
