来源：
据
此外，
来自
由于模型可以反复“思考”问题，因此它们会创建更多输出标记和更长的生成周期，因此模型质量会不断提高。大量的测试时计算对于实现实时推理和来自DeepSeek-R1等推理模型的更高质量响应至关重要，这需要更大规模的推理部署。R1在需要逻辑推理、推理、数学、编码和语言理解的任务中提供了领先的准确性，同时还提供了高推理效率。
为了帮助开发人员安全地试验这些功能并构建自己的专用代理，6710亿参数的DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版在Build.nvidia.com上提供。DeepSeek-R1 NIM微服务可以在单个NVIDIA HGX H200系统上每秒提供多达3872个令牌。开发人员可以使用应用程序编程接口（API）进行测试和试验，该接口预计很快将作为可下载的NIM微服务提供，是NVIDIA AI Enterprise软件平台的一部分。
DeepSeek-R1 NIM微服务通过支持行业标准API简化了部署。企业可以通过在其首选的加速计算基础设施上运行NIM微服务来最大限度地提高安全性和数据隐私。通过使用NVIDIA AI Foundry和NVIDIA NeMo软件，企业还可以为专门的AI代理创建定制的DeepSeek-R1 NIM微服务。
DeepSeek-R1是一个大型混合专家(MoE)模型。它包含了令人印象深刻的6710亿个参数——比许多其他流行的开源LLM多10倍——支持128000个Token的大输入上下文长度。该模型还在每个层中使用了极多的专家。R1的每一层都有256位专家，每个Token并行路由到八个不同的专家进行评估。
为R1提供实时答案需要许多具有高计算性能的GPU，并通过高带宽和低延迟通信进行连接，以将提示令牌路由到所有专家进行推理。结合NVIDIA NIM微服务中提供的软件优化，一台使用NVLink和NVLink Switch连接的带有八个H200 GPU的服务器可以以每秒高达3872个令牌的速度运行完整的6710亿参数DeepSeek-R1模型。这种吞吐量是通过在每一层使用 NVIDIA Hopper 架构的FP8 Transformer Engine实现的，并且使用900GB/s的NVLink带宽进行MoE专家通信。
充分利用GPU的每秒浮点运算(FLOPS)性能对于实时推理至关重要。下一代NVIDIA Blackwell架构将通过第五代Tensor Core大幅提升 DeepSeek-R1等推理模型的测试时间扩展，第五代Tensor Core可提供高达20 petaflops的峰值FP4计算性能，以及专门针对推理优化的72-GPU NVLink域。
从开源到复现
近日，加州大学伯克利分校的研究人员开发出了中国开发的 AI 语言模型DeepSeek R1-Zero的小规模语言模型复制品，成本约为30美元。语言模型TinyZero是由校园研究生Jiayi Pan和其他三名研究人员领导的项目，由校园教授Alane Suhr教授和伊利诺伊大学厄巴纳-香槟分校助理教授Hao Peng指导。
DeepSeek的R1模型权重和代码库采用公共MIT许可证，因此Pan和他的团队能够访问基础代码来训练一个明显小得多的模型。潘表示，TinyZero同样是开源的，这意味着代码可供公众使用。他说，TinyZero 的开源性质允许人们下载代码并尝试训练和修改模型。“小规模复制非常容易实现，而且成本非常低，即使人们将其作为实验的副项目，”潘说。“从项目一开始，我们的目标基本上就是揭开如何训练这些模型的神秘面纱，更好地理解它们背后的科学和设计决策。”
昨天，
本周，硅谷、华盛顿、华尔街等地的领导人因中国人工智能公司DeepSeek的意外崛起而陷入混乱。许多分析师认为DeepSeek的成功动摇了推动美国人工智能行业发展的核心信念。
但人工智能科学家反驳说，许多担忧都是夸大其词。他们表示，尽管DeepSeek确实代表了人工智能效率的真正进步，但美国人工智能行业仍然具有关键优势。兰德公司人工智能研究员伦纳特·海姆表示：“这并不是人工智能前沿能力的飞跃。我认为市场只是搞错了。”
另外，截至目前，私募股权巨头、全球主要人工智能系统数据中心投资者
格雷表示，与投资界和企业界的大多数人一样，
格雷同时预计，随着人工智能计算能力成本的大幅下降，人工智能将得到更广泛的应用。换句话说，虽然人工智能模型回答特定问题所需的能力可能会减少，但人们会提出更多问题。格雷表示，
