1月31日，英伟达官宣，DeepSeek-R1模型已作为NVIDIA NIM微服务预览版，在英伟达面向开发者的网站上发布。
据介绍，DeepSeek-R1 NIM微服务在单个英伟达HGX H200系统上，每秒最多可处理3872个Token。英伟达方面介绍称，DeepSeek-R1模型是最先进、高效的大型语言模型，在推理、数学和编码方面表现出色。
英伟达称，执行这一系列推理过程（使用推理得出最佳答案）称为测试时间扩展。DeepSeek-R1是此扩展定律的完美示例，证明了加速计算对于代理AI推理的需求至关重要。
由于模型可以反复“思考”问题，因此它们会创建更多输出Token和更长的生成周期，模型质量会不断提高。大量的测试时计算对于实现实时推理和来自DeepSeek-R1等推理模型的更高质量响应至关重要，这需要更大规模的推理部署。R1在需要逻辑推理、推理、数学、编码和语言理解的任务中提供了领先的准确性，同时还提供了高推理效率。
英伟达表示，为了帮助开发者安全地实验这些功能并构建自己的专业代理，拥有6710亿参数的DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版在build.nvidia.com上线。DeepSeek-R1 NIM微服务可以在单个NVIDIA HGX H200系统上实现每秒3872个Token的处理能力。
英伟达称，开发人员可以使用应用程序编程接口（API）进行测试和试验，该接口预计很快将作为可下载的NIM微服务提供，作为NVIDIA AI Enterprise软件平台的一部分。
DeepSeek-R1 NIM微服务通过支持行业标准API来简化部署。企业可以在其首选的加速计算基础设施上运行NIM微服务，以最大化安全性和数据隐私。借助NVIDIA AI Foundry和NVIDIA NeMo 软件，企业还将能够创建定制化的DeepSeek-R1 NIM微服务，用于专业AI代理。
● 联通元老 | 联通首任总经理有多强？曾是连续三届中候补！
坚持推文不易
您的赞赏是对我们最大的支持
小手一抖，立马转走！
