大模型应用的AI算力,云舰一站配齐

科技   2024-11-05 18:15   北京  

“生成医疗器械行业下一交易日的投资评级分析”,章强在“投研助手”系统中键入文字,不到3分钟的时间,一份内容完整、数据翔实的报告就出现了。


章强是一名券商投研分析师,工作中需要撰写大量的分析研报,投研助手可自动完成数据搜集、观点分析、图表绘制、排版成文等步骤,大幅提升报告撰写效率。投研助手,是一款基于大模型技术打造的AI智能体应用。


以上是大模型在证券投资领域应用的一个缩影,事实上,大模型已经在千行百业中潜移默化跑起来,背后是支持大模型应用的AI算力,正在繁忙地运转。


大模型应用落地,需要强劲的算力支持,京东云推出云舰智算平台,作为行业首个大规模多云异构算力调度的智算平台,为大模型应用提供一站式算力管理,具备跨地域、跨架构AI算力的统一管理,包括各类CPU、GPU和国产化AI加速芯片,降低运维复杂度。


云舰智算平台已经支持京东内部100+AI场景快速混合部署,实现AI算力资源秒级供给,异构算力调度效率提升超70%,它有三大特点:


  • AI算力统一管理:大模型应用所需的AI算力,不管是在本地数据中心算力还是云端算力,不管是英伟达GPU还是国产化架构的GPU,云舰智算平台都能将其汇聚形成统一的计算资源池,提供一致的AI算力。


  • 算力灵活切分:不同应用所需AI算力差异巨大,用户可将算力资源切分为多个独立的计算单元,算力切分粒度控制在1%,显存切分粒度控制在MB级,根据不同的任务需求动态分配资源。


  • 算力交易运营:提供完整的算力运营,支持算力交易,用户不仅可以灵活获取所需计算资源,还可将闲置算力租给其他用户,实现算力资源最大化利用。


某头部券商公司,积极探索大模型在研报撰写、营销、风控、客服等场景的应用,在算力方面,存在英伟达GPU、国产化GPU等多种架构芯片并存,云端算力与本地算力并存的现状,如何实现AI算力的统一管理,是该券商面临的难题。云舰智算平台具备AI算力池化能力,支持多区域、多计算卡、多产品形式下的算力统一管理,提供精确至1%的算力切分粒度,为该券商大模型应用提供强大的算力支持。


当前,京东云可提供从AI算力底座到智能体平台,一站式的大模型服务能力,助力企业打造更加智能的增长引擎,实现智能化转型升级。


- End -


更多了解

京东云
更懂产业的云
 最新文章