讯飞星火与华为数据存储强强联手，“以存强算” 助力AI集群算力利用率飙升30%

科技 2024-10-25 11:38 江苏

在风云变幻的AI大模型时代，科大讯飞与华为的联合拓展令人印象深刻。过去几年来，双方协同创新突破重重障碍，一次次证明国产算力基础设施可以支撑国产AI大模型良性发展，在关键性能和体验上不输世界领先玩家，同时具备更佳的成本效益。

10月24日，以“万物智联生生不息”为主题的科大讯飞全球1024开发者节隆重举行。下午的央国企论坛上，科大讯飞与华为再度强强联手，共同发布讯飞星火&华为数据存储AI解决方案，将AI集群算力利用率提升30%，助力国产大模型创新突围，在业内树立起“以存强算”的又一标杆。

该AI存储解决方案通过华为OceanStor A系列全新硬件、讯飞星火基础大模型软硬协同，深度优化，可支持万亿参数大模型，大规模算力集群的训推任务，实现训推全流程加速，助力大模型算力利用率大幅提升，为业界输出了一份凝结双方技术与经验的标准方案。

极致性能“以存强算”，AI集群算力利用率提升超30%

根据规模定律（Scaling Law），更强的算力加上更多的有效训练数据，可以得到更好的AI大模型。这意味着，大模型的训练和推理不仅需要强大的算力支持，还需要高效的存储系统来保证数据的快速读写和处理，存储系统的性能直接影响到大模型的训练效率和效果‌。

为了解决大模型训练中的存储挑战，需要采用高性能的存储方案。例如，使用高性能NAS存储系统可以显著提高数据读写速度，减少训练过程中的等待时间‌。此外，优化存储架构和采用更适合大模型训练的存储解决方案，也可以提高训练效率‌。

此番发布的讯飞星火&华为数据存储AI解决方案，正采用了华为新一代OceanStor A系列AI存储，通过创新数控分离架构，高性能并行客户端，实现了百TB级带宽，百亿级IOPS，将训练集加载效率提升8倍，断点续训速度提升4倍，最终使得AI集群算力的利用率提升了超过30%。

资料显示，随着大模型集群规模增长，集群的算力利用率并未同步提升，千卡以上大模型算力利用率不足50%。而科大讯飞联合华为搭建的大规模AI集群，算力利用率常年保持在60%以上的高位，大幅领先于业内水平，背后的支撑之一正是华为数据存储提供的高性能存力底座。

超大规模调度，AI数据湖让大模型数据全局可管可用

在追求存储性能的同时，存储容量也是大模型存力底座的关键。随着AI技术快速发展，AI大模型从单模态发展到多模态，短短数年时间大模型训练的数据量已呈现1000倍的增长，亟需为AI算力集群建设AI数据湖，规模扩展并打破数据烟囱，实现全局流动可管可用。

大模型训练需要处理的数据通常以图片、文档等小文件的形式存在，传统的存储系统面对这些小文件存在加载速度慢的问题，影响训练效率‌。企业拥抱大模型首当其冲便是要对这些海量多源异构数据进行高效管理，做好数据归集、预处理等准备工作，才能保障大模型训练的效率及效果。

在这个维度，华为新一代OceanStor A系列AI存储具备无损多协议互通、冷热数据智能分级专业存储能力，支持512控横向大规模扩展能力，支持EB级存储空间；通过使用统一的AI数据湖存储大模型数据，可实现冷热数据分级存储，跨越数据孤岛，打破数据界限，确保了模型内数据的高效流动，为大模型训练做好充分的数据准备。

伴随着讯飞星火&华为数据存储AI解决方案的发布，讯飞星火训推平台的AI数据湖成功经验也浮出水面。据介绍，经过多轮技术迭代演进，讯飞建设AI数据湖底座，有效支撑了十万亿参数级别的通用多模态大模型训练，并大幅提升了集群算力利用率。

技术与经验深度耦合，构建AI Ready的数据基础设施

值得注意的是，此次发布的讯飞星火&华为数据存储AI解决方案并非双方的“即兴之作”，此前双方便在存算分离、统一存储平台等方面展开了合作。随着大模型持续演进，两家又于去年7月正式启动AI存力底座的联合创新项目，旨在共同打造面向AI大模型场景的最佳数据存储解决方案。

实际上，在驱动AI发展的三驾马车中，随着算力逐渐趋同、算法加速收敛，蓬勃发展的数据成了影响大模型效果的核心要素。业界也逐渐意识到，数据规模和质量决定AI智能的高度，为了提升从数据获取、数据预处理、模型训练、推理应用的AI全流程效率，消除数据孤岛带来的海量数据搬迁，一个高性能、稳定可靠的统一存力底座是必不可少的基石。

为此，科大讯飞在依托全国产化算力平台打造讯飞星火认知基础大模型时，也基于大模型数据和训练闭环全流程设计、训练和推理一体化设计的思路，自研超大规模大模型训练平台，迭代升级自家的大模型，先行先试趟出了一条探索Storage for AI、构建AI Ready的数据基础设施的“讯飞之道”。

资料显示，在讯飞大模型训练平台的加持下，讯飞星火大模型历经数个版本的升级，目前已在文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模交互7大核心能力维度实现全国领先，通过中国信通院AIGC大模型基础能力评测并获得4+级的高评分，部分能力更是全面超过OpenAI的最新模型GPT-4 Turbo。

实践出真知，相信这种源自讯飞星火与华为数据存储双方的技术与经验，深度耦合而“孵化”出来的AI存储解决方案，必将能够加速AI Ready的数据基础设施建设，为客户带来高性能、高扩展和更智能的AI训推体验，推动AI产业发展，将AI大模型的算力真正转化为企业组织的新质生产力！

http://mp.weixin.qq.com/s?__biz=MzAxNDA1NDk1OQ==&mid=2651329045&idx=1&sn=c543a0416998b51d212249c2fff2ee6c

极客网

科技使能新商业——极客网创办于2012年，尊崇“科学技术是第一生产力”，汇聚500位科技及垂直行业创作者，以深度评论和精选资讯联接科技商业创新者、观察者和读者，为30万+公号读者呈现科技创新在新商业变革中的角色和能量。

最新文章

六载华为开发者大赛，“赛”出云上开发新生态

2024年法兰克福上海汽配展开幕在即！探索8大热门主题路线，畅享高效观展体验！

"以智赋网"关键一跃！华为首发Ambient Site构建无线智能化底座

“智网慧城”计划启动全球招募，以智赋网成MBBF 2024焦点

英伟达最亲密的伙伴SuperMicro股价大跌，对AI产业影响几何？

请回答MBBF 2024：关于移动AI时代的一切

SK电讯转型：打造“AI基础设施高速公路”，改变网络发展模式

讯飞星火与华为数据存储强强联手，“以存强算” 助力AI集群算力利用率飙升30%

安永调查：工作场所GenAI采用率飙升至75%，技术行业高达90%

阿斯麦订单“腰斩”股价暴跌16%，半导体产业寒冬来了？

他山之石！盘点美国2024年融资过亿的39家AI创企

MBBF 2024前瞻：在浪漫无尽的土耳其，见证5G-A×AI无限体验

“算力之光”照耀中原大地，超聚变智聚生态闪耀全场

暴增800%！埃森哲2024财年GenAI业务收入飙升至9亿美元

从“根技术”到“根生态”，华为云携手开发者“智”启新境

2025年5月27-30日广州光影显示元宇宙展，共绘数字光影新篇章！

上海5G-A，“魔”力大绽放

AI+AR大有可为！中美企业竞逐AI眼镜

降温大PK，为何各大智算中心都偏爱亿万克液冷？

什么？今天的ChatGPT和当初的“拨号上网”一样原始？

突破垂域应用屏障，东信营赛大模型何以超越GPT-4 Turbo？

“连接+算力+AI”三要素集一身，云手机领跑移动AI时代入口争夺战

谷歌微软用电量比100多个国家还多！生成式AI推高能耗

智算与大模型人才如何发展？这份白皮书给出“通关秘笈”

AI人形机器人才是未来！美国科技企业加倍下注

红杉报告：为了“填平”硬件成本，AI产业年营收必须达到6000亿美元

openGauss开源四载，数据库根社区结出丰硕果实

前车之鉴！英伟达股价会像思科英特尔一样暴跌吗？

2024慕尼黑上海电子展丨展商名单及展位图公布！

华为杨超斌：“以智赋网” 迈向高阶自治，跃升数智生产力

走出AI大模型“焦虑症”，政企行业找到了“最优解”

巴黎成为欧洲AI中心大学开始输出AI创始人

5G一次“以退为进”的演进，正激活RedCap产业大价值

谁在投资AI企业？英伟达微软出手阔绰，谷歌相对“抠搜”

全球无人驾驶发展扫描中美之争还没分出胜负

在第七届数字中国建设峰会，看见数字中国背后的“昆仑”动力

2024慕尼黑上海电子展丨观众预登记通道开启！

华为李捷：5G-A高质量网络激发万亿级增长新空间

OpenAI和微软并非真心朋友，两家亦敌亦友关系复杂

京东Q1财报再超预期，利润、营收双增唱响“新信号”

华为全屋智能“反跟风”：不喊大模型口号，精耕AI康养

外国记者参加北京车展后感叹：中国汽车已经无惧西方了

东京大学教授：5G发展不充分影响日本6G战略推进

知名分析机构胡向东：2024年中国Wi-Fi 7出货占比将超20%，加密技术补齐安全短板

固态电池汽车最近炒得火热千公里续航时代真的要来了吗？

特斯拉带头大哥地位不保，问题出在哪？

科技圈盛会！北京InfoComm China 4月17-19日举办，多款“AI+”与专业视听新品亮相！

结缘昇腾投身AI开发，南开学子不到一年给港口安上AI“天眼”

如果谷歌与苹果达成AI合作微软与OpenAI的联盟会不会地位难保？

植物工厂太贵？ 2024光明多多垂直农业挑战赛求解如何种出更实惠的智慧生菜

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉