首页
时事
民生
政务
教育
文化
科技
财富
体娱
健康
情感
更多
旅行
百科
职场
楼市
企业
乐活
学术
汽车
时尚
创业
美食
幽默
美体
文摘
2024 Hot Chips|CerebrasAI 推理芯片为大模型提供新思路
汽车
2024-09-12 07:45
江苏
芝能智芯出品
在 Hot Chips 2024 大会上,Cerebras 展示了其在 AI 推理领域的最新进展,通过其晶圆规模引擎
(Wafer-Scale Engine, WSE-3)
芯片超越了现有的 AI 计算架构,例如 NVIDIA 的 H100 GPU。
Cerebras 在推理性能、能效和扩展性方面取得的显著突破,通过采用大规模的片上内存
(SRAM)
来规避高带宽内存
(HBM)
的限制。
Part 1
晶圆规模计算芯片
Cerebras 的 WSE-3 是世界上最大的计算芯片,拥有 44GB 的片上 SRAM 和超过 850,000 个计算核心。
与传统的 GPU 将一个大晶圆切割成多个小芯片的方式不同,Cerebras 的 WSE-3 保留了整个晶圆,这样做的好处是将所有计算都集中在一个芯片上,减少了数据移动的需求和延迟。
通过这种方法,Cerebras 可以将整个 AI 模型放入片上内存中,而不需要将部分模型转移到芯片外的 HBM 存储器中。
在推理性能方面,Cerebras 表示其解决方案显著超越了基于 NVIDIA H100 的系统。
在 Llama3.1-8B 模型的推理任务中,Cerebras 的 WSE-3 比 Microsoft Azure 上的 NVIDIA H100 快 20 倍。
此外,Cerebras 还展示了在单芯片上运行更大模型
(如 Llama3.1-70B)
的能力,与 NVIDIA DGX H100 解决方案相比,该解决方案展现出了显著的吞吐量和延迟优势。
Part 2
高效的数据传输和计算架构
Cerebras 的 WSE-3 通过直接在芯片上处理数据,避免了传统 GPU 系统所需的高延迟高速串行链路、PCB 传输、交换芯片等复杂路径。
这样一来,它能够在更低功率下提供更大的内存带宽。
例如,当需要在 H100 集群中实现高内存带宽时,必须使用多个并行接口,而在 Cerebras 的设计中,数据传输仅需在芯片上完成,简化了体系结构并提高了效率。
Cerebras 的 WSE-3 提供了灵活的多用户和多模型并行计算能力。
通过其大规模的片上内存,多个用户可以在同一芯片上同时运行不同的 AI 推理任务,极大地提高了计算资源的利用效率。
同时,由于其巨大的带宽,Cerebras 能够支持更小的批量大小
(例如批量大小为 1)
,而不会遇到传统 GPU 系统在小批量推理中性能下降的情况。
Cerebras 的 WSE-3 展示了 AI 推理领域的巨大潜力。
通过横向扩展,Cerebras 可以将计算扩展到多个晶圆上,例如在需要更大规模计算的情况下,可以将模型扩展到四个晶圆上,这种方法可以轻松超越传统 GPU 无法达到的延迟和吞吐量水平。
此外,Cerebras 已经在多个数据中心
(如圣克拉拉、斯托克顿和达拉斯)
部署了其集群,并计划进一步扩展。
小结
Cerebras 的晶圆规模计算芯片在 Hot Chips 2024 上干货比较多,通过打破 HBM 的限制、在芯片上直接处理数据、以及显著的性能提升,为大型模型的推理提供了新的思路。
http://mp.weixin.qq.com/s?__biz=MjM5MzM5MDY1MQ==&mid=2658291278&idx=3&sn=b16e21386fb46074669cee755cf0d395
芝能汽车
之前是汽车电子设计,现在2024在芝能汽车,紧跟技术创新,助力行业发展。
最新文章
「新能源周销量」2024年第36周:月初回落
芝能车市周报|第35周:长城、长安和广汽的三家转型对比
2024 Hot Chips|英特尔至强 6 SoC Hello Granite Rapids-D
「欧洲EV月报」8月欧洲的汽车销量塌了
芝能车市周报|第35周 比亚迪、吉利和奇瑞三家对比
2024 Hot Chips|Enfabrica ACF-S 超大规模网络
长安2024上半年:营收在涨,利润下降
芝能周报|第35周: 增程和插电车型的产品密集度正不断提升
2024 Hot Chips|CerebrasAI 推理芯片为大模型提供新思路
广汽2024上半年财报:发展转型要如何走?
英伟达第二季度表现分析——如何看待其长期价值?
35周纯电汽车销量分析:高端化梦碎,增长乏力
上汽集团2024上半年:18年销冠地位面临终结
新能源车企周报|广汽8月第四周
2024 Hot Chips|英特尔4Tbps光纤芯片 高速连接XPU
特斯拉全球销量 :8月交付疲软
新能源车企周报|上汽集团8月第四周
半导体封装:3.5D技术解析
三菱汽车2024上半年:最不赚钱的日本车企
新能源车企周报|长安8月第4周 每周两万台
GlobalFoundries二季度财报:传统半导体龙头的表现
新能源周销量|2024年第35周 热点品牌汇总
新能源车企周报|长城8月第4周 单周过万
Analog Devices 2024 第二季度:局部增长 营收总体大幅下降
长城2024上半年:净利70.8亿
小米汽车的内功:智能驾驶的技术进展
2024 Hot Chips|AMD Zen 5 核心亮相
赛力斯问界2024上半年:跟着华为躺赢?
新能源车企周报|吉利8月第4周:银河发力,极氪波动较大
2024 Hot Chips|Microsoft MAIA 100 AI 加速器,Azure 的核心硬件
比亚迪2024上半年:销量出色,如何高端化将成挑战
新能源车企周报|奇瑞8月第4周 上升状态明显
2024 Hot Chips |博通展示重要技术突破:AI计算ASIC
现代的全球战略:电动与混合动力双驱动
新能源车企周报|比亚迪在8月第四周,单周9万台
2024 Hot Chips |适用于视觉和汽车的 AMD Versal AI Edge 系列第二代
芝能月报|新能源车企8月分别交付了多少?
FORVIA 2024 上半年:欧洲零部件企业的代表
2024 Hot Chips |Meta 下一代MTIA:专用于推荐推理的AI处理器
新能源周销量|2024年第34周:8月新能源接近百万
现代摩比斯2024上半年:发展不错的零部件企业代表
2024 Hot Chips |高通Snapdragon X Elite:Oryon CPU 设计与架构
激光雷达产业2024上半年:市场规模达59万
华为的汽车业务到底有多赚钱?
2024 Hot Chips |特斯拉超级计算机 DOJO
极氪2024上半年盘点:营收增加58%,净亏损收窄
Hotchips2024|英伟达Blackwell的技术细节
传统变速箱企业爱信精机:2024年上半年营收下降
理想汽车2024上半年:销量上涨,单车均价27.9万
汽车周销量第33周:奇瑞汽车每周2万+,处于上升期
分类
时事
民生
政务
教育
文化
科技
财富
体娱
健康
情感
旅行
百科
职场
楼市
企业
乐活
学术
汽车
时尚
创业
美食
幽默
美体
文摘
原创标签
时事
社会
财经
军事
教育
体育
科技
汽车
科学
房产
搞笑
综艺
明星
音乐
动漫
游戏
时尚
健康
旅游
美食
生活
摄影
宠物
职场
育儿
情感
小说
曲艺
文化
历史
三农
文学
娱乐
电影
视频
图片
新闻
宗教
电视剧
纪录片
广告创意
壁纸头像
心灵鸡汤
星座命理
教育培训
艺术文化
金融财经
健康医疗
美妆时尚
餐饮美食
母婴育儿
社会新闻
工业农业
时事政治
星座占卜
幽默笑话
独立短篇
连载作品
文化历史
科技互联网
发布位置
广东
北京
山东
江苏
河南
浙江
山西
福建
河北
上海
四川
陕西
湖南
安徽
湖北
内蒙古
江西
云南
广西
甘肃
辽宁
黑龙江
贵州
新疆
重庆
吉林
天津
海南
青海
宁夏
西藏
香港
澳门
台湾
美国
加拿大
澳大利亚
日本
新加坡
英国
西班牙
新西兰
韩国
泰国
法国
德国
意大利
缅甸
菲律宾
马来西亚
越南
荷兰
柬埔寨
俄罗斯
巴西
智利
卢森堡
芬兰
瑞典
比利时
瑞士
土耳其
斐济
挪威
朝鲜
尼日利亚
阿根廷
匈牙利
爱尔兰
印度
老挝
葡萄牙
乌克兰
印度尼西亚
哈萨克斯坦
塔吉克斯坦
希腊
南非
蒙古
奥地利
肯尼亚
加纳
丹麦
津巴布韦
埃及
坦桑尼亚
捷克
阿联酋
安哥拉