今年的HotChips将在下周召开, 看了一下日程[1]有好多有趣的议题, 建议各位关注一下, 当然渣也会及时的整理一些有趣的Session.
1. AI辅助的硬件设计
周日的Tutorials, 例如NV的《LLM Agents for Chip Design》, Synopsys的《AI Driven Optimization》感觉会是一些很有启发意义的Session.
2. 处理器相关
一年一度的芯片吹牛X大会, 基本上主要的玩家都来了, NV / Intel / AMD / Meta / Microsoft / Cerebras / Tenstorrent
OpenAI有一个Keynote 《Predictable Scaling and Infrastructure》应该是非常有趣的
英伟达《NVIDIA Blackwell Platform: Advancing Generative AI and Accelerated Computing》不确定会不会讲一些详细的B200平台的微架构, 蛮值得期待的, 特别是MCM相关的, 以前通过挖掘NV的论文写过一篇:
《英伟达GB200架构解析4: BlackWell多die和Cache一致性相关的分析》
另外对于B200单个Die估计有160个SM, 然后和Hopper的WGMMA不同的是, 可能B200在片上网络上构建了一些局部的2D Mesh/Ring的拓扑来做GEMM, 可能还会在Distributed Shared Memory的基础上再扩展一些L1.5 Cache/SMEM, 很期待它们NOC和TensorCore这一块的变化.
Intel也有一个Session介绍Gaudi3.《Intel Gaudi 3 AI Accelerator: Architected for Gen AI Training and Inference》,AMD Zen5的架构和MI300X都会有两个不同的Session覆盖. Tenstorrent也会有一些关于TT-Metalium相关的介绍《Blackhole and TT-Metalium - The Standalone AI Computer and its Programming Model》
云厂商这一块, 微软的《Inside MAIA 100》以及Meta的《Next Gen MTIA - Meta’s Recommendation Inference Accelerator》. 其它厂家还包括CerebrasWSE-3, SambaNova SN40L等.
然后国内的香山处理器也有一个Session.
3. 互联
博通有一个蛮有趣的Session《An AI Compute ASIC with Optical Attach to Enable Next Generation Scale-up Architectures》基于光的ScaleUP. Intel也会有一个光互联的Session《4 Tbit/s Optical Compute Interconnect Chiplet for XPU-to-XPU Connectivity》 可能又会引起一些ScaleUP铜互联和光互联的争论.
然后Enfabrica的《ACF-S: An 8-Tbit/s SuperNIC for High-Performance Data Movement in AI & Accelerated Compute Networks》 这个东西感觉既靠不上ScaleUP又靠不上ScaleOut, 总觉得有哪儿不对.
4. 特别关注 Tesla TTPoE
有一个令渣特别感兴趣的Session是关于Tesla DOJO的《DOJO: An Exa-Scale Lossy AI Network using the Tesla Transport Protocol over Ethernet (TTPoE)》
对这个感兴趣是因为在I/O节点上提供Memory访问能力这条路和渣个人的观点是一致的, 然后又是Lossy更加一致了. TTP(Tesla Transport Protocol)同时连接片上NOC和片间通信,只有中间加入一些Mem才能实现,这条路我认为才是当今ScaleUP NVLink和ScaleOut RDMA融合的方向
而这种融合就需要一个带内存的网卡, 又一次和渣的实现一致.
然后整个系统的互联如下
关键是整个交换网在以太上还是Lossy的, 同时还要实施高并发的能力, 那么乱序提交/重传幂等这些功能相信是TTPoE的关键. 所以很期待它是怎么做的, 和渣做的有什么不同,有什么渣没考虑清楚的.
这才是真正的从第一性原理出发, 去设计实现加速器互联的网络.
HotChips 2024: https://hotchips.org/advance-program/
