AI观察20240527:MSFT Build,NV财报,SNOW安全危机

文摘   科技   2024-06-03 15:43   上海  

关注共识粉碎机,获取历史讨论会纪要

公众号会定期更新一些对AI行业的看法,内容会较久谦小程序和PC论坛平台延迟发送一周时间,如果对详细内容感兴趣就点击下文的久谦销售同事进行试用或采购。

下周一会推文《从这个AI应用财报季看到了什么》

本周同期开始路演付费报《互联技术以及未来发展趋势》

1 微软Build大会


微软一直想做一个知识库+Agent的全家桶:

  • 包括M365 Copilot可以调用M365 Cloud上的文件,以及这次推出的Copilot Stuido

  • Copilot Studio的核心是开放定制能力和配置各种接口

  • 未来的场景是对齐目前小团队创业公司提供的2B解决方案,典型的像用GenAI来做简单的HR Workflow,或者大学实验室的研究知识库

  • 这种类似形态我们在国内都能见到很多几个人的项目团队在为客户提供,比如拉出来几个交大的AI pHD,通过开源模型就可以上手帮客户做了

  • 这往后也是个比较复杂的生态建设,所以可以想象到未来很多集成商,都会围绕M365 Copilot帮客户做数据清洗和调用调优(甚至还会用到Fabric),以及帮客户用Copilot Stuido搭建一部分简单场景,做起来也不会那么快,有很多三方配合过程,做AI 2B不能假设客户都懂自己做

  • 这段是我感觉最亮点的,看完对微软更有信心了,但对其他软件行业更担心了,Copilot Studio+M365 Copilot如果和集成商生态合作的好,就像变形金刚一样,可以做太多软件同行的工作了


Maia项目做起来不会很顺利,Cobalt相对更明确:

  • a微软强的地方是有一个还不错的老芯片团队,但缺点是芯片架构设计,Maia本质还是大模型时代之前设计的芯片,在算子、计算存储比、pipeline方面没有完全考虑到大模型时代的需求,更多适配的上一代的AI与ML模型

  • 微软的整体文化也更偏产品与应用,芯片这类长期高投入看不到短期回报的事情,在目标管理上也很有难度

  • 相比而言Cobalt的场景因为有AWS Graviton开路更加容易,Graviton在AWS的Incremental Share已经非常高了,自下而上各家软件公司也都开始Recoding适配Graviton生态


AI PC:

  • Recall(Rewind)场景可以在端侧跑,包括Rewind之前的卖点就是可以端跑,照顾隐私,但之前的效果也有很多诟病,期待Surface Recall会有不同效果

  • 以及Phi2/Phi3模型都很适合做翻译、Transcript、Summary的工作,带着Surface经常跑来跑去,连不上网的场景也很多,其他的GPT4t/GPT4o场景还是得在云跑

  • 相比AI手机,AI PC在调用Windows软件上还很困难,这主要是Windows和iOS的区别,以及现在Windows本身的数据格式也不是为GenAI设计的,这里也有很多工程量要做

  • AI手机中,OpenAI的合作如果到了Siri系统层,调起APP难度都更低,后面更多是生态合作,例如微信开不开放、滴滴开不开放的问题

  • 从现在的情况来看,包括Consumer M365 Copilot等产品,特别适合在会议/邮件端的Office Copilot场景,未来都可以上线移动端

模型是怎么降本的:

  • 这也是最近路演客户频繁和我们聊到的话题,Satya也花了很长时间在发布会上讲如何更便宜、更好

  • 最大的降本来源于MOE模式的进化,我们可以做个简单的类比,GPT4是个16个Expert的通才,GPT4o是个200+Expert的专才,用户每次调用2个Expert如果都是通才就会有很多参数用不到,那如果专才的能力(参数)分配得到,那效率就会更高,激活参数也会下来

  • 每一代模型的第一代都是For 登月需求,后续更多是工程优化,MOE是现在的主流方向,其他的还有包括压缩激活的Attention(Deepseek也在用这个方法)

  • 只有更大的数据量(或者更高质量)和更大的参数量,才可以让模型变得更聪明,而不是工程优化


这么多卡用去哪:

  • 这也是客户最近频繁和我们讨论的话题

  • 简单看需求的话OpenAI的推理用卡,今年底可能比去年底要多6-7倍;Azure OpenAI的推理用卡可能要多4-5倍;而Chatgpt才开放GPT4o免费用,用卡量也会因模型难度上升提升一个量级

  • 各类Copilot合起来可能要5-10万张

  • AWS卖卡风生水起了,Azure H100的各类介绍到今年3/4月才开始有,而AWS的H100去年3季度就开卖了;微软主要的卡过去都让位给OpenAI和Azure OpenAI API,今年也会开始有卡让给H100 Instance

  • 新来的Inflection团队要训练MAI-500B大模型

2 NV业绩点评


NV 点评:

  • 24Q1 收入 260亿, 毛利率 78.4%, 净利润 148.81亿, 其中DC 收入达225亿 (GPU 193亿, Networking 31亿)

  • 24Q2 指引: 收入 28bn, 毛利率 74.8+/-0.7%

  • 拆股计划: 1拆10, 预计将于6/10开市时以拆分调整后的方式开始交易

  • 财报及指引皆大超市场一致预期, 拆股计划+ H/B卡供不应求趋势延续给予市场较大信心


财报会议中重点信息:

  • H200+B卡供不应求趋势延续, 缓解市场对产品迭代带来的空窗期焦虑, 且管理层预计B卡在今年就能带来显著收入, 从主要客户结构上看, 除以往CSP+企业客户+算力租赁外, 主权AI的接入带来新的增量收入, 预计全年会有大几十亿美金的收入贡献

  • 二季度H20+H200会开始放量, 毛利环比微降, 符合先前管理层指引全年毛利率mid-70%

  • IB需求依旧旺盛, Q1收入环比下滑只是阶段性, 且管理层预计Spectrum-4方案在全年有望贡献数十亿美金收入, 同时具备超大集群 (100K GPU)组网能力, 整体网络业务在Q2恢复环比增长


缺不缺卡:

  • 缺卡,我们最近和Coreweave、Lambda以及北美三大CSP都做了沟通,还是缺卡(更详细的情况欢迎留意我们后面算力租赁公司情况的报告)

  • 头部的大模型公司也很缺卡,训练资源仍然不足

  • 然后就是做超大集群的部门工作量严重饱和


ROI好不好:

  • 老黄说1块钱GPU可以变5块钱

  • 你现在在AWS上买Ondemand的GPU,1块钱不止能卖5块钱,甚至能卖6-7块钱;便宜点买3yr长约大客户,大概相当于3块钱,但价格都是动态变动

  • 总能找到1块钱变5块钱的场景


3 SNOW安全危机


事情源于之前的桑坦德银行和Ticketmaster数据泄露,目前感觉这个事情和Snowflake的关系不是很大,大概率因为客户设置的登录安全方式过于简单所导致的可能行比较大。

Hudson Rock公司之前给的攻击路径过于玄幻(需要成功绕过Okta,然后进入Servicenow,然后Servicenow里面还得恰好有Snow客户的账户认证信息)导致整个攻击看上去非常不可能(现在该篇文章已经被Hudson Rock撤掉了)。

第一要绕过Okta,这本身有点难度。

第二主要Servicenow主要是IT 生成ticket的处理,即不会涉及客户数据本身 ,也非常罕见能有客户身份系统的管理员权限下的相关信息。

Snow给的解释是:

  • 没有看到有人通过snow获得了大量账户登录验证授权

  • Snow有个demo账号被泄露了,但是和上面讲的那个攻击路径没有关系,是一般的用户名、密码泄露所导致的

  • 看到有人通过偷来、”暗网“买的验证授权在登陆Snow(Snow和Mandiant在联合查,这是一般被攻击方应尽的义务,但是不代表Snow就是责任方)

针对第三点,Snow也给用户的建议是尽量用MFA(多因素认证)来升级原来的单因素认证(SFA),简单来说就是登录账户要用用户名+密码和短信认证,总是要比单纯的用户名+密码要安全。



我们即将发售三篇报告,其内容是:

  • 互联技术以及未来发展趋势(本周可约路演)

  • 北美算力租赁厂商近况及供需平衡情况

  • 美国数据中心与电力情况

在过去的一个月,我们已经发售了三篇报告:

  • 算力需求场景测算

  • AI与GPU在META中的应用

  • 微软Copilot进展、GenAI售卖场景以及如何影响公有云选择

对报告感兴趣,或者对我们的日常调研纪要(每月超过50篇AI调研纪要)感兴趣的请联系下面的久谦销售同事:



大模型未来三年的十个假设


Data Infra:大模型决战前夜

共识粉碎机
寻找与共识的不同
 最新文章