创业一年半，胖了30斤，AI大佬感叹：还是回谷歌好
科技
2024-11-27 00:02
吉林
![]()
MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。「由于工作强度和不健康的生活方式，我已胖了 15 公斤。」本周一，知名 AI 学者、前谷歌大脑高级研究科学家 Yi Tay 在短短一年半的创业之后官宣回到谷歌，他显得很高兴。在初创企业世界探索了一年半之后，我决定回归我研究事业的出发点。我将回到谷歌 DeepMind 从事人工智能研究。我很高兴能探索与 LLM 相关的令人兴奋的研究方向，并找到改变研究游戏规则的新方法。我将以高级研究科学家的身份向我之前的经理 Quoc Le 汇报工作。
Yi Tay 这次回到谷歌，成为了 DeepMind 旗下的一名高级研究员。此前，他是创业公司 Reka AI 的首席科学家和联合创始人。而在成为这家初创公司联合创始人之前，他是 Google Brain 的高级研究员，从事大型语言模型和人工智能研究。再往前，他是 Google Research 美国研究团队的技术主管，负责 Transformer 架构和扩展。创办 Reka 之前，在谷歌大脑工作的 3 年多的时间里，他总共参与撰写了大约 45 篇论文，是其中 16 篇的一作。一作论文包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等。很多知名的大模型背后都有他的贡献，包括 PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、MUM 等等。然而就是这样一位科研牛人，出去创业不久之后也表示自己「悟」了。AI 领域的创业究竟有多卷？Yi Tay 在回看这段经历之余，分享了在短短一年多创业时间里他的一些工作、生活瞬间。在最新的一篇博客中，Yi Tay 对他近一年半的经历进行了复盘。《重返 Google DeepMind》
我很感谢在加入 Reka 并与他人共同创建 Reka 的过程中学到和经历的一切。在技术上，我学到了很多谷歌之外的基础架构知识，学会了使用 Pytorch/GPU 和其他外部基础架构。我和 Reka 创始团队的其他成员一起，还以成本最优的方式建立了非常好的模型。我还学会了如何应对不可靠的 GPU、供应商和计算资源（参考机器之心报道：《「还是谷歌好」，离职创业一年，我才发现训练大模型有这么多坑》）。基于我的经验，我还在 WebConf LLM 日主题演讲和越南 GenAI 峰会上发表了技术、反思和个人演讲。此外，我还要特别感谢 swyx 在 latentspace pod 上邀请我讲述我的探险经历，以及 TechInAsia 为我提供的有趣的炉边谈话。同时，作为初创企业的联合创始人，我还经历了许多有趣的事件，如果我一直待在谷歌的话，我永远也不会有机会经历这些。这是一次大开眼界的经历。我学到了很多关于初创企业、业务和从头开始创建公司的过程的知识。尽管如此，我仍然更认同自己是一名科学家 / 研究员，因此我决定回归本源。我为我们取得的成就感到骄傲，尤其是在 Reka 的早期。五月份，我们的 Reka Core 在 Lmsys 上首次进入前五名。实际模型排名第 7，我们实现了超越 GPT-4 早期版本的目标。与其他实验室相比，我们拥有的资源（资金、计算和人力）要少得多，因此我们的成绩令人印象深刻。我们筹集了 1 亿多美元的 lifetime funding，这与其他团队相比仍然相对较少。此外，这还是由一个不到 15 人的技术团队完成的。对个人来说，这又是一段神经紧张的时期，尤其是在我开始创业之旅时，也是我离开谷歌之后，我和妻子即将迎来我们的第一个孩子。为了同时兼顾这么多事情，我的身体和精神健康都受到了很大的影响，由于工作强度和不健康的生活方式，我的身体胖了 15 公斤。好的一面是，我现在正积极努力地调养自己，使自己恢复到完全健康的状态，也许下次我还会写一篇关于我的这段疗伤经历的文章。对我来说，这是一次狂野而有意义的旅程。我感谢大家给了我这段美妙的旅程。我非常享受与大家共事的过程，也非常享受在迪拜、京都和巴厘岛等有趣的地方举行的团队活动。我有过一段美好的时光，我相信公司会在 Reka 雇用的这么多有才华、有能力的人的帮助下发展得很好！这可能有点随意，但对我个人来说，放弃舒适的生活环境而去创业真的很可怕。我很感谢在这段时间里一直与我保持联系的所有谷歌朋友。即使在我转型成为一名 Xoogler 并更多地融入初创企业生活的过程中，我也为拥有这样一个支持网络而感到幸运。特别要感谢（排名不分先后）Vinh、Derek、Denny、Steven、Siamak、Mostafa、Don、Divy 和 Quoc，还有 Xoogler 的其他朋友，如 Jason、Jerry、Hyung Won 和 Afroz，他们在我离开后仍保持联系。有趣的是，在这段时间里，我和你们中的很多人都见了面！在新加坡的某个时刻，我还和 Derek、Vinh、Jason、Jerry、Quoc、Divy、Sanket、Swaroop 和 Neil 一起玩耍过。此外，邀请我去越南演讲的 Thang Luong 也非常好！感谢大家对我的热情 / 支持，感谢大家低调地提醒我应该回来。最后，也是最重要的一点，我感谢 Quoc 在这 1 年半的时间里对我的关心和友谊；感谢 Jeff Dean 在新加坡与我共进晚餐（并提醒我谷歌很棒！）；感谢我的招聘人员 Katelyn 在这 1 年多的时间里一直与我保持联系！始于热情，终于疲惫：大厂人才回流，风向又变了？
2023 年 3 月份，Yi Tay 宣布离开谷歌，参与创办了 Reka 并担任该公司的首席科学家，主攻大型语言模型。我们知道当时 ChatGPT 刚推出不久，在这个时间段，选择趁大模型热潮辞职创业的人很多，离开的原因很多样：对大模型方向前景的看好，对经济复苏的推断，投资人的推动，还有就是，很多人提到了积重难返的大公司病。许多从谷歌离开的员工都发过「小作文」，表示谷歌问题的根源不是「技术」，而是在于「文化」，比如员工的使命感不足，公司为了避免风险设置了繁琐的系统和流程。和 Yi Tay 前后脚离职的 AppSheet 创始人 Praveen Seshadri 就写过一篇《Google 出了什么问题》，直言「如今的谷歌与当年的微软一样，正在逐步走向衰落。」然而一年半过去了，我们发现很多 AI 人才都在「回流」大厂。除去因为种种原因创业受阻的一批人之外，其他人想回去的原因可能很简单：创业真太累了。在 Amazon 呆到第五年的时候就想着创业了，但被疫情耽搁了。到第 7 年半的时候，觉得太痒了，就提了离职。现在想来，如果有什么事这一辈子总要试下的，就蹭早。因为真开始后会发现有太多新东西要学，总感叹为啥没能早点开始。
即使拿到了融资，拿到了做 LLM 的入场券，这其中也包含了常人很难经历的「大起大落」：运气不错，很快拿到了种子投资。但钱还不够买卡，得去拿第二轮。这一轮领头是一家非常大的机构，做了几个月文档、商讨条款。但在签字前一天，领头说不投了，直接导致了跟投的几家退出。
在回到母校上海交大的演讲中，他也提到了创业给自己带来的健康方面的影响：创业不好的地方就是婴儿般的睡眠，每三个小时醒一次，怀疑自己是不是快混不下去了。为此，我还问过很多人，包括张一鸣，以及世界首富级别的人，向他们取经。
在公司步入正轨之后，李沐仍然觉得自己当时「脑子抽了」：去年跟宿华在斯坦福散步，他拍着我肩膀说：“跟我说句实话，你为什么想创业呀？” 当时候不以为然：“就是想换个事情做做”。然后宿华笑了笑。
现在我懂了，因为他经历了创业酸甜苦辣。如果今天再来回答这个问题，我会说：“我就是脑子抽了”。但也庆幸当时没想到会那么不容易，所以一头扎进来了。否则，大家看到的可能是「工作十年反思」。我觉得今天我写的故事更有意思些。
https://www.yitay.net/blog/returning-to-google-deepmind![]()
扫描二维码添加小助手微信
即可申请加入自然语言处理/Pytorch等技术交流群关于我们
MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。![]()
