点击下方卡片，关注计算机视觉Daily
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
「由于工作强度和不健康的生活方式，我已胖了 15 公斤。」本周一，知名 AI 学者、前谷歌大脑高级研究科学家 Yi Tay 在短短一年半的创业之后官宣回到谷歌，他显得很高兴。在初创企业世界探索了一年半之后，我决定回归我研究事业的出发点。我将回到谷歌 DeepMind 从事人工智能研究。我很高兴能探索与 LLM 相关的令人兴奋的研究方向，并找到改变研究游戏规则的新方法。我将以高级研究科学家的身份向我之前的经理 Quoc Le 汇报工作。
Yi Tay 这次回到谷歌，成为了 DeepMind 旗下的一名高级研究员。此前，他是创业公司 Reka AI 的首席科学家和联合创始人。而在成为这家初创公司联合创始人之前，他是 Google Brain 的高级研究员，从事大型语言模型和人工智能研究。再往前，他是 Google Research 美国研究团队的技术主管，负责 Transformer 架构和扩展。创办 Reka 之前，在谷歌大脑工作的 3 年多的时间里，他总共参与撰写了大约 45 篇论文，是其中 16 篇的一作。一作论文包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等。很多知名的大模型背后都有他的贡献，包括 PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、MUM 等等。然而就是这样一位科研牛人，出去创业不久之后也表示自己「悟」了。AI 领域的创业究竟有多卷？Yi Tay 在回看这段经历之余，分享了在短短一年多创业时间里他的一些工作、生活瞬间。在最新的一篇博客中，Yi Tay 对他近一年半的经历进行了复盘。我很感谢在加入 Reka 并与他人共同创建 Reka 的过程中学到和经历的一切。在技术上，我学到了很多谷歌之外的基础架构知识，学会了使用 Pytorch/GPU 和其他外部基础架构。我和 Reka 创始团队的其他成员一起，还以成本最优的方式建立了非常好的模型。我还学会了如何应对不可靠的 GPU、供应商和计算资源（参考机器之心报道：《「还是谷歌好」，离职创业一年，我才发现训练大模型有这么多坑》）。基于我的经验，我还在 WebConf LLM 日主题演讲和越南 GenAI 峰会上发表了技术、反思和个人演讲。此外，我还要特别感谢 swyx 在 latentspace pod 上邀请我讲述我的探险经历，以及 TechInAsia 为我提供的有趣的炉边谈话。同时，作为初创企业的联合创始人，我还经历了许多有趣的事件，如果我一直待在谷歌的话，我永远也不会有机会经历这些。这是一次大开眼界的经历。我学到了很多关于初创企业、业务和从头开始创建公司的过程的知识。尽管如此，我仍然更认同自己是一名科学家 / 研究员，因此我决定回归本源。我为我们取得的成就感到骄傲，尤其是在 Reka 的早期。五月份，我们的 Reka Core 在 Lmsys 上首次进入前五名。实际模型排名第 7，我们实现了超越 GPT-4 早期版本的目标。与其他实验室相比，我们拥有的资源（资金、计算和人力）要少得多，因此我们的成绩令人印象深刻。我们筹集了 1 亿多美元的 lifetime funding，这与其他团队相比仍然相对较少。此外，这还是由一个不到 15 人的技术团队完成的。对个人来说，这又是一段神经紧张的时期，尤其是在我开始创业之旅时，也是我离开谷歌之后，我和妻子即将迎来我们的第一个孩子。为了同时兼顾这么多事情，我的身体和精神健康都受到了很大的影响，由于工作强度和不健康的生活方式，我的身体胖了 15 公斤。好的一面是，我现在正积极努力地调养自己，使自己恢复到完全健康的状态，也许下次我还会写一篇关于我的这段疗伤经历的文章。对我来说，这是一次狂野而有意义的旅程。我感谢大家给了我这段美妙的旅程。我非常享受与大家共事的过程，也非常享受在迪拜、京都和巴厘岛等有趣的地方举行的团队活动。我有过一段美好的时光，我相信公司会在 Reka 雇用的这么多有才华、有能力的人的帮助下发展得很好！这可能有点随意，但对我个人来说，放弃舒适的生活环境而去创业真的很可怕。我很感谢在这段时间里一直与我保持联系的所有谷歌朋友。即使在我转型成为一名 Xoogler 并更多地融入初创企业生活的过程中，我也为拥有这样一个支持网络而感到幸运。特别要感谢（排名不分先后）Vinh、Derek、Denny、Steven、Siamak、Mostafa、Don、Divy 和 Quoc，还有 Xoogler 的其他朋友，如 Jason、Jerry、Hyung Won 和 Afroz，他们在我离开后仍保持联系。有趣的是，在这段时间里，我和你们中的很多人都见了面！在新加坡的某个时刻，我还和 Derek、Vinh、Jason、Jerry、Quoc、Divy、Sanket、Swaroop 和 Neil 一起玩耍过。此外，邀请我去越南演讲的 Thang Luong 也非常好！感谢大家对我的热情 / 支持，感谢大家低调地提醒我应该回来。最后，也是最重要的一点，我感谢 Quoc 在这 1 年半的时间里对我的关心和友谊；感谢 Jeff Dean 在新加坡与我共进晚餐（并提醒我谷歌很棒！）；感谢我的招聘人员 Katelyn 在这 1 年多的时间里一直与我保持联系！2023 年 3 月份，Yi Tay 宣布离开谷歌，参与创办了 Reka 并担任该公司的首席科学家，主攻大型语言模型。我们知道当时 ChatGPT 刚推出不久，在这个时间段，选择趁大模型热潮辞职创业的人很多，离开的原因很多样：对大模型方向前景的看好，对经济复苏的推断，投资人的推动，还有就是，很多人提到了积重难返的大公司病。许多从谷歌离开的员工都发过「小作文」，表示谷歌问题的根源不是「技术」，而是在于「文化」，比如员工的使命感不足，公司为了避免风险设置了繁琐的系统和流程。和 Yi Tay 前后脚离职的 AppSheet 创始人 Praveen Seshadri 就写过一篇《Google 出了什么问题》，直言「如今的谷歌与当年的微软一样，正在逐步走向衰落。」然而一年半过去了，我们发现很多 AI 人才都在「回流」大厂。除去因为种种原因创业受阻的一批人之外，其他人想回去的原因可能很简单：创业真太累了。在 Amazon 呆到第五年的时候就想着创业了，但被疫情耽搁了。到第 7 年半的时候，觉得太痒了，就提了离职。现在想来，如果有什么事这一辈子总要试下的，就蹭早。因为真开始后会发现有太多新东西要学，总感叹为啥没能早点开始。
即使拿到了融资，拿到了做 LLM 的入场券，这其中也包含了常人很难经历的「大起大落」：运气不错，很快拿到了种子投资。但钱还不够买卡，得去拿第二轮。这一轮领头是一家非常大的机构，做了几个月文档、商讨条款。但在签字前一天，领头说不投了，直接导致了跟投的几家退出。
在回到母校上海交大的演讲中，他也提到了创业给自己带来的健康方面的影响：
创业不好的地方就是婴儿般的睡眠，每三个小时醒一次，怀疑自己是不是快混不下去了。为此，我还问过很多人，包括张一鸣，以及世界首富级别的人，向他们取经。
在公司步入正轨之后，李沐仍然觉得自己当时「脑子抽了」：去年跟宿华在斯坦福散步，他拍着我肩膀说：“跟我说句实话，你为什么想创业呀？” 当时候不以为然：“就是想换个事情做做”。然后宿华笑了笑。
现在我懂了，因为他经历了创业酸甜苦辣。如果今天再来回答这个问题，我会说：“我就是脑子抽了”。但也庆幸当时没想到会那么不容易，所以一头扎进来了。否则，大家看到的可能是「工作十年反思」。我觉得今天我写的故事更有意思些。
https://www.yitay.net/blog/returning-to-google-deepmind
后台回复：绘图神器，即可下载绘制神经网络结构的神器！
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集
Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！
![]()
整理不易，请赞和在看![]()
