好久不写知乎了,新年除个草。其实这个碎碎念上个月就写好了,没发。现在想想反正写都写了,就图一乐呗,大家随便看看。
知乎:周博磊
链接:https://zhuanlan.zhihu.com/p/16119215406
标题:AI学术碎碎念 1
编辑:「深度学习自然语言处理 公众号」
前几天跟一个学院的资深教授聊天,他抱怨现在美国博士生成本越来越贵,工会又计划罢工闹事,学生工资明年又要涨25%。现在UCLA一个博士生的成本差不多要12w美金一年了,包含:学生全额学费+每个月工资+保险+福利(对没听错,上网费,学校健身房费,桌位费,etc)+ 交给学校的57.5%的overhead。他有博士生还问他要加班工资。他觉得学生把读博当作工作的思路就不太对,读博应该是对科学的探索,而不是挣钱。
我部分赞同他的观点。博士生每月拿到的钱,我更倾向于叫做 奖学金,而不是工资。奖学金是奖励学生学者攻读phd学位,而不是靠这个赚钱。得到博士学位过后,大家一般都会说earn the PhD ,就是说一个年轻人付出了努力,时间和精力,以及通过不高的奖学金作为生活费,赚取到了博士学位。真要赚钱,出门左转去公司好了,要啥自行车。
上个月参加完NeurIPS,总体给我的感觉是AI方向对大学研究者越来越不友好。我一个激进观点是,现在AI研究根本就不需要这么多大学PI和phd学生,这个领域已经过度饱和,导致内卷。现在围绕LLM展开的AI研究,靠的是大算力和大数据,学校里整的这十几张A6000的算力资源,只能做些小打小闹和隔靴搔痒的”AI研究”。LLM方向的研究,技术能力大概读到研究生文凭就够了,看看炼丹和prompt手册如何训练LLM,学好计算机系统工程和分布式方面的东西就能上手,门槛太低。现在代表先进生产力的AI研究,大部分情况下是大公司大团队之间pk算力和数据,个人能力已经越来越不重要。靠天才个人撸出ResNet的时代已经结束。
另外一方面,这几年各个大学里面做各个AI方向的junior PI也越来越多,美国,中国大陆,香港地区,新加坡,等等。卷出来成老师了,也并不意味着上岸了,还得继续数paper。出来混,具体国家地区具体分析,但大概路子我觉得有俩:在学生成本低的地区,当个包工头,搞一堆学生,算力问题解决了的话,发顶会paper完全没问题,有学生就有生产力。再不济自己没啥idea,就把学生外包给有算力的公司研发岗和某些AI lab,追热点发paper也是杠杠的;在学生成本高的地区和国家,比如说美国,就比较难受了。我个人觉得理想状态是搞个小组,把自己真正感兴趣的方向上心做一做,发自己觉得好的paper就足够了,得知足。宇宙这么大,总有很多有意思的学术研究问题可以去探索。如果又想做所谓“前沿热点大众关注能上新智元机器之心”的研究,又想不卷算力和数据,那一定是鱼和熊掌不能兼得。熬到tenure过后去公司兼职,或者onleave去公司再搞先进生产力不迟。如果还按第一种方案搞一堆学生产出paper的话,属于自找苦吃。费牛劲拉经费,拉到的钱勉强养着每年都在工资上涨还不知足的学生,何必。
这两三年有很多人博士毕业就能在学术界找到好位置,或者从工业界回流学术界。也许都以为学术界好混,有个prof的title光鲜。或者phd阶段觉得自己paper发得顺,卷王了,建自己的lab继续卷。我的大胆猜测是,再过两年又会有很多人从学术界回工业界。因为学术界里面大部分都是为爱发电,吃力不讨好的事情太多:学生投的paper被拒或者proposal抠脑袋写不出来都是小事,其他让人心焦的杂事,如明年的算力哪里去搞,明年phd学生工资又涨了25%怎么办,学生工资断供了怎么办,proposal接收率只有10%全聚德了怎么办,教的AI课学生抱怨没包含最新的Gaussian splatting和RLHF打差评了怎么办,小AP工资每月到手只有几千块生活怎么办。。。这些确实都是我目前真实的faculty头秃日常。