23届老学长入行算法工程师之后的感想

文摘   科技   2023-10-29 10:10   上海  

关注我 带你康好康的


    前言:上班到现在,我这个23届的应届生也已经顺利转正,并工作好几个月了,这周看到美团之类的大厂都纷纷开奖了,还清楚地记得去年我们那一届,大厂开奖之后的场景。今天突然有感而发,想分享一下自己站在应届生这个角度,这段时间的工作感想...




Part.1 

      首先想先介绍一下工作内容上的变化,在毕业之前,我也在不少互联网公司实习过,同样是算法工程师,那时候因为是实习生,我没有独立负责过一个项目,更多的是辅助正式员工完成某个工作,无非是搭模型,做实验,训模型之类的工作。

      但是毕业后,尤其是我现在的公司,由于缩减人员后,不少项目是一两人独立负责的,这就需要我兼顾全局了,我现在两个手头的项目都是从0开始的新项目,需求方只能说明白他们想要完成什么样的目标,具体数据,模型之类的都得自己和他们进行讨论方能确定。

      于是,会议拉起来,数据整起来,模型建起来,一系列的琐事,尤其是数据上的问题,进行了n次的交流。我的业务数据基本都是时空数据,业务方直接提供的数据存在各种各样的问题。。。需要我自己抽丝剥茧出来,对各种异常进行一系列的处理,光数据的处理,就能花费我70%的时间。

      随后是模型,由于我现在接触的都是时空数据,一般可能能想到的也都是图神经网络+transformer之类的结构,对空间和时间进行建模。但是这一块领域,就个人调研过来,他并没有像CV,NLP一样,这么成体系,需要自己慢慢搭建模型。很多时候业务方提的需求,单是模型的建立都是比较困难的,更不说后面还要对他进行优化,需要耗费的时间同样很多。。。

就个人的工作经验而言,现在我对公司业务的处理思路大致是这样的:

  • 开会确定需求,明确目标:这一步我觉得很重要,cv之类的可能需求较为明确,但对于一些机器学习的问题,很多时间需求方的目标给的也并不是很准确,他只告诉你他们想要一个什么东西,需要我们专业的抽象出问题,并反馈给需求方,进行沟通。这一点我已经吃过好几次亏了,我的模型主要是服务于另一个模型的,由于对公司业务不熟悉,目标在过程改过好几次,极度浪费时间。

  • 方案调研,输出调研报告:确定了目标,不妨在arvix等网站寻找一个有无参考方案,有助于自己快速掌握对应的能力。

  • 跑通baseline:若恰好你的需求有开源代码,那就可以非常开心的利用开源数据集先跑个baseline,熟悉一下baseline或者模型。当然,并不是每个需求都有这一步的,我现在做的工作,我就没找到一点参考资料,完全是在创新的路上。。。

  • 数据定义和采集:根据之前和需求方确定下来的目标和需求,开始收集数据,一开始可以先整理部分数据,拿来测试,等确定了之后,再开始大量整理。

  • 初步训练并编写inference代码:字面意思,一定要记得做一次推理,很多时候,训练顺利,不代表推理就一定顺利。

  • 算法优化层面:不断地读paper不断地读paper,不过这个时候不仅要考虑paper是不是新的,还要考虑在实际项目中能否落地,paper的idea解决了你实际项目中遇到的哪个问题?举个简单的例子,有的模型代码,用了最新的torch库或者额外的库,但是在实际部署的环境下并不支持这些操作,这很可能会发生,那自己这次的训练就没有用了,所以即使看到了很新的东西,且它宣称效果非常好,也要注意它是否能在实践中被采用。盲目尝试只会浪费时间。特别注意:不要沉迷于一些fancy的结构,,实习的时候,我曾经也疯狂追求过这个东西,但上班之后发现,有这功夫,拿来整理整理脏数据。。。提的点不香吗。。。

  • 性能优化:现在公司都在降本增效,公司也希望你的模型,在保持精度的情况下,能小一些,占的算力少一些,给他们省省钱。。。


      以上的每一步,基本都是我一个人去完成的。所以这段时间,给我最大的感悟就是,干活得“稳”,每一步都有理可据,尤其是你老板是个非常严谨的理工男的时候,有时候想说服他,就得做到有理可据,多保存一点自己处理数据,训练数据的发现的有价值case。这样子,即使日后自己进行复盘,也能做到有依据,有底气。

Part.2 

      转正之后的焦虑与不躺平是我的第二大感受,之前文章被迫转岗了...真的好难顶呀,有说过自己是转岗来的机器学习岗,以前做的其实是CV,多模态的工作, 转岗来这边之后,做的主要是表格数据,而且还是我觉得其中最困难的时空数据,数据很难处理,模型很难搭建,许多对我来说都是新的东西。

     好在,它们的核心理论不变,花了一段时间,自己也算是能够理解了。加上自己之前有其他的经验,一来一回,我可能是我们组知识广度最广的了。。。

      我更多的焦虑来源于其他,现在涉及到一个很重要的东西--KPI。这玩意,不仅能关乎我明年拿到手的年终奖,也关乎着我明年是否会被优化。。。在实习的时候,我只需要关注我的模型就好了。

      现在,除了关于业务,我还得知道我现在做的业务有没有价值。。除了业务有没有价值,我能不能顺利的完成这个业务的需求。。。也是个未知数,这么一来一回,自己的焦虑感也就又上来了。。。

      我们公司算是阿里系的公司,也继承了阿里的“优秀传统”,也就是末位淘汰,尤其是我们这边校招的,网上也有传出第一年会被迫扛低绩效。

    不过话说回来,之所以这么焦虑,又有两个原因,一方面,因为自己不够强,不能很好的完成业务上的问题,如果两个月做好一个业务,那年底的4分,不稳稳的给自己吗。。。另一方面,我们组的性质就是前瞻研究类型的,没一个简单的业务,想落地一个前瞻研究类型的业务,需要花费的时间太长,而这种长期的业务又是和大家一起考核的,这是公司层面的问题,我也插手不了,但这就导致我的焦虑感来了。。。没什么法子解决这个问题,要么跑路,要么卷。。。

End 

      真正入了算法工程师这行,其实也让我觉得,累!辛苦的数据整理,玄学的炼丹过程,奇怪的业务需求,都在挑战着自己。

      不过,也确实觉得,自己做的事情,是有意义的!一旦我能完成相应的业务,带来的成就感,给需求方的帮助,都是巨大的!

      最后,送几句话给各位工程师们。也是想勉励自己:

工作上,

先想好问题是什么,再去想解决方案,再考虑创新

工作就是不断遇到问题然后解决问题 ,要享受解决问题后的成长,而不是享受没有问题的轻松

机器学习如星辰大海,不能局限于一隅之地,很多时候没有广度,很难做好一个项目

      你好,我是小律,一位数学专业转AI,热爱技术,思考新事物的算法工程师。在多家大厂呆过,目前就职于一家行业独角兽公司。

      这里,不止有算法干货,AI竞赛方案,还有劲燃鼓励,点滴分享!

      我每周至少更新一篇原创文章,也正在努力实现自己的人生目标,期待与你一起进步!



点个在看你最好看




不摸鱼的小律
互联网大厂算法工程师一枚,分享各种技术、职场热点和感悟。不做每日打卡的路人。
 最新文章