选择这个话题的动机是最近很多同行在知乎咨询我：“感觉传统的算法模型方向，比如搜广推已经非常卷了，要不要转大模型赛道”。我个人其实也经历过互联网行业的多次潮起潮落，处在搜广推这个领域，也在时刻关注大模型的发展，所以对这个问题有一些感触，借这个机会跟大家探讨一下算法工程师选择职业方向的问题。
作者：张长旺，图源：旺知识
对于要不要转大模型赛道的问题，从搜广推工程师或者其他比较成熟互联网行业的算法工程师的立场出发，我的答案是，如果能够发挥你在搜广推的领域优势，比如新的方向是把大模型与推荐、广告模型结合起来，我鼓励转；如果新的方向和你的已有工作完全没关系，比如是从事大模型的基础模型开发，那我不建议转。结论很简单，但选择的逻辑稍微复杂一些，下面展开谈谈。
其实类似大模型这样的行业趋势，每隔两三年就会出现一次。14/15年的DMP、DSP等广告数据平台，16/17年的共享经济，18/19年的人脸识别为代表的AI四小龙和自动驾驶，20年以后的电动汽车，21年的元宇宙、22年以来的大模型等等。所有新兴的方向刚出来的时候都非常火爆。当初的OFO、摩拜、商汤、旷视、景驰等公司无论从估值、融资还是阵容来看，一点不弱于现在的大模型公司。最后它们有谁成长为BAT，FAANG这样的公司了吗？没有，为什么没有呢？2019年我写过一个回答，大家有兴趣可以去再翻翻看看。(点击文末阅读原文即可直达)
我说这些倒不是说大模型公司一定会像过去的几波行业趋势一样退去，我的意思是任何新兴行业，它最火热的周期也就是两三年时间。这两三年是一定会让很多人蜂拥而入的。但当两三年后热度退去，到时候我们就要回答一个新的问题：
我们是应该坚守在大模型领域，还是去一个新的风口呢？
我们不畏惧挑战，但我们显然不希望每两三年就思考这么深刻的问题，要不要彻底转换方向，重新学一个新的但很火热的领域的知识。这不仅会让自己事倍功半，而且会让自己永远无法获得高阶职位从而严重影响自己的长期收益。
我在当初讲程序员的个人财富课的时候列过一个公式，我们的职业生涯要去追求的不应该是当下这一年的最大利益，而是职业生涯这n年的整体利益最大化。因此年收入是40，45，50这样的稳步提升的趋势，肯定好过50，20，30这样的波动组合。这就要求我们有一个长远的职业规划，不能只看短期的行业趋势。因为即使按照10年的职业生涯来看，我们也要跨过四五个行业周期。
对于比较高阶的职位，比如字节3.1，阿里P8，Meta E6，Google Staff及以上的职位来说，什么能力最重要呢？我感觉有两个核心能力：
1.充足的，相比招聘团队有优势的行业经验
2.解决新问题的能力
对于这些职位的招聘，它们无一例外都有一个期望，就是能够带给团队一点新东西，能够帮他们解决一个新问题。比如iOS的隐私合规的问题就是几乎是广告算法团队高阶职位的必问问题。你有新思路，你有成功的行业经验，就必然能够让别人溢价招聘。17/18年的时候，搜广推领域硅谷这边的engineering manager跳到国内直接当director甚至VP例子都是有的，因为当初硅谷的技术经验还是领先的。现如今，如果OpenAI，Anthropic的程序员跳槽国内大模型公司，肯定也是溢价招聘。但毫无疑问，这些机会是面向行业专家的，前提是你在这个行业有充足的积累。
第二点是解决新问题的能力。我在字节招聘3.1的时候，极喜欢问一个对于候选人来说全新的问题，比如广告系统里多目标出价，正样本延迟，召回层优化目标选择这些行业内常见但不好解决的小问题。我要知道一个候选人从0到1解决问题的思路，而不是背八股文的能力。这种能力也需要一个人在行业内沉浸多年，思考并带领团队解决过很多新问题才能沉淀出来。
说了这么多，其实就一个很深刻的感触。我们为了钱去做决定，不如为了能力而做决定，一个能让你能力增长的机会，即使钱没有增长，也是长期优化的。
所以从长期职业生涯规划的角度，我强烈不建议在搜广推行业已经耕耘了五年以上的算法工程师贸然转换到大模型公司的，这样一拿不到高溢价的offer，二打断了原来的行业成长，得不偿失。
想拿大的package就要在一个行业深耕细作，行业外又在发生大模型的革命看着眼红，就没有一个正确的姿势拥抱大模型吗？就不能鱼和熊掌二者兼得吗？“贪心”的我们当然不能坐以待毙，事实上搜广推行业的革命也不是发生一两次了，如果不能拥抱新的技术趋势，照样会被淘汰。我从09年接触搜广推行业，13年正式进入这个行业到现在经历了15个年头。大的技术革命有三次：
1.12到14年的机器学习革命。11年之前的CTR预估，推荐模型主要是以传统的算法为主，协同过滤，朴素贝叶斯等，但12年之后各大公司都迁移到机器学习模型和infra上，于是有了LR，实时的FTRL，再复杂一点的FM这些广告推荐模型，一下子广告推荐效果有了一个质的提升。
2.15年到20年的深度学习革命。15年开始，国内外各大公司开始把深度学习应用到搜广推领域。其中以阿里的DIN-DIEN-MIMN的一系列深度CTR模型的迭代最为结构化，思路最清晰。深度学习的红利吃了5年，但从20年开始，增长乏力，很多公司迫切需要新的增长点。
3.20年开始的“算法-工程-业务codesign”趋势。单纯卷模型不行，那就拉上业务和工程一起卷。所以结合多目标多业务需要有了MMoE，STAR等一些多目标模型，为了加快模型更新速度有了EdgeRec等边缘计算的框架，为了解决隐私合规问题，有了联邦学习的一系列应用。
一些速度慢的公司跟不上脚步，自然会在技术革命的浪潮中淘汰。比如广告领域曾经的多个独角兽，多盟，品友等现在已经泯然众人，倒是字节的穿山甲凭借技术和产品优势一统市场。
大模型这波技术革命是一样的，作为搜广推的从业者，我们正确拥抱大模型的思路绝不是丢盔弃甲地把自己的优势阵地丢掉，而是用自己的优势去结合大模型的优势，从而寻求更大的Edge。
换一个角度讲，大模型公司现在最大的痛点是什么？是变现，它们迫切地希望有大厂搜广推的变现场景，但大厂又怎么可能轻易分享自己的数据和核心模型迭代的主导权呢？所以，反而是搜广推的团队更容易应用大模型来继续增强自己的技术优势。
立足自己，拥抱变化也应该是我们自己选择职业方向的原则。丢掉阵地，将丢掉获得高阶职位的实力，固守已有技术，将随着传统技术一同被淘汰。
我对大模型推荐系统的思考
既然说到这了，就进一步谈谈我对大模型在搜广推领域的应用的思考。大的方面来说，大模型对搜广推系统的结合方式大概在三个方向：
1.把大模型的“世界知识”喂给推荐系统，让推荐系统能够解决冷启动，内容式推荐的问题。
2.创造新的推荐系统交互方式，通过构造prompt的方式形成交互式推荐的推荐系统。
3.利用AIGC直接生成推荐内容，广告创意。
第一个方向的工作，比如将GPT这类闭源大模型的token喂给推荐系统学习，或者利用LLaMA这类开源大模型生成的Embedding喂给推荐系统学习。归根到底一点，是把之前推荐系统学习不到的多模态的信息、知识给学到。
第二个方向的工作也有不少，这里仅以Amazon的PALR为例，大致意思是把用户的行为、画像、以及候选物品的信息转换成文本prompt，让大模型直接给出推荐结果，用户也可以进一步输入自己的推荐需求，形成交互式推荐的过程。
第三个方向的工作是AIGC，直接生成推荐内容，广告创意等用户喜欢的内容。比如Capcut刚推出的一系列AI生成图片和视频的工具。
那么这三个方向，到底哪一个是未来呢？如果让我们选择下一步应该投入最多的搜广推方向，我们应该如何选择呢？
个人觉得是第三个。因为第一个方向的“世界知识”输入，虽然大模型确实给出了增量的知识输入，但过去通过知识图谱，通过content feature，推荐系统已经拿到了不少内容类信息，大模型给出的增量知识有限。另外对于上规模的推荐系统来说，用户行为类feature的作用过强，内容类特征的实际作用要打个问号。甚至是对于冷启动来说，当用户规模非常大的情况下，新物品，新用户几分钟就能拿到足够的交互信息用于精准推荐，内容类信息也就没有有用了。
第二个方向让大模型改变推荐系统的交互模型就更有点理想化和“学术探索”的味道。业界的推荐过程从来都是朝着越来越简单，越来越“奶头乐”的方向发展，你让用户思考自己的需求，还要打字交互，这就是开历史的倒车了。除非是学术推荐，精准搜索这类很重的需求。
只有第三个方向，想象力足够大，发展的空间足够充足。能够容纳的新团队，新项目，新需求，新增长足够大。往小了说，它可以提升内容生成的效率，往大了说，这是在创造一个新的虚拟世界。
但无论怎样，我们的首要出发点是，作为一个搜广推领域的工程师，应该从自己熟悉的领域思考大模型和AIGC能力的落地。因为这些技术终究要思考如何变现，我们恰好处在最风云际会的位子。
作者：张长旺，图源：旺知识
