(南京大学吴建鑫老师的分享开拓了我的视野)
当时自己的判断主要基于以下几点:
1. 深度学习/大模型的算法层出不穷,如果想产生新的idea,每天就得跟进新的paper,非常痛苦;
2. 不管模型如何变化,它总要在端侧落地部署,而端侧落地部署所需要的技能点,迭代速度远远没有模型本身的迭代速度快,可以不用每天刷paper,并且这个方向经验越多个人越增值,不至于被后浪轻易拍在沙滩上;
3. 大模型大一统AI各大方向已成为趋势,大模型的落地部署更需要压缩与推理加速的技术,未来前景也比较好。
如果你也想脱离整天刷paper的痛苦,模型压缩与推理岗位值得你考虑。这里,我也特别推荐深蓝学院的『深度学习模型推理加速项目实践』课程(Stable Diffusion与文心一言两个方向任选其一),以实战的形式帮助大家学习diffusion类、Transformer类大模型的推理加速技巧。
(TRT SD模型 L4 sec3-4 FP16溢出调试实践)
毕业后一直在腾讯从事深度学习加速及部署工作。近10年CUDA开发经验,近6年TensorRT 开发经验,Github TensorRT_Tutorial作者。
1.以实战的形式指导学员学习diffusion类模型的推理上线;
2.不仅教会大家如何做,更着重教懂大家为什么这么做;
注:Transformer类模型的推理加速实战项目大纲,联系工作人员领取。
1.学习diffusion类模型的TensorRT加速策略
2.学习如何选择最优和性价比最高的加速策略
3.学习如何分析模型结构并进行合并加速