随着大模型应用发展的深入，参数高效微调（PEFT）凭借定制化、精准性等优势，成为大模型优化的热门方式，其中，LoRA引入低秩矩阵，实现了不输全面微调的下游适应性能，但是，增长的训练需求也带来了存储和传输成本，为了显著提升LoRA计算效率，NeurIPS'24最新收录工作VB-LoRA，创新提出了分而共享机制，通过向量库进行全局参数共享，仅需LoRA参数0.4%，调优效率全面超越LoRA！
为了帮助大家掌握大模型顶会微调方法，研梦非凡于10月23日晚（周三），邀请了从事大模型研究的王导师，独家讲解《VB-LoRA：超越LoRA！大模型微调效率巅峰！》（AI前沿直播课NO.76），从大模型全量微调、PEFT，到LoRA及相关变体，重点讲解顶会方法VB-LoRA架构、实验，并介绍相关方法AM-LoRA，最后代码演示微调过程，1节课速通LoRA参数微调技术，get论文改进和实战知识点！
👇🏻扫描二维码找助教0元预约直播课！
凡预约即可领取130篇精选论文（30篇LoRA最新论文&代码&顶会方法+100篇大模型必读）
10.23直播课内容概览
01 研究背景
关注问题
大模型全量微调 参数高效微调（PEFT） LoRA变体VB-LoRA（NeurIPS’24）
主要贡献
分而共享机制（divide-and-share） 通过向量库进行全局参数共享 既减少参数量也保证了模型效果
02 知识准备
LoRA方法原理 LoRA相关变体
03 VB-LoRA方法（重点）
模型架构 Divide分解原理 Share共享原理 参数量分析
全量微调 vs LoRA微调 vs VB-LoRA
04 实验分析
实验设置 结果分析
👇🏻扫描二维码找助教0元预约直播课！
凡预约即可领取130篇精选论文（30篇LoRA最新论文&代码&顶会方法+100篇大模型必读）
05 相关工作
南开大学最新论文（2024.9）
AM-LoRA：通过注意力机制自适应混合LoRA以实现语言模型的持续学习
关注问题
大模型灾难性遗忘问题 开源工作O-LoRA
主要贡献
创新提出AM-LoRA 持续学习方法、稀疏学习策略
持续学习方法 AM-LoRA介绍 实验相关
06 代码实现（重点）
LoRA基础微调演示 VB-LoRA微调演示
直播课导师介绍
王导师
【学术背景】985硕出身，拥有丰富的深度学习研究、论文发表经验，多篇SCI论文、EI会议论文（一作）
【研究方向】大语言模型、视觉语言模型、多模态学习，以及自然语言处理、进化算法等
👇🏻扫描二维码找助教0元预约直播课！
凡预约即可领取130篇精选论文（30篇LoRA最新论文&代码&顶会方法+100篇大模型必读）
研梦非凡科研论文指导
研梦非凡部分导师介绍
这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～
<<< 左右滑动见更多 >>>
👇🏻扫码加助教为你匹配合适课题的大牛导师
我们不是小作坊哦～我们背靠研途考研（就是张雪峰老师和徐涛老师在的那个研途考研），做教育十余年，重交付，重口碑，是我们一贯的公司理念！
