视觉语言大模型新SOTA!高效微调方法性能碾压LoRA

科技   2024-12-06 09:45   江苏  

MemVP将视觉特征直接嵌入FFN参数中,实现高效的多模态微调。与LoRA、VL-Adapter等现有方法相比,MemVP在训练和推理速度上提升了2倍,同时在下游任务中保持了更高的精度。

为了让大家更好的掌握MemVP,研梦非凡于12月11日晚(周三),邀请了多模态专家王导师,为大家独家详解视觉语言融合新范式MemVP:基于记忆空间的多模态大模型高效微调方法》,从构建视觉-语言模型的发展和弊端到大型视觉语言模型的详细介绍,重点讲解MemVP模型架构的代码实现和实验分析,并对未来研究方向进行详细分析,一文速通MemVP,为你的研究带来新的思路和突破!

👇🏻扫描二维码找助教0元预约直播课!

凡预约即可免费领取200篇前沿论文(模型微调+大模型+多模态)

直播课内容预览

ICML'24《Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning》

一、研究背景

  1. 关注问题
  • 视觉-语言模型的构建的现状
  • 输入空间的视觉提示方法存在弊端

二、相关工作

《Transformer Feed-Forward Layers Are Key-Value Memories》

  1. FF层
  2. 键值对
  3. 实验结果

👇🏻扫描二维码找助教0元预约直播课!

凡预约即可免费领取300篇前沿论文(模型编辑+大模型+多模态)

三、大型视觉语言模型

  1. LLava
  2. InstructBLIP
  3. MemVP

四、方法:MemVP

  1. MemVP模型架构
  2. MemVP动机

五、实验

  1. 实验目的与方法
  2. 实验设置
  3. 实验结果
  4. 实验对比
  5. 训练和推理速度比较
  6. 消融实验

六、总结

  1. 问题定义
  2. MemVP方法
  3. 动机
  4. 实验验证

👇🏻扫描二维码找助教0元预约直播课!

👇🏻扫描二维码找助教0元预约直播课!

凡预约即可免费领取200篇前沿论文(模型微调+大模型+多模态)

直播导师介绍

王导师

【学术背景】拥有丰富的深度学习研究、论文发表经验,多篇SCI论文、EI会议论文(一作)

【研究方向】大语言模型、视觉语言模型、多模态学习,以及自然语言处理、进化算法等

👇🏻扫描二维码找助教0元预约直播课!约导师meeting~

ps:研梦非凡开设的前沿论文系列直播,旨在帮助大家提升读论文技能,快速抓住重点,掌握有效方法,进而找到创新点,轻松产出科研论文成果。

研梦非凡科研论文指导

科研论文idea,并非拍脑门就能产生,需要经过一遍遍做实验、跑代码、改模型、思路修正。研梦非凡专业论文指导,和研梦导师一起找idea,共同解决科研问题。授之以渔——搭建论文写作框架,增删改查,针对性实验指导!哪里薄弱补哪里!

<<< 左右滑动见更多 >>>

研梦非凡部分导师介绍

研梦非凡导师团队,来自海外QStop200、国内华五、C9、985高校的教授/博士导师/博士后,以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等

这是一支实力强大的高学历导师团队,在计算机科学、机器学习、深度学习等领域,积累了丰富的科研经历,研究成果也发表在国际各大顶级会议和期刊上,在指导学员的过程中,全程秉持初心,坚持手把手个性化带教。包括但不限于以下导师~

<<< 左右滑动见更多 >>>

扫码预约研梦非凡1v1导师meeting

全新6人尖端科研课题组论文辅导

<<< 左右滑动见更多 >>>

扫码了解科研课题组论文辅导

我们不是小作坊哦~我们背靠研途考研(就是张雪峰老师和徐涛老师在的那个研途考研),做教育十余年,重交付,重口碑,是我们一贯的公司理念!

计算机视觉研究院
计算机视觉研究院主要涉及AI研究和落地实践,主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架,提供论文一键下载,并分享实战项目。研究院主要着重”技术研究“和“实践落地”!
 最新文章