Talk预告|南开大学李政:视觉语言模型CLIP的提示学习方法研究

创业   科技   2024-10-23 10:01   北京  

本期为TechBeat人工智能社区632线上Talk。

北京时间10月24日(周四)20:00,南开大学博士生李政的Talk将准时在TechBeat人工智能社区开播!
他与大家分享的主题是: 视觉语言模型CLIP的提示学习方法研究届时他将围绕提示学习方法展开,介绍和梳理提示学习的相关方法,并详细讲解他们发表在CVPR 24的PromptKD和ECCV 24的CasPL两篇工作。
Talk·信息
主题:视觉语言模型CLIP的提示学习方法研究
嘉宾:南开大学 · 博士生 - 李政
时间:北京时间 10月24日(周四)20:00
地点:TechBeat人工智能社区
http://www.techbeat.net/

 长按识别二维码,一键预约TALK!


Talk·介绍
视觉语言模型CLIP因其出色的泛化性能受到了学术界与工业界广泛的关注,许多研究者尝试将其落地适配到下游任务或目标上,然而基于全参数的微调方法需要大量数据进行驱动,在数据有限的情况下难以获得良好的性能。

如何高效的微调CLIP模型成为了一个关键问题。提示学习方法的出现给这个问题提供了一个很好的解决方案,其旨在CLIP模型中引入小部分的可学习参数进行训练,改变模型输出的表征,以达到适配下游任务的目标。本次talk将围绕提示学习方法展开,介绍和梳理提示学习的相关方法,并详细讲解我们发表在CVPR 24的PromptKD和ECCV 24的CasPL两篇工作。

Talk大纲
1. 什么是视觉语言模型CLIP和提示学习?

2. 实验衡量指标是什么?

3. 提示学习相关论文介绍和梳理

4. 核心方法PromptKD和CasPL讲解

5. 实验分析与常见问题解答


Talk·预习资料

课题组共同维护了一个关于视觉语言模型CLIP提示学习方法的详尽paper list供大家学习和参考,链接如下:

https://github.com/zhengli97/Awesome-Prompt-Adapter-Learning-for-VLMs

其中,这次talk会重点关注到以下论文:

论文链接:
https://arxiv.org/abs/2203.05557
代码链接:
https://github.com/KaiyangZhou/CoOp

论文链接:
https://arxiv.org/abs/2109.01134
代码链接:
https://github.com/KaiyangZhou/CoOp

论文链接:
https://arxiv.org/abs/2210.03117
代码链接:
https://github.com/muzairkhattak/multimodal-prompt-learning

论文链接:
https://arxiv.org/abs/2307.06948
代码链接:
https://github.com/muzairkhattak/PromptSRC

论文链接:
https://arxiv.org/abs/2403.02781
代码链接:
https://github.com/zhengli97/PromptKD
中文论文解读:
https://zhuanlan.zhihu.com/p/684269963

论文链接:
https://arxiv.org/abs/2409.17805
代码链接:
https://github.com/megvii-research/CasPL


Talk·提问交流

在Talk界面下的【交流区】参与互动!留下你的打call🤟和问题🙋,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!

Talk·嘉宾介绍

李政‍‍‍‍‍‍‍‍‍

南开大学 · 博士生
李政,南开大学计算机学院PCA Lab三年级博士生,导师为李翔与杨健教授。主要研究方向为多模态学习和模型压缩,在CVPR/ICCV/ECCV/AAAI/TVCG等会议与期刊上发表多篇工作。

个人主页: 

https://www.techbeat.net/grzytrkj?id=28926


 长按识别二维码,一键预约TALK!


-The End-


如果你也想成为讲者

 自荐 / 推荐 

单人Talk | 团队专场 | 录播or直播 | 闭门交流
多种方式任你选择!
推荐讲者成功也有奖励哦~


关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。
我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。
期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>TechBeat,一个荟聚全球华人AI精英的学习成长社区

点击“阅读原文”
预约本期Talk

将门创投
将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器,由前微软创投在中国的创始团队于2015年底创立。公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。
 最新文章