首页 时事 民生 政务 教育 文化 科技 财富 体娱 健康 情感
更多
旅行 百科 职场 楼市 企业 乐活 学术 汽车 时尚 创业 美食 幽默 美体 文摘

【NeurIPS2024】注意力迁移对视觉Transformer的惊人有效性研究

学术   2024-11-29 17:36   北京   
来源：专知
本文约1000字，建议阅读5分钟
我们通过提出一种简单的方法——注意力迁移（attention transfer）。


传统观点认为，通过预训练视觉Transformer（ViT）可以学习有用的表示，从而提升下游任务的性能。但这是真的吗？我们对这一问题进行了研究，发现预训练过程中学到的特征和表示并不是必不可少的。令人惊讶的是，仅利用预训练中的注意力模式（即指导信息在不同token之间的流动方式），就足以让模型从零开始学习高质量特征，并在下游任务中取得可比的性能。
我们通过提出一种简单的方法——注意力迁移（attention transfer），验证了这一点。在这种方法中，仅从预训练的教师ViT中将注意力模式迁移到学生模型，迁移方式可以是直接复制或蒸馏注意力图。由于注意力迁移允许学生模型自行学习特征，将其与经过微调的教师模型进行集成还能进一步提高ImageNet上的准确率。
我们系统性地研究了注意力图充分性的各种方面，包括在分布转移（distribution shift）环境下的表现，在这些环境中，注意力迁移性能不如微调。我们希望这一探索能为预训练的作用提供更深入的理解，同时为微调的标准实践提供一个有用的替代方案。复现我们结果的代码可在https://github.com/alexlioralexli/attention-transfer获得。



关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。




新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU
数据派THU
清华大数据研究中心官方平台，发布团队科研、教学等最新动态及大数据领域的相关信息~
 最新文章
深入理解多重共线性：基本原理、影响、检验与修正策略
类GPT化学语言模型，9秒生成100种化合物，微软AI药物设计平台登Nature子刊
【阿姆斯特丹博士论文】优化、博弈与泛化界
独家｜ChatGPT搜索如何为AI代理铺路
普林斯顿王梦迪团队提出蛋白水印方法，助力AI蛋白生成的版权保护与安全
【NeurIPS2024】注意力迁移对视觉Transformer的惊人有效性研究
报名 | 揭秘AI科研神器，解锁跨学科创新密码！
独家 ｜在大型语言模型中对于 “涌现属性 ”的合理性检查
清华软件论坛 | 清华大学杰出访问教授樊文飞院士分享“AI = 机器学习 + 逻辑推理”
【博士论文】基于车载3D LiDAR的几何与语义场景理解深度学习研究
NeurIPS 2024 || GLBench: 面向大模型的图学习基准测试集
Token化一切，甚至网络！TokenFormer，Transformer从来没有这么灵活过！
【阿姆斯特丹博士论文】科学模拟的机器学习：推理与生成模型
基于LLM Graph Transformer的知识图谱构建技术研究：LangChain框架下的文本-图谱双模式转换机制实践
为什么卷积现在不火了：CNN研究热度降温的深层原因分析
【NeurIPS2024】SAFE: 慢速与快速参数高效调优用于基于预训练模型的持续学习
TSMamba：基于Mamba架构的高效时间序列预测基础模型
【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
大数据系统软件国家工程研究中心共同主办首届北京数字人才发展大会
NeurIPS 2024 | 重新审视时间戳信息在时序预测中的作用
通过pin_memory 优化 PyTorch 数据加载和传输:工作原理、使用场景与性能分析
【牛津大学博士论文】通过贝叶斯实验设计实现自动化数据采集
基于MCMC的贝叶斯营销组合模型评估方法论： 系统化诊断、校准及选择的理论框架
当视觉大模型陷入认知失调，马里兰大学构建了一个幻觉自动生成框架
【NeurIPS2024】通过超球面能量最小化 CKA 增强贝叶斯深度学习中的多样性
数据派志愿者招募 | 寻找最志同道合的你！
综述 | 时空图神经网络模型在时间序列预测和分类中的应用
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
【NeurIPS2024】强化学习梯度作为在线微调决策变换器的维生素
报名 | 全球证书项目Innovation and Entrepreneurship for the Al Economy
NeurIPS 2024 | 经典GNNs是强有力的节点分类基线模型
从哈佛哲学系到蛋白质设计大师，David Baker：AlphaFold令我深刻认识到深度学习的力量
【CMU博士论文】交错离散搜索与连续优化用于运动规划中的动力学运动规划
IoTDB 航空航天解决方案：从制造到试飞，助力国之重器翱翔长空
深度学习工程实践：PyTorch Lightning与Ignite框架的技术特性对比分析
【CMU博士论文】使用数据不确定解释的可信学习
通知 | 清华大学大数据能力提升项目“RONG”奖学金开始申请啦！
一文解读：时序基础模型的缩放定律
基于Liquid State Machine的时间序列预测:利用储备池计算实现高效建模
【NeurIPS2024】通过分解编码和条件控制增强文本到视频生成中的运动效果
原创 | 展望大语言模型在AGI时代的发展前景
10种数据预处理中的数据泄露模式解析:识别与避免策略
【阿姆斯特丹博士论文】缓解多任务学习中的偏差
清华软件论坛 | 樊文飞：AI = 逻辑推理 + 机器学习
勾股定理还能这样证明？高中生一连发现10种证明方法，陶哲轩点赞
基于PyTorch的大语言模型微调指南：Torchtune完整教程与代码示例
【CELL】用AI智能体推动生物医学发现
科普之旅 ｜ 大语言模型与量子计算的融合
Github上的十大RAG(信息检索增强生成)框架
【NeurIPS2024】将连续潜在变量模型扩展为概率积分电路
 分类
时事
民生
政务
教育
文化
科技
财富
体娱
健康
情感
旅行
百科
职场
楼市
企业
乐活
学术
汽车
时尚
创业
美食
幽默
美体
文摘
 原创标签
时事 社会 财经 军事 教育 体育 科技 汽车 科学 房产 搞笑 综艺 明星 音乐 动漫 游戏 时尚 健康 旅游 美食 生活 摄影 宠物 职场 育儿 情感 小说 曲艺 文化 历史 三农 文学 娱乐 电影 视频 图片 新闻 宗教 电视剧 纪录片 广告创意 壁纸头像 心灵鸡汤 星座命理 教育培训 艺术文化 金融财经 健康医疗 美妆时尚 餐饮美食 母婴育儿 社会新闻 工业农业 时事政治 星座占卜 幽默笑话 独立短篇 连载作品 文化历史 科技互联网
 发布位置
广东 北京 山东 江苏 河南 浙江 山西 福建 河北 上海 四川 陕西 湖南 安徽 湖北 内蒙古 江西 云南 广西 甘肃 辽宁 黑龙江 贵州 新疆 重庆 吉林 天津 海南 青海 宁夏 西藏 香港 澳门 台湾 美国 加拿大 澳大利亚 日本 新加坡 英国 西班牙 新西兰 韩国 泰国 法国 德国 意大利 缅甸 菲律宾 马来西亚 越南 荷兰 柬埔寨 俄罗斯 巴西 智利 卢森堡 芬兰 瑞典 比利时 瑞士 土耳其 斐济 挪威 朝鲜 尼日利亚 阿根廷 匈牙利 爱尔兰 印度 老挝 葡萄牙 乌克兰 印度尼西亚 哈萨克斯坦 塔吉克斯坦 希腊 南非 蒙古 奥地利 肯尼亚 加纳 丹麦 津巴布韦 埃及 坦桑尼亚 捷克 阿联酋 安哥拉