首页 时事 民生 政务 教育 文化 科技 财富 体娱 健康 情感
更多
旅行 百科 职场 楼市 企业 乐活 学术 汽车 时尚 创业 美食 幽默 美体 文摘

【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习

学术   2024-11-25 17:03   北京   
来源：专知
本文约1000字，建议阅读5分钟
本论文旨在研究在视觉挑战条件下的多模态学习。


尽管许多多模态机器学习方法相较于单一感知的单模态方法在准确性上取得了优越的表现，但它们隐含地假设视觉模态总是清晰的。然而，这一假设在实际应用中容易被证伪，因为在日常环境中，视觉条件不佳的情况十分常见。我们发现，当视觉条件具有挑战性时，现有的机器学习方法往往无法有效地利用其他模态的信息。因此，它们过度依赖视觉模态，因为在训练数据中，视觉模态通常是可靠且信息丰富的。结果，当视觉条件变差并开始包含误导性信息时，这些方法无法适应。此外，传统的多模态模型从未学会在视觉挑战场景中找到跨模态的对应关系。本论文旨在研究在视觉挑战条件下的多模态学习。我们将在各个章节中分别探讨每种变化，并提出我们的解决方案，以实现更有效的多模态表示学习。最后，在论文的最后一章，我们将提供一个简要的结论。我们希望我们的研究能激发更多关于视觉挑战条件下多模态学习的研究。
https://hdl.handle.net/11245.1/bf8162ca-b205-40d2-b214-5c2a1ed17a19



关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。




新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU
数据派THU
清华大数据研究中心官方平台，发布团队科研、教学等最新动态及大数据领域的相关信息~
 最新文章
深入理解多重共线性：基本原理、影响、检验与修正策略
类GPT化学语言模型，9秒生成100种化合物，微软AI药物设计平台登Nature子刊
【阿姆斯特丹博士论文】优化、博弈与泛化界
独家｜ChatGPT搜索如何为AI代理铺路
普林斯顿王梦迪团队提出蛋白水印方法，助力AI蛋白生成的版权保护与安全
【NeurIPS2024】注意力迁移对视觉Transformer的惊人有效性研究
报名 | 揭秘AI科研神器，解锁跨学科创新密码！
独家 ｜在大型语言模型中对于 “涌现属性 ”的合理性检查
清华软件论坛 | 清华大学杰出访问教授樊文飞院士分享“AI = 机器学习 + 逻辑推理”
【博士论文】基于车载3D LiDAR的几何与语义场景理解深度学习研究
NeurIPS 2024 || GLBench: 面向大模型的图学习基准测试集
Token化一切，甚至网络！TokenFormer，Transformer从来没有这么灵活过！
【阿姆斯特丹博士论文】科学模拟的机器学习：推理与生成模型
基于LLM Graph Transformer的知识图谱构建技术研究：LangChain框架下的文本-图谱双模式转换机制实践
为什么卷积现在不火了：CNN研究热度降温的深层原因分析
【NeurIPS2024】SAFE: 慢速与快速参数高效调优用于基于预训练模型的持续学习
TSMamba：基于Mamba架构的高效时间序列预测基础模型
【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
大数据系统软件国家工程研究中心共同主办首届北京数字人才发展大会
NeurIPS 2024 | 重新审视时间戳信息在时序预测中的作用
通过pin_memory 优化 PyTorch 数据加载和传输:工作原理、使用场景与性能分析
【牛津大学博士论文】通过贝叶斯实验设计实现自动化数据采集
基于MCMC的贝叶斯营销组合模型评估方法论： 系统化诊断、校准及选择的理论框架
当视觉大模型陷入认知失调，马里兰大学构建了一个幻觉自动生成框架
【NeurIPS2024】通过超球面能量最小化 CKA 增强贝叶斯深度学习中的多样性
数据派志愿者招募 | 寻找最志同道合的你！
综述 | 时空图神经网络模型在时间序列预测和分类中的应用
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
【NeurIPS2024】强化学习梯度作为在线微调决策变换器的维生素
报名 | 全球证书项目Innovation and Entrepreneurship for the Al Economy
NeurIPS 2024 | 经典GNNs是强有力的节点分类基线模型
从哈佛哲学系到蛋白质设计大师，David Baker：AlphaFold令我深刻认识到深度学习的力量
【CMU博士论文】交错离散搜索与连续优化用于运动规划中的动力学运动规划
IoTDB 航空航天解决方案：从制造到试飞，助力国之重器翱翔长空
深度学习工程实践：PyTorch Lightning与Ignite框架的技术特性对比分析
【CMU博士论文】使用数据不确定解释的可信学习
通知 | 清华大学大数据能力提升项目“RONG”奖学金开始申请啦！
一文解读：时序基础模型的缩放定律
基于Liquid State Machine的时间序列预测:利用储备池计算实现高效建模
【NeurIPS2024】通过分解编码和条件控制增强文本到视频生成中的运动效果
原创 | 展望大语言模型在AGI时代的发展前景
10种数据预处理中的数据泄露模式解析:识别与避免策略
【阿姆斯特丹博士论文】缓解多任务学习中的偏差
清华软件论坛 | 樊文飞：AI = 逻辑推理 + 机器学习
勾股定理还能这样证明？高中生一连发现10种证明方法，陶哲轩点赞
基于PyTorch的大语言模型微调指南：Torchtune完整教程与代码示例
【CELL】用AI智能体推动生物医学发现
科普之旅 ｜ 大语言模型与量子计算的融合
Github上的十大RAG(信息检索增强生成)框架
【NeurIPS2024】将连续潜在变量模型扩展为概率积分电路
 分类
时事
民生
政务
教育
文化
科技
财富
体娱
健康
情感
旅行
百科
职场
楼市
企业
乐活
学术
汽车
时尚
创业
美食
幽默
美体
文摘
 原创标签
时事 社会 财经 军事 教育 体育 科技 汽车 科学 房产 搞笑 综艺 明星 音乐 动漫 游戏 时尚 健康 旅游 美食 生活 摄影 宠物 职场 育儿 情感 小说 曲艺 文化 历史 三农 文学 娱乐 电影 视频 图片 新闻 宗教 电视剧 纪录片 广告创意 壁纸头像 心灵鸡汤 星座命理 教育培训 艺术文化 金融财经 健康医疗 美妆时尚 餐饮美食 母婴育儿 社会新闻 工业农业 时事政治 星座占卜 幽默笑话 独立短篇 连载作品 文化历史 科技互联网
 发布位置
广东 北京 山东 江苏 河南 浙江 山西 福建 河北 上海 四川 陕西 湖南 安徽 湖北 内蒙古 江西 云南 广西 甘肃 辽宁 黑龙江 贵州 新疆 重庆 吉林 天津 海南 青海 宁夏 西藏 香港 澳门 台湾 美国 加拿大 澳大利亚 日本 新加坡 英国 西班牙 新西兰 韩国 泰国 法国 德国 意大利 缅甸 菲律宾 马来西亚 越南 荷兰 柬埔寨 俄罗斯 巴西 智利 卢森堡 芬兰 瑞典 比利时 瑞士 土耳其 斐济 挪威 朝鲜 尼日利亚 阿根廷 匈牙利 爱尔兰 印度 老挝 葡萄牙 乌克兰 印度尼西亚 哈萨克斯坦 塔吉克斯坦 希腊 南非 蒙古 奥地利 肯尼亚 加纳 丹麦 津巴布韦 埃及 坦桑尼亚 捷克 阿联酋 安哥拉