2024上半年是大模型的时代,但随着训练推理的深入,大模型也逐渐暴露出幻觉问题, 一些回复与事实知识不符,研究落地面临极大挑战。于是,多模态检索增强生成(mRAG)技术应运而生。近年顶会更是激增了一批基于mRAG技术的MLLMs幻觉工作!
鉴于传统的mRAG方法遵循固定的检索流程,检索效率不高。阿里最新推出的研究OmniSearch就以动态检索规划框架,打破了传统mRAG局限!模拟了人类在解决复杂问题时的行为方式,有o1思考推理那味儿了!
更重要的是,作为即插即用的RAG模块,OmniSearch可以与任意MLLMs协同工作以增强其处理复杂动态问题的能力!
👇🏻扫描二维码找助教0元预约直播课!
为了帮助大家综合掌握多模态RAG新框架,消除大模型幻觉。研梦非凡于12月25日晚(周三),邀请了从事多模态大模型研究的王导师,独家详解《大模型幻觉消失术,omnisearch开启o1范式多模态动态检索新时代》(AI前沿直播课NO.89),主要涉及1篇阿里的最新工作,该论文ICLR2025在投,评分为8665,接收应该问题不大!从顶会热门MLLMs方向,再到目前多模态大语言模型的幻觉问题、RAG技术,重点讲解顶会工作-OmniSearch核心原理,及最新动态VQA数据集,1节课速通!
直播课福利
扫码预约即可免费领取200篇相关论文(20篇幻觉前沿+70篇多模态+120篇大模型)!
ps:研梦非凡开设的前沿论文系列直播,旨在帮助大家提升读论文技能,快速抓住重点,掌握有效方法,进而找到创新点,轻松完成论文报告。
直播课内容概览
01 多模态行业热点
顶会热门方向 多模态RAG技术 多模态大语言模型的幻觉问题
02 研究背景
多模态大语言模型的幻觉问题 缺乏有挑战性的动态VQA数据集 现有mRAG方法的表现欠佳
03 相关工作详解
RAG in LLMs 多模态检索基础 多模态大语言模型
👇🏻扫描二维码找助教0元预约直播课!
04 OmniSearch详细算法框架
Planning Agent Retriever Sub-question Solver
05 实验要点
Experimental Settings Main Results Analysis Experiments on Dyn-VQA Dataset
06 多模态检索增强生成创新点
构建了一个具有挑战性的数据集Dyn-VQA 提出了首个自适应规划型多模态检索智能体OmniSearch
导师简介
王导师
【学术背景】985硕出身,拥有丰富的深度学习研究、论文发表经验,多篇SCI论文、EI会议论文(一作)
【研究方向】大语言模型、视觉语言模型、多模态学习,以及自然语言处理、进化算法等
👇🏻扫描二维码找助教0元预约直播课!
研梦非凡科研论文指导
研梦非凡部分导师介绍
全新6人尖端科研课题组论文辅导
<<< 左右滑动见更多 >>>
我们不是小作坊哦~我们背靠研途考研(就是张雪峰老师和徐涛老师在的那个研途考研),做教育十余年,重交付,重口碑,是我们一贯的公司理念!