编者按
在全球竞相发展新一代人工智能技术的时代背景下，2024年的《政府工作报告》明确指出要加快发展新质生产力，并首次提出“人工智能+”行动，这标志着人工智能已成为引领新质生产力发展的关键引擎，我国正将“人工智能+”提升至国家层面的战略行动。
什么是新一代人工智能？新一代人工智能将如何改变我们的生活？如何在这场技术革命中抢占先机？这些问题影响着人工智能的发展，更深刻地影响着国家的前途命运。多模态大模型，是这场技术范式变革的核心，是迈向通用人工智能（AGI）的关键。多模态大模型涵盖了多种技术领域，包括自然语言处理、计算机视觉以及具身智能等。近年来，这些领域的研究成果不断涌现，但却分散在各个领域和不同的文献中。因此，像《多模态大模型：新一代人工智能技术范式》这样一本全面且系统地介绍多模态大模型的书是非常必要的。
▲《多模态大模型：新一代人工智能技术范式》
为应对新一代人工智能技术的崛起，并为广大人工智能从业者提供一份全面而系统的多模态大模型学习指南，中山大学人机物智能融合实验室（HCP-Lab）林倞教授和刘阳副研究员于2024年4月出版了《多模态大模型：新一代人工智能技术范式》，该书是业内首本全面介绍多模态大模型核心技术与应用的书籍，并围绕新一代人工智能技术范式，详细阐述了因果推理、世界模型、超级智能体与具身智能等前沿技术。本书也得到高文院士作序力荐。截至24年9月，本书累计销量超过6000册，未来将在学校本科课堂使用。
本书的目标是系统地介绍多模态大模型的关键技术、基础模型和典型应用。为了能够让低年级本科生和刚进入人工智能领域的从业者更容易理解书中的技术内容，本书以深入浅出的方式介绍了各个关键技术点，并提供了许多易于理解的直观实例。希望通过这本书向读者介绍多模态大模型的技术方法、开源平台和应用场景，以及对如何实现通用人工智能提供清晰的指导，其中深入阐述了因果推理、世界模型、具身智能与多智能体等前沿技术。希望本书能够为学术界和工业界提供一个清晰的视角，以促进人工智能科研工作者更全面地了解多模态大模型的技术和新一代人工智能的发展方向。
▲本书内容展示图
<< 上下滑动查看更多 >>
▲本书目录
本书内容共五章，第1章引领读者深入探索最具代表性的大模型结构，包括BERT、ChatGPT 和ChatGLM等，为建立对多模态大模型的全面认知打下基础。第2章深度剖析多模态大模型的核心技术，如提示学习、上下文学习、思维链和人类反馈强化学习等，揭示多模态大模型的独特之处和引人入胜的技术内涵。第3章介绍多个具有代表性的多模态基础模型，如CLIP、LLaMA、SAM和PaLM-E等，为读者呈现多样和广泛的技术解决方案。第4章深入分析视觉问答、AIGC和具身智能这三个典型应用，展示多模态大模型在实际场景中的强大能力。第5章探讨实现AGI 的可行思路，包括因果推理、世界模型、超级智能体与具身智能等前沿技术方向。本书还提供了在线资源（含目录、参考文献等）：https://hcplab-sysu.github.io/Book-of-MLM/。
▲本书主要内容
作者团队
林倞，人工智能领域专家（IEEE/IAPR Fellow）、中山大学二级教授、鹏城实验室多智能体与具身智能研究所所长、国家人工智能重大专项首席科学家；在多模态认知计算、生成式模型、具身交互与学习等领域形成一系列突破创新成果。发表论文400余篇（含T-PAMI论文40余篇），论文被引用35000余次（谷歌学术统计），5次获得最佳论文奖。获黑龙江省自然科学奖一等奖；指导学生获得CCF优秀博士论文奖、ACM China优秀博士论文奖及CAAI优秀博士论文奖。带领团队坚持产学研结合的科技创新思路，曾任商汤科技研究院执行院长。在企业数智化、元宇宙、智慧城市等领域形成了具有广泛影响力的商业化产品和项目。
刘阳，计算机学院副教授，主要研究方向为鲁棒可信的多模态表征学习、具身智能。累计发表高水平论文30余篇，包括T-PAMI，T-IP，CVPR, ICCV等。主持多模态因果推理开源框架CausalVLR和具身智能资源仓库。主持国家、省部级等项目近十项。获得2023中国软件大会机器人大模型与具身智能挑战赛优胜奖以及2023广东省第三届计算机科学青年学术秀一等奖。
--- 中大教务部 ---
来源：计算机学院
编辑：廖宇
初审：冒荷芬 卢也晰
审核：张雁 董苑玫
审核发布：陈省平
