【综述专栏】2024->2025必看的十大「人工智能领域综述」论文

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。

o1模型系列通过大规模强化学习进行训练，使用思维链进行推理。这些先进的推理能力为提高我们模型的安全性和鲁棒性提供了新的途径。特别是，我们的模型可以在响应可能不安全的提示时，对我们的安全策略进行推理。这导致了在某些风险基准上的最先进性能，如生成非法建议、选择刻板反应和屈服于已知的越狱。训练模型在回答问题前整合一系列思维，有可能带来实质性的好处，同时也会增加因智力提高而产生的潜在风险。我们的研究结果强调，需要建立稳健的校准方法，对其有效性进行广泛的压力测试，并维护细致的风险管理协议。本报告概述了OpenAIo1预览版和OpenAIo1迷你版模型的安全工作，包括安全评估、外部红队和准备框架评估。

大型AI模型（LAIMs），尤其是扩散模型和大型语言模型的迅速发展，标志着一个新时代的到来，其中AI生成的多媒体内容越来越多地融入到日常生活的各个方面。尽管在许多领域都具有益处，但这种内容也带来了重大风险，包括潜在的滥用、社会干扰和伦理关切。因此，检测LAIM生成的多媒体内容变得至关重要，相关研究也大幅增加。尽管如此，仍然存在一个明显的系统调查领域的空白，专门关注检测LAIM生成的多媒体内容。为了解决这一问题，我们提供了第一个全面涵盖现有研究的调查，重点关注检测LAIM生成的多媒体内容（如文本、图像、视频、音频和多模态内容）。具体而言，我们引入了一种新颖的检测方法分类法，按媒体模态进行分类，并与两个视角相一致：纯检测（旨在提高检测性能）和超越检测（为检测器添加可泛化性、鲁棒性和可解释性等属性）。此外，我们还简要介绍了生成机制、公共数据集和在线检测工具，为该领域的研究人员和实践者提供了宝贵的资源。此外，我们还识别了检测中的当前挑战，并提出了未开发、正在进行和新兴问题的未来研究方向。我们的目标是填补学术空白，为全球AI安全工作做出贡献，帮助确保数字领域信息的完整性。项目链接为https://github.com/Purdue-M2/Detect-LAIM-generated-Multimedia-Survey。

2022年底，ChatGPT 震撼上线，大语言模型技术迅速“席卷”了整个社会，人工智能技术因此迎来了一次重要进展。面对大语言模型的强大性能，我们不禁要问：支撑这些模型的背后技术究竟是什么？这一问题无疑成为了众多科研人员的思考焦点。必须指出的是，大模型技术并不是一蹴而就，其发展历程中先后经历了统计语言模型、神经网络语言模型、预训练语言模型等多个发展阶段，每一步的发展都凝结了众多科研工作者的心血与成果。作为大语言模型技术的重要推动者，OpenAI公司在过去深入探索了与其相关的大量技术细节，并最终推出了GPT系列模型，引领了本次技术变革。

然而，OpenAI 团队自GPT-3开始，就很少在公开的材料中提及相关技术细节，很多技术报告主要是介绍评测相关的内容。到目前为止，关于GPT系列模型的核心技术仍然难以完全解密。目前，学术界面临的重大挑战是真正有充足资源去充分探索大语言模型训练的团队少之又少，因此导致了第一手经验匮乏，难以直接开展相关研究。大模型训练涉及众多训练的细节，这些细节很多时候无法从已有科研论文中直接获取。由于其参数众多、组件复杂、训练过程也比较复杂，早期的实验探索如果不引入任何先验知识，可能会导致指数级增长的实验数量。这使得掌握大模型技术的经验变得尤为困难，更不用说从零开始探索相关科研问题，极大限制了学术界在此次人工浪潮中所起到的作用。目前，能力较强的大语言模型基本都源自工业界，这一趋势随着时间的推移可能会变得更加明显。从第一手经验中“Know-How”，对于科研人员来说非常重要，只有接触到技术核心，才能真正理解哪些问题是有意义的，并找到解决方案。

令人欣喜的是，无论是在学术界还是工业界，人们都逐渐认识到了“开放”的重要性，能够看到越来越多的公开的基础模型、技术代码以及学术论文，有力地推动了大模型技术的“透明化”。只有通过开放和共享，才能汇聚全人类的智慧，共同推进人工智能技术的发展。实际上，根据现有公开的资料，大模型技术也是“有章可循”的，如整体训练流程、数据清洗方法、指令微调技术、人类偏好对齐算法等。根据这些技术，在算力资源支持下，研发人员已经能够较为顺利地完成大模型的整体训练流程，并取得不错的模型效果。随着更多核心技术的揭示和开放，大模型技术的“透明化”将进一步提高。

总之，大模型技术正处于快速发展阶段，基础原理亟待探索、关键技术亟待改善。对于科研人员而言，大模型研究工作充满了想象空间，令人为之神往。随着技术的不断进步与共享开放，我们有理由相信，未来人工智能技术将取得更大的进展，将在更多领域带来更为深远的影响。本书旨在为读者提供关于大模型技术的全面了解，包括其基础原理、关键技术和应用前景。通过深入研究和实践，我们可以不断探索和改进大模型技术，为人工智能领域的发展做出贡献。我们希望读者通过阅读本书，能够深入了解大模型技术的现状和未来趋势，为自己的研究和实践提供指导和启发。让我们携手努力，共同推动人工智能技术的发展，为建立更智能、更可持续的未来做出贡献。

推理，作为复杂问题解决的关键能力，在各种现实世界场景中扮演着核心角色，如谈判、医学诊断和刑事侦查。它是人工通用智能（AGI）领域的一种基本方法。随着基础模型的持续发展，例如大型语言模型（LLMs），人们越来越感兴趣于探索它们在推理任务中的能力。在这篇论文中，我们介绍了为推理提出或适应的开创性基础模型，突出了在各种推理任务、方法和基准测试方面的最新进展。接着，我们深入探讨了基础模型中推理能力出现的潜在未来方向。我们还讨论了多模态学习、自主代理和超级对齐在推理背景下的相关性。通过讨论这些未来的研究方向，我们希望激发研究人员在这一领域的探索，促进基础模型推理的进一步发展，并为人工通用智能的发展做出贡献。

https://www.zhuanzhi.ai/paper/c0a69ae6c7f010b4afa6573f11a55014

大型语言模型（LLMs）在广泛的任务范围内展现了显著的能力。它们引起了大量的关注，并已被部署在众多下游应用中。然而，如同一把双刃剑，LLMs也带来了潜在的风险。它们可能面临私人数据泄露的风险，或产生不适当、有害或误导性的内容。此外，LLMs的快速进步也引发了关于在没有充分保障的情况下可能出现的超智能系统的担忧。为了有效地利用LLMs的能力并确保它们的安全和有益的发展，对LLMs进行严格和全面的评估至关重要。这项综述旨在为LLMs的评估提供一个全景式的视角。我们将LLMs的评估分为三大类：知识和能力评估、对齐评估和安全评估。除了对这三个方面的评估方法和基准的全面调研外，我们还汇编了一个关于LLMs在专业领域性能的评估手册，并讨论了建立综合评估平台的构建，该平台涵盖了LLMs在能力、对齐、安全和适用性上的评估。我们希望这个全面的概述能够进一步激发对LLMs评估的研究兴趣，最终目标是使评估成为指导LLMs负责任发展的基石。我们设想，这将引导它们的发展朝着最大化社会利益同时最小化潜在风险的方向。与此相关的论文列表已在GitHub仓库上公开。

https://www.zhuanzhi.ai/paper/b143a1ff6320a27ce51c8629256bb347

多模态人工智能（Multimodal AI）通常涉及多种类型的数据（例如图像、文本或来自不同传感器的数据）、特征工程（例如特征提取、组合/融合）以及决策过程（例如多数投票）。随着架构变得越来越复杂，多模态神经网络可以将特征提取、特征融合和决策过程整合到一个单一的模型中。这些过程之间的界限日益模糊。基于融合在何处发生的传统多模态数据融合分类（例如早期/后期融合）已经不再适用于现代深度学习时代。因此，基于当前主流技术，我们提出了一种新的细粒度分类，将当前的前沿（SOTA）模型分为五类：编码器-解码器方法、注意力机制方法、图神经网络方法、生成式神经网络方法，以及其他基于约束的方法。现有的大多数多模态数据融合综述仅关注特定任务和特定模态组合，而不同于这些综述的是，本综述涵盖了更广泛的模态组合，包括视觉+语言（例如视频、文本）、视觉+传感器（例如图像、LiDAR）等，以及它们对应的任务（例如视频描述、目标检测）。此外，我们还提供了这些方法之间的比较，以及该领域的挑战和未来发展方向。

https://dl.acm.org/doi/10.1145/3649447

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。