【CAA期刊】《模式识别与人工智能》第37卷 第10期

多智能体强化学习理论及其应用综述

陈卓然¹, 刘泽阳¹, 万里鹏¹, 陈星宇¹, 朱雅萌², 王成泽², 程翔³, 张亚⁴, 张森林⁵, 王晓辉⁶, 兰旭光¹

1.西安交通大学 人工智能与机器人研究所 西安 710049;
2.中国运载火箭技术研究院 北京 100076;
3.北京大学 电子学院 北京 100871;
4.东南大学 自动化学院 南京 210096;
5.浙江大学 电气工程学院 杭州 310027;
6.中国电力科学研究院 人工智能研究所 北京 100192

摘要: 强化学习是一种用于解决序列决策问题的常用机器学习方法,核心思想是让智能体与环境交互获得反馈,从而逐步学会最佳策略.随着实际应用对计算能力和数据规模的要求不断提高,单体智能转向群体智能逐渐成为人工智能未来发展的必然趋势,这为强化学习带来诸多新的机遇和挑战.文中首先从深度多智能体强化学习概念着手,针对目前的理论困境,如可拓展性较差、效用分配较难、探索-利用困境、环境非稳态、信息部分可观测等问题,进行提炼和分析.然后,详细阐述目前学者对于这些问题提出的多种解决方法及其优缺点.最后,介绍当前多智能体强化学习的典型训练学习环境和智慧城市建设、游戏、机器人控制、自动驾驶等复杂决策领域的实际应用,并总结协作多智能体强化学习面临的挑战和未来发展方向.

关键词：深度强化学习,  多智能体,  效用分配,  人类反馈,  马尔科夫决策过程

引用本文:

陈卓然, 刘泽阳, 万里鹏, 陈星宇, 朱雅萌, 王成泽, 程翔, 张亚, 张森林, 王晓辉, 兰旭光. 多智能体强化学习理论及其应用综述[J]. 模式识别与人工智能, 2024, 37(10): 851-872. 

CHEN Zhuoran, LIU Zeyang, WAN Lipeng, CHEN Xingyu, ZHU Yameng, WANG Chengze, CHENG Xiang, ZHANG Ya, ZHANG Senlin, WANG Xiaohui, LAN Xuguang. A Review of Multi-agent Reinforcement Learning Theory and Applications. Pattern Recognition and Artificial Intelligence, 2024, 37(10): 851-872.

链接本文:

http://manu46.magtech.com.cn/Jweb_prai/CN/Y2024/V37/I10/851

三元概念的分布式并行构造算法

李金海^1,2,3, 王坤^1,2, 陈强强^2,3

1.昆明理工大学 信息工程与自动化学院 昆明 650500;
2.昆明理工大学 数据科学研究中心 昆明 650500;
3.昆明理工大学 理学院 昆明 650500

摘要: 作为形式概念分析的扩展,三元概念分析在高维数据的理论和应用中均取得显著效果.然而,数据量的极速增长导致三元概念的生成算法的时间复杂度呈指数级增长,在现实应用中面临巨大挑战,需要构造并行算法.因此文中提出适用于大规模数据的三元概念分布式并行构造算法,首先给出对象-属性和属性-条件三元概念的相关理论,并证明所有三元概念可通过合并这两种类型的中间概念生成.然后,采用两阶段聚合策略,改进Spark框架中的弹性分布式数据集操作符,有效解决数据倾斜问题,明显提升算法的运行效率.最后,在多个公开数据集上的实验表明,文中算法在海量数据中的三元概念生成过程中表现高效.

关键词：形式概念,  三元概念,  分布式并行,  两阶段聚合,  数据倾斜

引用本文:

李金海, 王坤, 陈强强. 三元概念的分布式并行构造算法[J]. 模式识别与人工智能, 2024, 37(10): 873-886. 

LI Jinhai, WANG Kun, CHEN Qiangqiang. Distributed Parallel Construction Algorithm for Triadic Concepts. Pattern Recognition and Artificial Intelligence, 2024, 37(10): 873-886.

链接本文:

http://manu46.magtech.com.cn/Jweb_prai/CN/Y2024/V37/I10/873

基于硬负样本对比学习的水下图像生成方法

刘子健¹, 王兴梅^1,2, 陈伟京¹, 张万松¹, 张天姿¹

1.哈尔滨工程大学 计算机科学与技术学院 哈尔滨 150001;
2.哈尔滨工程大学 水声技术全国重点实验室 哈尔滨 150001

摘要: 在获取稀缺水下图像时图像生成技术至关重要,通常依赖有序配对数据.考虑到实际海洋环境中获取该类数据受限,引入CL-GAN(Contrastive Learning-Based Generative Adversarial Network),克服图像域双射条件的限制,但由于随机采样的负样本质量较低,模型难以从水下噪声图像中学习复杂内容特征.因此,文中提出基于硬负样本对比学习的特征级生成对抗网络(Hard Negative Sample Contrastive Learning-Based Feature Level Generative Adversa-rial Network, HCFGAN),用于水下图像生成.为了提高负样本质量,提出硬负样本采样模块(Hard Negative Sampling Module, HNS),挖掘样本间的特征相似性,将靠近锚点样本的硬负样本加入对比损失中,学习复杂特征.为了保证负样本的复杂性和全面性,构造负样本生成模块(Negative Sample Generation Module, NSG).通过NSG和HNS的对抗性训练,确保硬负样本的有效性.为了提高模型对水下模糊图像的特征提取能力及训练稳定性,设计上下文特征生成器和全局特征判别器,增强对细微内容特征和水下风格信息的感知能力.实验表明,HCFGAN生成的水下图像具有良好的真实性和丰富性,在水下图像生成实际应用中具有重要价值.

关键词：水下图像生成,  生成对抗网络(GAN),  对比学习,  硬负样本,  特征提取 

引用本文:

刘子健, 王兴梅, 陈伟京, 张万松, 张天姿. 基于硬负样本对比学习的水下图像生成方法[J]. 模式识别与人工智能, 2024, 37(10): 887-909. 

LIU Zijian, WANG Xingmei, CHEN Weijing, ZHANG Wansong, ZHANG Tianzi. Underwater Image Generation Method Based on Contrastive Learning with Hard Negative Samples. Pattern Recognition and Artificial Intelligence, 2024, 37(10): 887-909.

链接本文:

http://manu46.magtech.com.cn/Jweb_prai/CN/Y2024/V37/I10/887

基于对比学习的多视角特征融合方面级情感分析模型

伍星¹, 夏鸿斌^1,2, 刘渊^1,2

1.江南大学 人工智能与计算机学院 无锡 214122;
2.江南大学 人机融合软件与媒体技术江苏省高校重点实验室 无锡 214122

摘要: 当前方面级情感分析方法大多通过依赖树和注意力机制提取情感特征,容易受上下文无关信息的噪声干扰,往往忽略对句子全局情感特征的建模,难以处理隐含表达情感的句子.为了解决该问题,文中提出基于对比学习的多视角特征融合方面级情感分析模型(Contrastive Learning Based Multi-view Feature Fusion Model for Aspect-Based Sentiment Analysis, CLMVFF).首先,使用图卷积网络编码依赖图、成分图和语义图中的信息,并在每个图中构建全局情感节点,学习全局情感特征,同时引入外部知识嵌入,丰富情感特征.然后,通过对比学习减少噪声的负面影响,并结合相似度分离增强情感特征.最后,融合依赖图表示、成分图表示、语义图表示和外部知识嵌入,得到多视角特征增强表示.在3个数据集上的实验表明,CLMVFF的性能取得一定提升.

关键词：方面级情感分析,  对比学习,  图卷积网络,  注意力机制

引用本文:

伍星, 夏鸿斌, 刘渊. 基于对比学习的多视角特征融合方面级情感分析模型[J]. 模式识别与人工智能, 2024, 37(10): 910-922. 

WU Xing, XIA Hongbin, LIU Yuan. Contrastive Learning Based Multi-view Feature Fusion Model for Aspect-Based Sentiment Analysis. Pattern Recognition and Artificial Intelligence, 2024, 37(10): 910-922.

链接本文:

http://manu46.magtech.com.cn/Jweb_prai/CN/Y2024/V37/I10/910

联合规则推理模式和事实嵌入的知识图谱推理

单晓欢¹, 蒋建涛¹, 陈泽¹, 宋宝燕¹

1.辽宁大学 信息学部 沈阳 110036

摘要: 知识图谱推理是解决知识图谱不完整性的重要手段之一.针对现有基于嵌入的推理模型依赖准确事实,可解释性较差,而基于规则的推理模型过于依赖图谱的完整性,数据稀疏时推理性能较低,无法准确表达推理模式.因此文中提出联合规则推理模式和事实嵌入的知识图谱推理模型(Knowledge Graph Reasoning Combining Rule Inference Patterns and Fact Embedding, RPFE).首先,将BoxE作为基础嵌入模型,实现事实的嵌入表示.再设计推理模式差异性函数,辅助嵌入模型捕获不同推理模式的规则,并对规则学习提供直观的嵌入解释.然后,提出事实距离一致性评分函数,强化嵌入表示.最后,优化规则和事实得分,弥补知识图谱高质量事实不足的缺陷,进而提升模型推理的可解释性.在3个公开数据集上的实验表明RPFE在知识图谱推理方面的优越性.

关键词：知识图谱推理,  知识图谱嵌入,  规则学习,  规则推理模式,  可解释性

引用本文:

单晓欢, 蒋建涛, 陈泽, 宋宝燕. 联合规则推理模式和事实嵌入的知识图谱推理[J]. 模式识别与人工智能, 2024, 37(10): 923-935. 

SHAN Xiaohuan, JIANG Jiantao, CHEN Ze, SONG Baoyan. Knowledge Graph Reasoning Combining Rule Inference Patterns and Fact Embedding. Pattern Recognition and Artificial Intelligence, 2024, 37(10): 923-935.

链接本文:

http://manu46.magtech.com.cn/Jweb_prai/CN/Y2024/V37/I10/923

基于局部对比学习与新类特征生成的小样本图像分类

陈宁¹, 刘凡¹, 董晨炜¹, 陈峙宇¹

1.河海大学 计算机与软件学院 南京 211100

摘要: 现有的图像分类方法通常依赖于大规模的标注数据,但当数据有限时,方法在局部特征表示能力和样本数量上都存在不足.为了缓解此问题,文中提出基于局部对比学习与新类特征生成的小样本图像分类方法.首先,引入局部对比学习,将图像表示为多个局部特征并进行监督对比学习,增强模型的局部特征表示能力.然后,通过全局对比学习,确保图像整体特征的可分性.最后,在对比学习的基础上,提出特征生成方法,利用基类数据的类别原型生成新类别的样本特征,有效缓解小样本条件下的数据不足问题.在公共数据集上的实验表明,文中方法性能较优.

关键词： 图像分类,  小样本图像分类,  对比学习,  监督对比学习,  特征生成

引用本文:

陈宁, 刘凡, 董晨炜, 陈峙宇. 基于局部对比学习与新类特征生成的小样本图像分类[J]. 模式识别与人工智能, 2024, 37(10): 936-946. 

CHEN Ning, LIU Fan, DONG Chenwei, CHEN Zhiyu. Few-Shot Image Classification Based on Local Contrastive Learning and Novel Class Feature Generation. Pattern Recognition and Artificial Intelligence, 2024, 37(10): 936-946.

链接本文:

http://manu46.magtech.com.cn/Jweb_prai/CN/Y2024/V37/I10/936

地址：北京市海淀区中关村东路95号

邮编：100190

电话：010-82544542（综合）

          010-62522472（会员）

          010-62522248（宣传出版及大赛 ）

          010-62624980（财务）

010-82544541（学术活动）

传真：010-62522248

邮箱：caa@ia.ac.cn

中国自动化学会新媒体矩阵

微信公众号

学生分会

CAA OFFICIAL

会员服务

综合媒体

官网

微博

今日头条

视频平台

B站

微信视频号

抖音

学术平台

中国自动化学会会议

中国自动化大会

知乎

点

阅读原文了解更多

喜欢的话点击在看哟~