在现代优化问题中,多目标优化(Multi-Objective Optimization, MOO)和多任务优化(Multi-Task Optimization, MTO)是两类核心的研究方向。它们在解决问题的目标、策略和应用场景上各有不同。为了更好地理解它们的区别,本文简单的分析多目标优化和多任务优化,解释它们各自的数学模型和优化方法。
一、多目标优化
多目标优化问题的核心是在一组决策变量 下同时优化多个目标函数。其数学形式可以表示为:
其中, 是目标函数向量, 是第 个目标函数,且目标函数 之间通常存在冲突关系(即某个目标函数的优化可能导致其他目标函数变差)。
由于多个目标可能相互冲突,通常不存在能同时优化所有目标的唯一最优解。因此,多目标优化的目标是找到Pareto最优解 (Pareto optimal solutions)。一个解 被称为Pareto最优的,当且仅当不存在另一个解 使得:
且 使得
Pareto解是在至少一个目标上优于其他解的同时,保证在其他目标上不会劣于其他解。
二、多任务优化
多任务优化的关键在于同时优化多个相关任务,而每个任务 都有自己的目标函数 。多任务优化的数学模型通常可以表示为:
其中, 是第 个任务的决策变量, 是对应的目标函数。每个任务的优化问题都是独立的,但在多任务优化中,我们希望通过任务间的信息共享来提升整体的优化效率。例如,通过共享决策变量的部分信息或目标函数的结构,可以加速多个任务的优化过程。
一个常见的多任务优化策略是迁移学习和共享知识。即,通过优化某一个任务时获取的信息(如梯度信息、解的结构等) ,对其他任务进行指导和改进。例如,假设第一个任务的解可以帮助第二个任务更快找到最优解,则通过这种跨任务的知识传递,多任务优化可以提高整体的优化效率。
三、多目标优化与多任务优化的主要区别
优化问题的结构
多目标优化处理的是在一个问题中优化多个目标函数,即 ,决策变量 对所有目标函数共享,目的是在多维目标空间中找到Pareto最优解。 多任务优化处理的是多个独立但相关的问题,即 ,每个任务有自己的决策变量 和目标函数。各个任务之间的决策变量和目标函数可能存在关联性,但每个任务都有自己的解。
目标的差异性
多目标优化中,各个目标函数之间通常是相互冲突的,即对某一目标函数的优化可能导致另一个目标函数的性能下降。这种冲突导致我们需要通过Pareto前沿找到一组非支配解。 多任务优化中,各个任务的目标函数是不同的,但并非冲突的。任务之间可以通过共享信息来提高优化效果,而不是在冲突中寻求平衡。
求解策略的差异
多目标优化的典型求解方法包括进化算法 (如NSGA-II、MOEA/D) 或加权求和法等。这类方法通常生成一个Pareto解集,反映不同的目标权衡情况。 多任务优化通常依赖于信息共享机制,如迁移学习、跨任务参数共享等。这类方法利用任务之间的相似性,加快任务的优化过程,减少计算开销。
解的形式
在多目标优化中,最终的解是一个Pareto前沿,表示为多个非支配解的集合。我们关注的是如何从解集中选择适当的解,或者进一步使用偏好决策方法选择合适的Pareto解。 在多任务优化中,解的形式是每个任务的单一最优解,且关注的是各个任务的最优解是否通过信息共享得到提升。
图片来源于参考文献:
[1]孙倩.多任务进化算法迁移机制及其应用研究[D].西安理工大学,2023.DOI:10.27398/d.cnki.gxalu.2023.000098.