一、PEFT 主流技术分类
增量模型（参数）：
适配器：
软提示：
选择性方法：
基于重参数化方法：
定义：增量模型技术通过只调整模型的一部分参数或特定层，来减少计算和存储需求。简单来说，就是在不修改整个模型的情况下，对模型进行局部调整。
应用：这种方法特别适用于需要快速适应新任务或新数据的场景。通过只对模型的某些参数进行调整，可以显著减少计算量和存储需求。
定义：适配器是在预训练模型中插入的小型模块，通过微调这些模块来适应新任务。这种方式不会修改原始模型的权重，只对适配器进行调整。
优势：适配器的使用使得我们可以在不同任务中复用相同的预训练模型，只需训练适配器部分即可。这样，训练过程更高效，节省了大量的计算资源。
定义：软提示技术通过在模型输入中加入可学习的嵌入（soft prompts），来引导模型生成期望的输出。与硬提示（如手动设计的提示）不同，软提示是可优化的。
应用：这种方法可以在不更改模型本身的情况下，通过调整输入的提示来控制模型的输出结果。这使得在处理不同任务时，可以灵活地调整模型的行为。
定义：选择性方法仅对模型的部分参数或层进行更新，以提高微调的效率。这种方法通过选择性地微调模型，减少了不必要的计算和存储需求。
应用：这种方法特别适合于需要快速适应特定任务的场景，因为它能大幅度降低计算量，同时保持模型的高效性。
定义：基于重参数化的方法通过对模型结构或参数进行重新配置，来提高模型在新任务上的性能。这种方法通常涉及对模型的参数进行重新调整或重定义。
应用：这种技术可以有效优化模型的性能，使其更加适合特定的任务需求，从而提高模型的整体表现。
二、UniPELT：PEFT 大模型的统一框架
Adapters（适配器）：
Soft Prompts（软提示）：
Reparametrization-based（基于重参数化的方法）：
功能：在模型中插入适配器层，通过微调这些层来适应新任务。适配器的设计可以根据任务需求进行调整，从而实现高效的任务适配。
应用：适配器可以在模型的不同位置插入，如前馈网络层，以便在不改变模型原始权重的情况下，快速进行任务适配。
功能：通过在模型输入中加入可学习的提示，来引导模型生成期望的输出。软提示与传统的硬提示不同，它们是可优化的，可以根据任务需求进行调整。
应用：这种方法可以灵活地调整模型的行为，从而在处理不同任务时，提高模型的输出质量。
功能：通过重参数化技术对模型进行优化，从而提高模型在新任务上的表现。这种方法通常涉及对模型参数的重新配置。
应用：基于重参数化的方法可以有效提高模型的性能，使其更适合特定任务的需求。
三、UniPELT的技术组合探讨
Adapter（适配器）：
Soft Prompts（软提示）：
Reparametrization-based（基于重参数化的方法）：
接入位置：适配器可以接入到模型的不同位置，如前馈网络（FFN）层。这些位置的选择可以影响适配器的效果。
接入方式：适配器可以以串行或并行方式接入模型。串行方式将适配器层连接到模型的各个层次，而并行方式则在模型的每个层次上并行插入适配器。
MLP 设计：适配器的多层感知机（MLP）设计涉及隐藏层的维度调整。合适的MLP设计可以提高适配器的有效性和性能。
嵌入方式：软提示可以通过不同的方式嵌入模型中，如Prompt-tuning、Prefix-Tuning和P-Tuning等。每种方式的优缺点不同，可以根据任务需求选择合适的方式。
Prompt 微调方法：软提示的微调方法可以是手工生成的提示，也可以通过连续可微优化得到的提示。连续可微优化的方法可以更灵活地调整模型的行为。
缩放因子：例如，秩（Rank）r的缩放因子可以影响模型的重参数化效果。
模型参数/模块类型：如权重量化（WQ）、权重值（WV）等，这些参数或模块的选择可以影响模型的性能。
四、(IA)3：探索新的增量训练方法
IA3的主要特点包括：
高效性：
冻结预训练权重：
推理延迟：
应用范围：
参数减少：IA3大幅减少了可训练参数的数量。例如，对于T0模型，IA3模型仅含约0.01%的可训练参数，而LoRA的可训练参数比例大于0.1%。
性能表现：使用IA3进行微调的模型，其表现与完全微调模型相当，但计算量更少。
保持冻结：预训练的权重保持冻结状态，使得可以构建多个轻量级IA3模型，用于各种下游任务。这种方法减少了对原始模型的修改，提升了灵活性。
无增加：IA3不会增加推理延迟，因为适配器权重可以与基础模型合并。这意味着模型的推理速度不会受到影响。
通用性：IA3可以应用于神经网络中的任何权重矩阵子集，以减少可训练参数的数量。例如，在Transformer模型中，IA3权重被添加到关键（K）、值（V）和前馈网络（FFN）中。
五、大模型高效微调技术的未来发展趋势
更高效的参数优化：
适应性和灵活性的提升：
跨模态和多任务学习：
模型压缩和加速：
低资源语言和任务的支持：
目标：研究将继续寻找更高效的参数优化方法，减少计算资源和参数量。可能包括更先进的参数共享策略和更高效的LoRA技术。
目标：微调方法将变得更加灵活，能够适应各种任务和数据集的优化需求，提高模型的适应性。
目标：PEFT技术可能会扩展到跨模态（如文本、图像和声音结合的模型）和多任务学习领域，以提升模型处理多种任务和数据类型的能力。
目标：随着边缘设备和移动设备对AI模型的需求增加，PEFT技术将重点关注模型的压缩和推理速度的提升，以适应这些设备的需求。
目标：将PEFT技术应用于低资源语言和特定领域任务，提供更广泛的语言和任务覆盖，提高模型的普适性和实用性。
