INTERSPEECH2024 | 迈向无需复习低遗忘的语音识别模型微调：基于LoRA和Whisper的探究

当前，大模型受到了工业界和学术界的青睐。如何更好的利用这些预训练的大模型就成为了一个重要研究方向。现在的预训练的模型虽然取得了很好的效果，但是在应用的场景的效果往往需要进一步微调才能得到令人满意的效果。然而在微调的过程中，往往产生在原来领域上的效果下降，这个现象被称为灾难性遗忘。如何避免灾难性遗忘成为一个重要的研究问题。

在关于持续学习的工作中，图像识别的占大多数，而以语音识别背景进行的研究则要少得多[1][2]。现存的研究大多对所有的任务在一个共同的矢量空间中直接对模型的隐藏层进行梯度更新。近期在自然语言处理领域研究提出了一个很有潜力的替代方案，在训练新的任务的时候，将新的样本的损失梯度投射到和过去样本的梯度子空间的垂直方向，在过度参数量的神经网络中进行学习，就可以避免与过去损失函数的冲突，进而规避了灾难性遗忘的问题。

近期，西工大音频语音与语言处理研究组（ASLP@NPU）的论文“Towards Rehearsal-Free Multilingual ASR: A LoRA-based Case Study on Whisper”被语音领域旗舰会议Interspeecch 2024接收。该论文提出了在基于LoRA参数的无需复习“Rehersal free”领域迁移方案，引入了一个可学习的秩系数来提升训练效率。在一个用中文微调的Whisper模型上对维吾尔语和藏语进行迁移实验，以更小的参数量获得了更好的性能。本文将对该文章进行简要的解读。

论文预印版：https://arxiv.org/abs/2408.10680

相关链接：NPU-ASLP实验室14篇论文被Interspeech2024 录用

发表论文截图

扫码直接看论文

背景动机

以Whisper为代表的预训练的多语言语音识别模型已经达到了很好的效果。但在将这些模型迁移到新的特定语上需要消耗大量算力并且有灾难性遗忘的问题。为解决这两个问题，我们探究了保持原有语种的性能的同时，进行新语种微调的策略。特别地，为了减少训练所需算力，我们的研究首先对比了多种基于LoRA(Low Rank Adaptation)的PEFT(Parameter Efficenet Finetuning)方法的效果，以及它们各自受的灾难性遗忘现象影响的程度。为了解决灾难性遗忘问题，我们利用原始模型的LoRA参数近似原始模型的梯度空间，来对新的样本进行正交梯度下降优化。同时，我们还引入了一个可学习的秩系数来提升训练效率。我们的实验在一个用中文微调的Whisper模型上对维吾尔语和藏语进行迁移，以更小的参数量获得了更好的性能。

我们的方案有以下几大优点。i)无需复习（Rehersal-free）：由于隐私原因，我们无法获得原始模型训练所使用的数据，因此我们需要根据原始模型的参数进行继续学习。ii) 参数量小：我们需要继续学习过程中使用的参数量远小于原始模型。iii) 无需任务id：我们需要继续学习的模型无需在任务id来帮助它将原始领域的测试样例和新的领域的测试样例进行区分。

问题定义

首先，我们对多语种ASR模型的领域迁移的问题进行定义。假设有个一初始模型 ,在一个数据集上进行了Lora训练，随后的继续学习在的基础上进行，并且希望保持的能力，而不再可以使用。之后，我们有一系列有标签的不同语种数据集  ,供后续的多语种微调训练，由训练得到的模型被称作 。 是所有子集的数量，而的大小远远小于。使用进行复习训练或者使用重新训练需要很大的训练代价。

对于一个好的继续学习模型，在每一个时间步,我们希望它有如下特性：

1. 在之前的任务上没有下降： 在 上得到比相同或更好的效果。

2. 在新的任务上有更好的效果：在 上得到比更好的效果。

3. 和在所有数据上进行训练的模型取得相当的效果：得到和从头使用  数据进行训练的模型取得相当的效果。

4. 低开销: 需要的训练开销远小于使用  重新对模型进行训练。

方案

图1 整体结构图

正交梯度下降

我们的方法基于 O-LoRA [3]。O-LoRA 在固定之前任务的 LoRA 子空间参数的情况下，增量地学习新的任务，方向与之前的 LoRA 子空间正交。对于每个任务，我们引入一组新的 LoRA 参数，表示为其中     并且秩 r ≪ min(d, k). 我们近似第i个任务的参数更新的子空间为的列向量所形成的子空间。为了确保子空间 U 和子空间 W 之间的正交性，我们需要满足：

因此，实现任务 i 和任务j之间的LoRA子空间 和的正交性可被表示为:

其中  表示矩阵中第 j 行第 k 列的元素。

其中是正交损失的权重。在训练过程中，我们固定之前的 LoRA 参数 {  } to以减轻对过去知识的遗忘。我们将 LoRA 应用于和 的注意力权重。虽然 LoRA 参数的数量随着训练过程中任务数量的增加而增长，但我们可以将对应于 LoRA 参数的更新合并到初始参数中，以避免 GPU 内存膨胀。

动态参数分配

其中，  和  包含  的左/右奇异向量。表示单位矩阵。{  }被约束为正交矩阵。对角矩阵   包含r奇异值，并且    。

其次，在适应过程中，AdaLoRA 会动态地为其更新矩阵{  }分配总体秩预算。这是通过在每个梯度更新步骤后迭代屏蔽掉不太重要的奇异值来实现的。并且基于参数敏感度来衡量模型参数的重要性，通过参数的灵敏度的排序，迭代地更新第j 个权重矩阵 的第 k 个三元组  {  }的重要性。非零的作为秩系数来控制所分配的秩预算。为保障子空间和子空间 W之间的正交性,也就需要保证：

其中 λ1 和 λ2 是正则化系数，在实验中均设置为0.5。由于在前向运算之前合并所有 {  } 矩阵，在数学上等同于单独计算每一个矩阵。因此额外的计算开销较小。通过将与 LoRA 参数相对应的更新合并到与 LoRA 参数相对应的更新可以合并到初始参数中，从而减少额外的内存使用。

实验

表1 使用的数据集

实验配置：我们使用huggingface的PEFT进行所有的实验。Whisper的base和large模型参数量分别为74M和1550M。对于PEFT模型，我们对{  }矩阵进行低秩更新。我们使用的配置如下:(1)对于LoRA，O-LoRA对，矩阵的秩  （2）对于Adalora,O-AdaLoRA对{  }矩阵进行低秩更新，矩阵的秩  的矩阵的目标秩为8。参考[13]对于PEFT模型学习率在第一个任务取1e-3,随后取1e-4。对于全量finetune的学习率为1e-5。由于Whisper将语音输入pad到30秒，占用了较多的显存，我们使用  。对于正交损失系数  使用128的累计梯度。对中文的评估指标是CER，对罗马化后的藏语和维吾尔语的评估指标是WER。

实验结果

与其他方案的对比

探索传统微调的局限性

我们首先研究了在 Whisper 中添加一种新语言(维吾尔语）的可能性，采用了各种不同规模的基线方法：全参数微调、LoRA、AdaLoRA 和冻结编码器在 LLM 适应性中看到的方法。我们用维吾尔语组成的数据集对不同大小的 Whisper 模型进行了微调。本实验关注的语言是汉语和维吾尔语。我们用 Thuyg-20 测试维吾尔语的性能增益。使用 Thuyg-20 测试维吾尔语的性能提升，同时使用 Aishell-1和一个内部中文测试集测试汉语的性能下降。结果详见表 2。较小的 Whisper 模型对灾难性遗忘的容忍度较低，基础模型识别的是Aishell-1 数据集识别为维吾尔语。一个更具挑战性的数据集对灾难性遗忘更为敏感、因为遭受灾难性遗忘的 Whisper 模型仍能仍能将 Aishell-1 转译成中文，但内部中文数据集却被转译成维吾尔语。冻结编码器策略的好处是用较少的可训练参数实现了类似的 WER。虽然冻结编码器策略的好处是以较少的可训练参数实现了类似的 WER，但它对添加新语言时出现的灾难性遗忘现象并没有显著改善。

正交子空间学习的有效性

接下来评估了正交方法的有效性。我们使用 一个LoRA 训练的中文模型作为初始模型。结果如表 3 和图 2 所示。尽管拥有最多的可训练参数，但我们发现全模型微调方法的性能最差。我们推测这可能是由于我们的数据集远远小于用于训练 Whisper 的 68 万小时数据，因此模型难以收敛。LoRA 模型的结果略逊于 AdaLoRA。我们推测这可能与 [13] 的研究结果有关。该文发现在微调过程中，应比  拥有更多可训练参数。

我们利用这个经过中文微调的的 Whisper-large模型对灾难性遗忘现象进行了进一步研究。在对中文数据进行了 20,000 步的初始训练后，我们又使用各种方法对维吾尔语和藏语数据集各进行了 5,000 步的额外训练。图 2 显示了 WER/CER 的变化。

总结

本文从继续学习视角，以正交梯度下降方案将Whisper预训练模型应用于维吾尔语和藏语语音识别。我们首先探究了多种微调方案以及它们对之前任务产生的遗忘问题。之后，我们验证了模型的Lora矩阵可以用来指导后续的继续学习，同事使用一个可学习的秩矩阵来动态分配训练参数来提高总体性能。这让完全无法获得预训练数据的基座模型进行避免本来任务的遗忘的微调成为可能，提高了模型的可重复使用性。

参考文献

欢迎关注ASLP实验室微信公众号，获取更多语音研究相关资讯！

“打造最开放、最前沿、最落地的人工智能实验室”