自然语言处理和蛋白质语言模型有很多共通之处，例如他们都是在处理序列数据，都需要进行单词/氨基酸的嵌入表示，都需要关注上下文信息，都可以拆分成预训练任务和下游任务等。今天介绍一篇来自微软 AI for Good Research Lab的文章 《Democratizing protein language models with parameter-efficient fine-tunin》，这篇文章通过将自然语言处理中使用的参数有效微调（parameter-efficient fine-tuning (PEFT)）方案——LoRA 移植到蛋白质语言模型上来降低微调蛋白质语言模型所需要的资源。
关键词
深度学习｜蛋白语言模型 PLM｜PEFT
引言
LoRA（Low-Rank Adaptation）方法
在2020年Armen Aghajanyan et al.发表的工作Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning中，作者通过在GLUE基准测试中的MRPC和QQP数据集上计算不同预训练模型的内在维度，展示了使用预训练表示时，常见自然语言任务可以用非常少的参数学习。
