从LoRA到QLoRA：量化技术如何改变预训练模型的微调方式

文摘 2024-08-13 07:01 湖南

在现代人工智能的发展中，预训练语言模型（LLM）已成为各种自然语言处理任务中的关键技术。这些模型通常具有数十亿甚至数千亿的参数，因此需要巨大的计算和存储资源来进行微调。QLoRA提出了一种新方法，使得在单个48GB的GPU上微调具有65B参数的大模型成为可能，并且保持了16-bit微调任务的性能。本文将详细介绍QLoRA的方法及其带来的变革。

一、 FFT vs LoRA vs QLoRA

在讨论QLoRA之前，有必要了解全量微调（Full Fine-Tuning，FFT）和低秩适配器（Low-Rank Adaptation，LoRA）这两种现有的方法。

1.1 全量微调（FFT）

全量微调是一种传统的方法，要求对预训练模型的所有参数进行更新。这意味着每次微调任务都需要大量的计算和存储资源。虽然这种方法可以在微调任务中达到最佳性能，但在处理大规模模型时，其资源消耗非常高。例如，微调一个具有数十亿参数的模型可能需要多个高性能GPU和大量的时间。

1.2 LoRA

LoRA提出了一种低秩适配器的方法，通过引入低秩矩阵来调整预训练模型的参数，从而减少需要更新的参数数量。这样做的好处是显著降低了计算和存储需求，使得在相对有限的硬件资源上也能进行有效的微调。然而，LoRA在某些情况下的性能可能不如全量微调，因为它只对部分参数进行了调整。

1.3 QLoRA

QLoRA在LoRA的基础上进一步优化，通过引入量化技术，使得在单个48GB GPU上微调65B参数模型成为可能。QLoRA通过冻结int4量化预训练语言模型，并将梯度反向传播到低秩适配器LoRA，实现了高效的微调。这种方法既保留了LoRA的低秩适配优势，又通过量化技术降低了计算和存储需求。

二、 QLoRA 提出新数据类型 4-bit NormalFloat (NF4)

QLoRA的一个关键创新在于其量化技术，尤其是新提出的4-bit NormalFloat (NF4) 数据类型。

2.1 8-bit 量化和量化常数c

在传统的量化方法中，8-bit量化是一种常见的技术。它通过一个量化常数c将输入张量的值映射到8-bit的范围内，从而实现数据压缩。然而，8-bit量化在处理大规模模型时仍然需要大量的存储空间和计算资源。

2.2 NormalFloat (NF) 数据类型

NormalFloat (NF) 数据类型建立在分位数量化（Quantile Quantization）基础上。这是一种信息论最优的数据类型，能够确保每个量化区间中具有相同数量的值。分位数量化通过经验累积分布函数（ECDF）估计输入张量的分位数，虽然分位数估计过程较为昂贵，但快速分位数近似算法（如SRAM分位数）可以有效解决这一问题。

2.3 4-bit NormalFloat (NF4)

由于预训练神经网络的权重通常具有标准差为σ的零中心正态分布，通过缩放σ可以将所有权重转换为单个固定分布，使其符合NF4的数据范围。在QLoRA中，NF4的数据范围被设定为[-1, 1]。通过归一化，神经网络权重的分位数能够匹配这一范围，从而实现高效的量化。具体来说，NF4通过以下步骤实现：

估计标准正态分布N(0,1)的分位数，得到正态分布的k位分位数量化数据类型。
将这些分位数值归一化到[-1, 1]范围内。
将输入权重张量归一化到[-1, 1]范围内进行量化。

三、QLoRA 提出双量化技术：量化（量化常数）

除了数据类型的创新，QLoRA还提出了双量化技术，这种技术设计了存储数据类型（4-bit NormalFloat）和计算数据类型（16-bit BrainFloat）。

3.1 双量化技术的应用

在QLoRA中，权重从存储数据类型（4-bit NormalFloat）反量化为计算数据类型（16-bit BrainFloat），以进行前向和后向传播。然而，只有16-bit BrainFloat的LoRA参数的权重梯度会被计算，这样一来，权重只有在需要时才会解压缩。这种方法在训练和推理期间保持了较低的内存使用率。

3.2 优化内存使用

双量化技术的应用使得在单个GPU上进行大规模模型的微调成为可能，同时显著降低了内存使用率。这对于资源有限但需要处理大规模模型的应用场景来说，具有重要意义。通过这种方法，可以在有限的硬件资源上实现高效的模型微调和推理，极大地提高了计算资源的利用效率。

四、总结

QLoRA通过引入4-bit NormalFloat数据类型和双量化技术，成功在低资源条件下实现了大规模预训练模型的高效微调。这种方法不仅保留了LoRA的低秩适配优势，还进一步优化了内存使用和计算效率，为大规模模型的实际应用提供了新的可能性。未来，QLoRA有望在更多的自然语言处理任务中发挥重要作用，推动人工智能技术的进一步发展。

http://mp.weixin.qq.com/s?__biz=Mzg5Mjc3NTg1Mw==&mid=2247485034&idx=1&sn=da55c9ecb15c1b35cdadc448feb1e337

智能体AI

1、大模型只有结合业务才有意义，做出有价值的应用才是王道。2、基于大模型的开发要和传统程序结合。3、程序员的价值暴跌。4、产品经理的价值暴增。你需要及时更新自己的认知，帮大模型产品找到合理的价值主张。提供项目管理和AI应用的咨询服务。

最新文章

探索智能客服背后的黑科技：从语义分析到精准匹配

金融科技突破口：深度解析金融AI原生平台四层架构详解

大模型研发全揭秘（八）：模型训练全流程详解（从参数设置到优化调整-附代码）

大模型研发全揭秘（七）：如何通过正确初始化提升训练效果？

大模型研发全揭秘（六）：AI模型设计的五大关键步骤

大模型研发全揭秘（五）：如何通过数据集的合理划分提升大模型的表现？

大模型研发全揭秘（四）：客服工单数据标注的完整攻略

构建高效AI中台：解析人工智能中台架构的五大核心层

如何成为优秀的产品经理：技术与观念的完美融合

大模型研发全揭秘（三）：如何提升AI系统数据质量？数据清洗与预处理的关键步骤与案例解析！

大模型研发全揭秘（二）：数据决定模型成败！如何确保数据采集不踩坑？

大模型研发全揭秘（一）：掌握AI项目成功的10个关键步骤

运维智能体详解：如何通过智能化提升企业运维效率

人工智能新篇章：大语言模型如何赋能千行百业

AI赋能电商：AI大模型如何引领电商行业变革？

AI产品经理必备技能：如何从需求挖掘到智能化产品落地

人工智能赋能医疗：深度探索AI医疗产品的创新架构

从AI助手到自主Agent场景分析：项目经理如何选择最适合的LLM策略？

如何为你的大模型应用选择最佳架构？六大模式全面解读

AI四层架构解析：医疗AI如何深度融合各大应用场景

AI赋能教育：智慧教育技术架构的解析

AI产品经理知识体系：驾驭未来的核心技能

AI如何让销售更智能更精确？AI赋能销售的全流程深度解析

深度解析智能问答系统：如何打造精准、高效的AI对话架构？

AI人工智能整体架构：企业智能化转型的核心引擎

实战 Transformers 模型微调之数据集处理库 Hugging Face Datasets

从文本到音频和计算机视觉：解锁 Hugging Face Pipelines 的无限可能

高效AI故障诊断实践：提升企业运维能力

从异常感知到故障处理：多Agent（智能体）在故障处理中的应用

探索智能问答场景中的Agent角色

大模型解决运维之痛：从日志识别到自动化执行的全链路优化

大模型微调实战演练：使用代码剖析 Transformers Pipelines工作原理

从零开始：如何使用 Hugging Face Transformers 进行大模型开发

从LoRA到QLoRA：量化技术如何改变预训练模型的微调方式

LoRA 的进化之路：AdaLoRA 的技术突破

AI赋能运维：AI Agent在运维场景中的应用

探索AI技术的全景视图：从基础设施到应用层

一文看懂LoRA：如何在保持高效的同时提升微调效果

如何构建高效的智能应用：大模型五层技术架构详解

AI赋能客户服务：智能知识问答系统的架构解析

从PEFT到未来：大模型微调的高效新方法全面揭秘！

AI Agent 如何颠覆传统运维模式？

如何构建高效的智能应用：大模型五层技术架构详解

探索人工智能技术的四个阶段：从提示工程到预训练技术

LoRA、QLoRA与AdaLoRA的低秩适配：如何让AI语言模型瘦身不减智？

如何高效微调大模型？五大前沿 PEFT 技术为你揭晓

自主智能体的未来：LangChain Agents如何实现复杂任务自动化

一文读懂预训练语言模型的三大架构

全量微调vs高效微调：哪种方法更适合你的AI项目？

国产AI的崛起与全球科技版图的重塑

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉