返回首页
RadarAI··论文与技术

LoRA 与 QLoRA 如何用一块 GPU 微调大模型

中文摘要

本文解析LoRA与QLoRA原理,通过低秩近似与量化技术,实现单GPU高效微调大模型,显著降低显存需求。

English Summary

The article explains how LoRA and QLoRA use low-rank approximation and quantization to enable single-GPU fine-tuning of large models with significantly reduced VRAM usage.

原文节选

作者以模式(列向量乘行向量)为核心概念,讲解低秩近似、LoRA 与 4 位量化的原理:LoRA 冻结原有权重只训练新增的 r 个模式,量化用 NF4 分块缩放压缩存储。文中回顾华盛顿大学 QLoRA 在单块 48GB GPU 上微调 65B 模型的结果,并估算 7B 模型全参数微调约 100 GB、LoRA 约 15 GB、QLoRA 约 5 GB 显存开销。