返回首页
RadarAI··论文与技术

马东锡 NLP 后训练系列第三篇:LoRA 与 QLoRA

中文摘要

马东锡NLP后训练第三篇详解LoRA与QLoRA,通过秩、低秩近似与量化,并以矩阵模式串联。

English Summary

Part 3 of Ma Dong-seok NLP's post-training series explains LoRA and QLoRA, linking rank, low-rank approximation, and quantization through matrix patterns.

原文节选

马东锡 NLP 发布后训练文章系列第三篇,主题为 LoRA 和 QLoRA。文章围绕 rank 秩、low-rank approximation 低秩近似、quantization 量化三个基本概念展开,并用矩阵中的 pattern 模式这一概念将三者串联起来。