Dongxi 东锡 NLP· @dongxi_nlp · X·· 2 天前AI 评分41
AI 导读
本文探讨了 LoRA 和 QLoRA 后训练系列文章的第三篇核心内容。文章梳理了 rank 秩、low-rank approximation 低秩近似和 quantization 量化这三个基础概念。这些概念均可通过矩阵中的 pattern 模式这一统一视角串联起来。
正文 · 原文
后训练文章系列第三篇,关于 LoRA 和 QLoRA
三个重要的基本概念:
rank 秩
low-rank approximation 低秩近似
quantization 量化
它们可以用同一个概念串起来,即矩阵中的 pattern模式。
来源:Dongxi 东锡 NLP · x.com