Please enable JavaScript.
Coggle requires JavaScript to display documents.
LLM 微调与 SVD 技术思维导图 - Coggle Diagram
LLM 微调与 SVD 技术思维导图
SVD 相关微调方法
LoRA
原理：低秩适配起点
参数：$m \cdot r + r \cdot n$
SVF
原理：仅微调奇异值
参数：$\min(m, n)$
SVFT
原理：微调部分奇异向量和值
参数：取决于调整部分
PiSSA
原理：主奇异值近似
参数：$m \cdot k + k + k \cdot n$
MiLoRA
原理：多尺度低秩更新
参数：$\sum (m \cdot r_i + r_i + r_i \cdot n)$
LoRA-XS
原理：极小参数低秩
参数：$r^2$
AdaLoRA
原理：自适应预算分配
参数：$m \cdot k + k + k \cdot n$（$k$ 可变）
DoRA
原理：大小与方向分解
参数：$m \cdot r + r \cdot n$
LoRA 基础
原理：$W_{updated} = W + A \cdot B$
优势：低秩更新减少参数量
实现分离：$x \cdot (W + A \cdot B) = x \cdot W + x \cdot A \cdot B$
参数数量：$m \cdot r + r \cdot n$
LLM 微调挑战与目标
参数量大：成百上千亿参数，微调成本高
全量微调问题：计算开销大，受资源限制不现实
目标：调整少量参数，保留预训练基础，适应新任务
SVD 基础回顾
分解公式：$W = U \cdot \Sigma \cdot V^T$
矩阵定义
$U$：左奇异向量矩阵 ($m \times m$)
$\Sigma$：奇异值对角矩阵 ($m \times n$)
$V^T$：右奇异向量矩阵 ($n \times n$)
SVD 优势
降维：提取主要特征，减少冗余
正交性：更新方向独立，避免干扰
灵活性：支持固定分解到动态剪枝
SVD 与 LoRA 关系
秩分解：$W = A \cdot B$
SVD 实现：$A = U \cdot \Sigma$, $B = V^T$
截断 SVD：$W \approx U_r \cdot \Sigma_r \cdot V_r^T$
总结与展望
核心价值：SVD 降低微调成本，提升效率
未来方向：更智能秩选择与特征提取