Please enable JavaScript.
Coggle requires JavaScript to display documents.
LLM 微调与 SVD 技术思维导图 - Coggle Diagram
LLM 微调与 SVD 技术思维导图
SVD 相关微调方法
LoRA
原理：低秩适配起点
参数：\(m \cdot r + r \cdot n\)
SVF
原理：仅微调奇异值
参数：\(\min(m, n)\)
SVFT
原理：微调部分奇异向量和值
参数：取决于调整部分
PiSSA
原理：主奇异值近似
参数：\(m \cdot k + k + k \cdot n\)
MiLoRA
原理：多尺度低秩更新
参数：\(\sum (m \cdot r_i + r_i + r_i \cdot n)\)
LoRA-XS
原理：极小参数低秩
参数：\(r^2\)
AdaLoRA
原理：自适应预算分配
参数：\(m \cdot k + k + k \cdot n\)（\(k\) 可变）
DoRA
原理：大小与方向分解
参数：\(m \cdot r + r \cdot n\)
LoRA 基础
原理：\(W_{updated} = W + A \cdot B\)
优势：低秩更新减少参数量
实现分离：\(x \cdot (W + A \cdot B) = x \cdot W + x \cdot A \cdot B\)
参数数量：\(m \cdot r + r \cdot n\)
LLM 微调挑战与目标
参数量大：成百上千亿参数，微调成本高
全量微调问题：计算开销大，受资源限制不现实
目标：调整少量参数，保留预训练基础，适应新任务
SVD 基础回顾
分解公式：\(W = U \cdot \Sigma \cdot V^T\)
矩阵定义
\(U\)：左奇异向量矩阵 (\(m \times m\))
\(\Sigma\)：奇异值对角矩阵 (\(m \times n\))
\(V^T\)：右奇异向量矩阵 (\(n \times n\))
SVD 优势
降维：提取主要特征，减少冗余
正交性：更新方向独立，避免干扰
灵活性：支持固定分解到动态剪枝
SVD 与 LoRA 关系
秩分解：\(W = A \cdot B\)
SVD 实现：\(A = U \cdot \Sigma\), \(B = V^T\)
截断 SVD：\(W \approx U_r \cdot \Sigma_r \cdot V_r^T\)
总结与展望
核心价值：SVD 降低微调成本，提升效率
未来方向：更智能秩选择与特征提取