Please enable JavaScript.
Coggle requires JavaScript to display documents.
ML System - Coggle Diagram
ML System
深度学习框架/系统设计
-
-
-
-
各种加速和优化的库：cudnn, openblas,mkl等
分布式机器学习训练
-
系统角度
计算并行
对于计算量太大的场景（计算并行），
可以多线程/多节点并行计算，多节点共享公共的存储空间。常用的一个算法就是同步随机梯度下降（synchronous stochastic gradient descent），含义大致相当于K个（K是节点数）mini-batch SGD [ch6.2]
-
-
-
-
-
分布式机器学习部署（模型压缩/加速）
-
-
Pruning（剪枝） -> Eliminating weights, layers, or channels to reduce storage and computation from large pre-trained models. 减少卷积核大小 / 通道数等等
-
Low Bit Precision Arithmetic -> Weights and activations are stored and computed using low bit precision
-