Please enable JavaScript.
Coggle requires JavaScript to display documents.
Algoritmos de optimización para redes neuronales - Coggle Diagram
Algoritmos de optimización para redes neuronales
Optimización
-
-
Se usa en clasificación, regresión y reconocimiento de patrones
-
-
-
-
-
-
-
- SGD (Descenso de gradiente estocástico)
-
Fórmula
-
-
-
(x(i), y(i)) = i-ésimo ejemplo de entrenamiento
-
-
-
Código clave
-
PyTorch: optim.SGD(model.parameters(), lr=0.01)
- Batch Gradient Descent (por lotes)
-
-
Ventajas
Estable, con pocas oscilaciones
-
-
-
-
Código clave
TensorFlow: model.fit(..., batch_size=len(X_train))
- Mini-Batch Gradient Descent
-
-
-
-
-
-
- Descenso de gradiente con Momentum
-
-
-
-
-
Código clave
SGD(learning_rate=0.01, momentum=0.9)
-
-
-
-
Pasos
-
- Calcular gradientes con retropropagación
-
- Actualizar los parámetros
-
-
Código clave
-
PyTorch: optim.RMSprop(..., alpha=0.9)
- ADAM (Adaptive Moment Estimation)
-
-
-
-
-
Pasos
- Inicializar v y s en cero
- Calcular gradientes y actualizar promedios
- Aplicar la corrección de sesgo
- Actualizar los parámetros
-
-
Código clave
-
PyTorch: optim.Adam(model.parameters(), lr=0.001)
-
-
-
Según la estrategia
Basados en gradiente simple: SGD, Batch, Mini-Batch
-
Con tasa adaptativa: RMSprop, Adam
-
-