Please enable JavaScript.
Coggle requires JavaScript to display documents.
Algoritmos de optimización para redes neuronales - Coggle Diagram
Algoritmos de optimización para redes neuronales
Idea central
Minimizar la función de costo J(θ)
Ajustar pesos y sesgos con el gradiente
η determina el tamaño del paso
SGD
1 ejemplo por actualización
Rápido en grandes conjuntos; poca memoria
Ruido y oscilaciones; sensible a η
θ ← θ − η∇J(θ; xᵢ, yᵢ)
Ejemplo práctico: regresión lineal en TensorFlow y PyTorch
Batch Gradient Descent
Todos los datos; 1 actualización/época
Gradiente estable y con menos ruido
Costoso y lento con muchos datos
θ←θ−η∇J(θ)
Adecuado si el conjunto cabe en memoria
Mini-Batch
Pequeños lotes; promedia gradientes
Equilibra rapidez y estabilidad; aprovecha GPU
El tamaño del lote afecta el ruido
θ ← θ − η∇J_B(θ): gradiente del mini-lote
Aplicación: CNN; uso eficiente de GPU
Momentum
Acumula gradientes previos: inercia v
Suaviza oscilaciones y acelera el avance
β alto puede hacer que se pase del mínimo
vₜ=βvₜ₋₁+(1−β)gₜ; θ←θ−ηvₜ
Útil en valles o mesetas de la función de costo
Adam
Promedia gradientes y gradientes al cuadrado
Corrige sesgo; adapta el paso por parámetro
β₁=0.9; β₂=0.999; ε≈10⁻⁸
Converge rápido; sensible a hiperparámetros
Actualización: θₜ=θₜ₋₁−η·m̂ₜ/(√v̂ₜ+ε)
RMSprop
Promedio móvil de gradientes al cuadrado
Tasa adaptativa por parámetro; reduce oscilaciones
β≈0.9; puede depender del ajuste
sₜ=βsₜ₋₁+(1−β)gₜ²; θ←θ−ηgₜ/(√sₜ+ε)
Comparación rápida
SGD: 1 dato | Batch: todos | Mini-Batch: lote
Momentum suaviza; RMSprop adapta; Adam combina ambos
El resultado depende de η, β y los datos
Ninguno garantiza alcanzar el mínimo global