Please enable JavaScript.
Coggle requires JavaScript to display documents.
OPTIMIZACIÓN DE REDES NEURONALES - Coggle Diagram
OPTIMIZACIÓN DE
REDES NEURONALES
🎯
FUNDAMENTOS
Meta: minimizar la pérdida y mejorar las predicciones
θ = pesos y sesgos; J(θ) = función de costo
Gradiente g: indica cómo cambia J; se avanza en sentido contrario
Regla básica: θ ← θ − η·g
Tasa de aprendizaje η: tamaño del paso
Alta: oscilación o divergencia
Baja: avance lento
Mínimo local ≠ global; en redes profundas no se garantiza el mejor absoluto
⚡
SGD · ESTOCÁSTICO
Actualiza después de cada ejemplo: lote = 1
Usa un gradiente individual y ruidoso
Ventajas: poco cálculo por paso y aprendizaje incremental
Límites: oscila; requiere ajustar η
Uso: datos abundantes o que llegan de forma continua
📚
BATCH · LOTE COMPLETO
Calcula el gradiente con todos los N ejemplos
Realiza 1 actualización por época
Ventaja: dirección del gradiente menos ruidosa
Límites: mucho cálculo por paso; poca escalabilidad
Uso: conjuntos pequeños; estabilidad depende también de η
🧩
MINI-BATCH
Promedia gradientes de un grupo de B ejemplos
Punto intermedio: 1 < B < N
Ventajas: equilibrio entre rapidez, ruido y uso de GPU
Límites: elegir B; persisten oscilaciones
Uso del documento: redes profundas y CNN
B pequeño: más ruido; B grande: más memoria por lote
🚀
MOMENTUM · MEMORIA
Acumula gradientes pasados para mantener la dirección
mₜ = β·mₜ₋₁ + (1−β)·gₜ; θ ← θ − η·mₜ
Ventajas: acelera en valles y reduce zigzag
Límites: β alto puede sobrepasar el mínimo; guarda un vector extra
β controla la memoria; puede combinarse con Mini-Batch
⚖️
RMSprop · ADAPTACIÓN
Promedia cuadrados de gradientes: sₜ = β·sₜ₋₁ + (1−β)·gₜ²
Actualiza: θ ← θ − η·gₜ / (√sₜ + ε)
Ajusta la escala del paso para cada parámetro
Ventaja: amortigua diferencias de magnitud y oscilaciones
Límites: depende de η y β; almacena sₜ; no asegura el óptimo global
🧠
ADAM · DOS MOMENTOS
Combina memoria del gradiente y escalado adaptativo
Primer momento mₜ: promedio de gₜ; segundo vₜ: promedio de gₜ²
Corrige el inicio en cero: m̂ₜ=mₜ/(1−β₁ᵗ); v̂ₜ=vₜ/(1−β₂ᵗ)
Actualiza: θ ← θ − η·m̂ₜ / (√v̂ₜ + ε)
Valores típicos: β₁=0,9; β₂=0,999; ε=10⁻⁸
Ventaja: pasos adaptativos y avance rápido; límite: más memoria y ajuste de hiperparámetros
🔄
ENTRENAR Y ELEGIR
Ciclo: predecir → pérdida → retropropagar → actualizar → repetir
Retropropagación calcula gradientes; el optimizador modifica parámetros
Época: recorrer todos los datos; iteración: una actualización
Ejemplo: N=1000 → SGD: 1000 pasos; Batch: 1; Mini-Batch B=32: 32 pasos por época
Batch/SGD/Mini-Batch eligen datos; Momentum/RMSprop/Adam eligen cómo actualizar
Comparar pérdida, validación, tiempo y memoria; menor pérdida de entrenamiento no garantiza generalización