Please enable JavaScript.
Coggle requires JavaScript to display documents.
Optimización de redes neuronales - Coggle Diagram
Optimización de redes neuronales
Fundamentos
Meta: minimizar la pérdida J(θ)
θ = pesos y sesgos de la red
Gradiente ∇J: dirección de mayor aumento
η: tamaño del paso de aprendizaje
Ciclo: forward → pérdida → backward → actualización
Regla base: θ ← θ − η∇J(θ)
Batch, SGD y Mini-Batch
Batch: conjunto completo por época
Gradiente promedio: estable y preciso
Costo alto: lento con muchos datos
SGD: un ejemplo por actualización
Actualizaciones rápidas y poca memoria
Gradiente ruidoso: puede oscilar
Mini-Batch: lotes pequeños
Equilibra velocidad y estabilidad
Aprovecha GPU; ajustar tamaño del lote
Momentum
Usa memoria de gradientes anteriores
vₜ = βvₜ₋₁ + (1−β)gₜ
θ ← θ − ηvₜ
Reduce oscilaciones; acelera valles
β alto puede causar sobrepaso
RMSprop
Promedia gradientes al cuadrado
sₜ = βsₜ₋₁ + (1−β)gₜ²
θ ← θ − ηgₜ/(√sₜ + ε)
Tasa adaptativa por parámetro
Ajustar β y ε para estabilidad
ADAM
Combina Momentum y RMSprop
m: media de gradientes; v: media de g²
Corrige sesgo inicial: m̂ y v̂
θ ← θ − ηm̂/(√v̂ + ε)
Rápido y adaptable; vigilar generalización
Elección y práctica
Comparar velocidad, memoria y ruido
Normalizar datos y elegir η
TensorFlow: compile → fit → evaluar
PyTorch: zero_grad → backward → step
Validar pérdida y precisión por época