Please enable JavaScript.
Coggle requires JavaScript to display documents.
Optimización de Redes Neuronales - Coggle Diagram
Optimización de Redes Neuronales
¿Qué es y para qué sirve?
Objetivo: ajustar θ para minimizar el costo
Proceso: gradiente → actualización → evaluación
Fórmula base: θ = θ − η∇J(θ)
Objetivo y proceso
Retropropagación: calcula cómo ajustar cada peso
Minimizar la pérdida: clasificación, regresión y patrones
Iterar hasta mejorar precisión y generalización
Métodos de optimización
SGD: actualiza con 1 ejemplo
θ←θ−η∇J por ejemplo · rápido y poca memoria · puede oscilar
Batch: todo el conjunto por época
θ←θ−η∇J con todos los datos · estable y preciso · lento/no escala
Mini-Batch: lotes pequeños
θ←θ−η∇J del lote · equilibrio velocidad/estabilidad · ideal para GPU
Momentum: memoria del gradiente
v=βv_prev+(1−β)grad; θ←θ−ηv · suaviza y acelera · β alto puede saltar
ADAM: momento + RMSprop
RMSprop: cuadrados de gradientes
Elementos clave
Función de costo: mide el error
Gradiente: indica el sentido de mayor aumento
Tasa de aprendizaje η: paso grande = inestable
Parámetros θ: pesos y sesgos que se actualizan
Óptimo local ≠ óptimo global
Comparación práctica
Rapidez: SGD actualiza tras cada ejemplo
Estabilidad: Batch produce un gradiente suave
Equilibrio: Mini-Batch combina rapidez y precisión
Adaptación: ADAM y RMSprop ajustan la tasa
Implementación práctica
Ciclo: forward → costo → backward → actualización
TensorFlow: compile + fit + mini-batches
PyTorch: zero_grad + backward + step
Datos: normalizar, elegir épocas y batch size
Buenas prácticas
Normalizar datos: escalar entradas antes de entrenar
Hiperparámetros: ajustar η, β y batch size
Monitorear pérdida y validación en cada época
Generalización: revisar el error en datos nuevos
Aplicaciones
Regresión y clasificación
CNN y aprendizaje profundo
Reconocimiento de patrones en datos
Grandes conjuntos: usar mini-batches y hardware paralelo