Please enable JavaScript.
Coggle requires JavaScript to display documents.
RECURRENT NETWORKS (SARA) 1 - Coggle Diagram
RECURRENT NETWORKS (SARA) 1
Definizione
Grafo
Cicli
Caratteristiche (1)
General network
Cicli nella rete neurale
Connessioni tra neuroni di uno strato e neuroni dello strato precedente
Memoria di una rete
Connessioni cicliche che permettono un'uscita
Influenzare se stesso in uno step temporale successivo
Influenzare i neuroni nella catena temporale precedente
Output generato esclusivamente una volta raggiunto lo stato di stabilità
L'output non cambia significativamente dopo un certo numero di iterazioni
Calcoli sono influenzati dalla sequenza temporale dei dati e dal feedback ciclico
Ordine specifico per l'esecuzione dei calcoli
Caratteristiche (2)
Equazioni Differenziali
Imparare equazioni differenziali
Error Backpropagation in Time
Abbiamo dei cicli (non possiamo applicare gradient descending.come nelle feed forward)
Srotolando la rete nel tempo tra due modelli di addestramento. (sequenza di istanze “non
ricorrenti” collegate tra loro nel tempo)
Valore finale
Hopfield Network (2)
La network input function di ogni neurone è la somma pesata
La funzione di attivazione è una threshold function di tipo step function
La funzione di output è la funzione identità.
Rappresentazione attraverso matrice dei pesi
Aggiornamento Sincrono
aggiornayti nello stesso momento, stato non stabile
State graph
Aggiornamento Asincrono
la computazione converge sempre
Hopfield Network (1)
Modello
3) Ogni neurone è connesso ad ogni altro neurone
4) Sono esclusi cappi/self-loop (un neurone non può essere connesso a sé stesso)
5)
I pesi delle connessioni sono simmetrici
1)
Tutti i neuroni sono sia neuroni di input che di output
2) Non esistono neuroni nascosti
Hopfield Network (3)
Teoria 1- Convergenza
Stabile o energetico uno stato
Raggiungere uno stato a bassa energia
Se i neuroni di un HN sono aggiornati in modo asincrono allora uno stato stabile viene raggiunto al massimo in n · 2n
passi, dove n è il numero dei neuroni della rete. La prova del teorema si basa sul calcolo dell’energia del sistema.
MEMORIE ASSOCIATIVE E PROBLEMI DI OTTIMIZZAZIONE
Stati stabili che raggiungeremo saranno rappresenteranno delle informazioni
Memorie associative
ma anche se presentiamo un pattern simile a quello memorizzato dalla rete la capacità di ripristinare
il pattern originale
E' infatti possibile memorizzare anche più di un modello specifico.
Trovare i pesi che avranno raggiunto lo stato
costante dello schema che vogliamo memorizzare
Determinare i pesi delle connessioni
La connessione tra di loro viene rafforzata
Problemi di ottimizzazione
7 passaggi
Trasformare la funzione da ottimizzare in una funzione da minimizzare
Trasformare la funzione in una funzione di energia di una rete Hopfield
Leggere i pesi e i valori di soglia dalla funzione di energia
Costruire la rete Hopfield corrispondente
Inizializzare casualmente la rete Hopfield e aggiornarla fino alla convergenza
Leggere la soluzione dallo stato stabile raggiunto
Ripetere più volte e utilizzare la migliore soluzione trovata