Please enable JavaScript.
Coggle requires JavaScript to display documents.
RNN & LSTM - Coggle Diagram
RNN & LSTM
SEQUENZA
set eventi correlati
ordine preciso
tipologie
DISCRETA
n° fisso osservazioni
CONTINUA
osservazioni continue nel tempo
CAMPIONAMENTO
misuro il segnale ogni tanto
utilizzi
Forecasting
Sequence Classification
Image Captioning
Machine Translation
Frame by Frame Video Classification
possono avere
lunghezze diverse
RNN
processano sequenze ricorsivamente
markov chain con
hidden state
tipologie
element to element
sequence to item
sequence to sequence
item to sequence
Forward pass
processando 1 a 1 gli elementi
stessi parametri per ogni layer
lunghezza non fissata
Problema
exploding/vanishing gradient
n°layer dipende da elementi sequenza
IDEA
forzare raggio spettrale uguale a 1
Funzione di attivazione Lineare
CONSTANT ERROR PROPAGATION
contro: la memoria si satura velocemente
capire cosa buttare?
FORGET GATE
Matrice Ortogonale dei pesi
LSTM
Long Short Term Memory
1. introduzione input e forget gates
2. computo input potenziale e internal state
3. computo output gate e output state
Training
mix di RTL and BPTT un tempo
ora solo BPTT
Back Propagation Through Time
programmazione dinamica importante
non c'è modo di parallelizzare
nei transformer si
Trucchi
Minibatch
Truncated BP
altri modelli
GRU
Getd Recurrent Unit
LSTM senza internal and output gates
Deep LSTM
profondità sull'asse ortogonale
Recursive Gated Networks
LSTM ricorsive per alberi binari
Bidirectional LSTM
non adatto al forecasting
Encoder-Decoder
sequence to sequence
CNN RNN
MLP & CNN per sequenze
MLP
vettorizzando l'input
n° parametri dipende dalla lunghezza della sequenza
lunghezze diverse?
corto: aggiungiamo 0
lungo: costretti a scartare
troppi parametri portano all'OVERFITTING
nel forecasting
fisso finestre S
CNN
dimensionalità variabile rispetto all'input
Trasformata di Fourier