Please enable JavaScript.
Coggle requires JavaScript to display documents.
RETI NEURALI - Coggle Diagram
RETI NEURALI
RETE DI HOPFIELD
primo esempio di rete neurale ricorrente simmetrica, ovvero un modello neurale in cui è presente un flusso bidirezionale d'informazioni.
struttura
una rete monostrato di neuroni totalmente interconnessi (ogni neurone è collegato con tutti gli altri) frutto di un processo altamente parallelo, tutte le unità sono sia di ingresso che di uscita
connessioni sono bidirezionali e simmetriche, il peso della
connessione da I a J è identico a quello della connessione da J a I
-
fasi di funzionamento
richiamo: in seguito alla presentazione di un opportuno indizio (pattern di richiamo), si innesca una dinamica di diffusione dell’attivazione, che termina in uno stato di equilibrio, coincidente con il pattern richiamato dalla memoria, coincidente con il minimo locale della funzione di energia
memorizzazione: i pesi vengono fissati in funzione degli input da memorizzare tramite un’opportuna formulazione quantitativa dell’ipotesi di Hebb
Gli elementi di elaborazione PE (Processing Elements) che costituiscono la rete neurale sono i cosiddetti neuroni di Hopfield: dispositivi elettronici di sommatoria non lineare a più ingressi ed una sola uscita.
Ogni elemento di processo riceve quindi segnali diversi e può inviare il suo segnale d'uscita U(x) a più PE.
inconvenienti
non sempre il processo di diffusione dell’attivazione termina in
uno stato di equilibrio (comportamenti oscillatori)
non è detto che lo stato di equilibrio coincida con uno dei
pattern immagazzinati precedentemente in memoria (pattern spuri)
se il numero dei pattern immagazzinati supera il 14% del numero di unità della rete, la probabilità che lo stato di equilibrio coincida con uno dei pattern precedentemente immagazzinati è nulla (capacità limitata).
METODI DI APPRENDIMENTO
BASATO SUL RINFORZO
Gestisce una sequenza temporalmente ordinata di pattern di ingresso in corrispondenza ad ognuno dei quali emette un pattern di uscita. Tale uscita dà luogo alla ricezione di un opportuno segnale di rinforzo; il sistema deve interagire con un ambiente dinamico e raggiungere un obiettivo imparando anche dagli errori. La modifica dei pesi della rete avviene in modo da massimizzare la somma dei segnali di rinforzo ricevuti. impiegato per progettare
sistemi neurali il cui output deve controllare il processo di adattamento ad un ambiente esterno complesso, mutevole e imprevedibile.
DIRETTO
i pesi vengono modificati direttamente unicamente in
funzione dei pattern di ingresso da memorizzare o in funzione delle associazioni dirette ingresso-uscita che si vogliono immagazzinare.
Impiegato per progettare sistemi neurali che fungono da memorie associative (impiegato per progettare sistemi neurali che fungono da memorie associative)
NON SUPERVISIONATO
Ogni pattern di ingresso non è associato ad un pattern di uscita desiderato cioè i dati di input non sono classificati né decodificati. La modifica dei pesi dipende unicamente dal pattern di ingresso presentato e da quali unità di uscita siano state attivate, nonché, eventualmente, dallo stato interno della rete stessa. impiegato per progettare sistemi neurali in grado di realizzare un
clustering dei dati (raggruppamento omogeneo in un insieme di dati),
EVOLUZIONISTICO
Basato sulla constatazione che nelle specie biologiche la capacità di risoluzione di problemi di adattamento all’ambiente deriva da una opportuna evoluzione che ha selezionato gli individui e le strategie più adattivi.
Se tali meccanismi, nonché i criteri di selezione, vengono incorporati in opportuni algoritmi di calcolo, si possono sottoporre dispositivi artificiali (come le reti neurali) a una forma di apprendimento completamente diversa da quelle finora esaminate.
Il caso tipico sono gli algoritmi genetici.
SUPERVISIONATO
Ad ogni pattern di ingresso è associato un pattern di uscita corretto, mostrando le relazioni tra input, output e risultato.
E' impiegato per progettare sistemi neurali che realizzino una preassegnata legge di associazione input-output.
Metodo del gradiente decrescente -> è la base dell’algoritmo di apprendimento back-propagation. E' in grado di produrre un’ipotesi induttiva, ovvero un modello di risoluzione per problemi generali partendo da una serie di problemi particolari
LOGICA FUZZY
Teoria matematica che consente il trattamento delle verità parziali. Ogni elemento è associato ad un grado di appartenenza.
Nella logica binaria non si può dire se un individuo è giovane, perché non si quantizza l’essere giovane. Nella logica Fuzzy si può invece dire che: un neonato è giovane di valore 1; un diciottenne è giovane di valore 0,8; uno di 65 anni è giovane di valore 0,15; un novantenne è giovane di valore 0.
apprendere conoscenza dai dati mediante il paradigma neurale; rappresentare la conoscenza appresa esplicitamente sotto forma di regole fuzzy.
la struttura può essere rappresentata mediante "regole linguistiche", i vari nodi della rete neuro-fuzzy non conterranno i pesi,l'addestramento della rete avverrà mediante algoritmi di back-propagation oppure genetici
a seconda della necessità di fruire di prestazioni eccellenti.
Tra gli input e gli output mettiamo una "scatola nera" -> sistema che elabora i dati in ingresso secondo determinate regole che devono essere soddisfatte in modo da dedurre delle soluzioni appropriate per il sistema stesso.
DEFINIZIONI
sistema di elaborazione costituito da una serie di elementi di elaborazione semplici e altamente interconnessi, che elaborano le informazioni mediante la loro risposta di stato dinamica agli input esterni.
modelli matematici che tentano di simulare il sistema nervoso centrale umano, si collegano insieme elementi in grado di eseguire compiti semplici, in modo che l’insieme finale sia in grado di eseguire compiti complessi.
Deve essere in grado di apprendere cioè di modificare la sua struttura (i nodi e le interconnessioni) basandosi sia su dati esterni sia su informazioni interne. => sistema adattivo
il suo scopo finale è quello di realizzare i meccanismi di apprendimento, interagendo con l'ambiente esterno senza l'intervento umano.
-
PERCETTRONE
definita come prima vera rete neurale, prevedeva una legge di apprendimento, seppur rudimentale.
A ciascun ingresso è associato un peso che è un valore reale e determina l’efficacia della connessione sinaptica del
dendrite La funzione di trasferimento è una somma pesata degli ingressi (xi) moltiplicati per i pesi (wi) (prodotto scalare tra vettori) mentre l’uscita del percettrone è a livelli e binaria: se prodotto scalare ≥0 -> 1
se prodotto scalare <0 -> 0
Le reti neurali più comunemente utilizzate operano con funzione:
non lineare -> per permettere un mapping complesso delle informazioni di input.
continua e differenziabile -> per permettere la backpropagation.
Una delle funzioni di attivazione più comunemente utilizzata è la sigmoide
FUNZIONAMENTO
Un neurone biologico è costituito da: soma, dendriti (input), assone (output), sinapsi.
Un neurone trasmette un segnale elettrico in seguito ad una differenza di potenziale elettrico fra la parte interna ed esterna della cellula che provoca la trasmissione del segnale al suo interno. Le sinapsi possono essere sottili (eccitatorie) o più spesse (inibitorie).
Un neurone artificiale (elemento di processo) emula l'assone, il dendrite, e le sinapsi utilizzando resistori che pesano certi valori. Composto da: corpo, collegamenti input, collegamenti output, pesi.
La funzione di trasferimento combina i segnali ricevuti in ingresso con i dati memorizzati nella memoria locale e fornisce i segnali in uscita. Questa funzione può anche modificare la memoria locale che conterrà la conoscenza maturata durante la fase di addestramento. I collegamenti tra i nodi di una rete possono essere eccitatori o inibitori e ogni collegamento è dotato di un peso che assegna determinati valori ai segnali che li attraversano.
TIPOLOGIE
FEED-FORWARD: lcaratterizzate da un unico flusso di dati unidirezionale, privo cioè di cicli. Si riconoscono in essi degli strati o layer
Multilayer perceptron:
modelli con una configurazione a multistrato in cui ciascuno strato è collegato al successivo. Il primo strato della rete riceve in parallelo l’ingresso; elabora quindi l’uscita, che sarà l’ingresso dello strato successivo, e via dicendo. Sono i modelli più noti e diffusi
Radial basis function:
modelli di reti caratterizzate da una speciale modalità di addestramento e da una diversa funzione di trasferimento per il singolo neurone
-
RICORRENTI: questa seconda famiglia comprende i modelli di reti a connessione laterale e le reti ricorrenti, dette anche feedback networks:
Kohonen’s SOM: le mappe auto-organizzanti di Kohonen (SOM) sono reti a connessione laterale, la differenza topologica consiste in una configurazione a griglia: ogni neurone è collegato solo ad un certo numero di altri e non a tutti quelli dello strato
Hopfield Networks:
nelle reti ricorrenti l’uscita di ciascun neurone
viene riproposta in ingresso al neurone stesso. Un esemplare di questo modello è dato dalle reti di Hopfield, utili nei problemi di ottimizzazione
Competitive networks:
le reti competitive sono reti a connessione
laterale nelle quali ogni neurone, oltre a dare un contributo verso l’uscita, è collegato ai neuroni dello stesso strato. Possiamo avere anche in questo caso una stratificazione singola o multipla
-
-
APPRENDIMENTO HEBBIANO
Nel 1949 lo psicologo canadese Donald Olding Hebb
propose le prime ipotesi di apprendimento delle reti neurali. teorizzò che l’apprendimento non modifica il funzionamento dei neuroni, ma la conducibilità delle sinapsi introducendo il principio del rinforzo delle sinapsi sulla base del loro uso.
se un neurone presinaptico A attiva ripetutamente il neurone postsinaptico B, la connessione sinaptica fra A e B si rafforza; di conseguenza, se A fallisce ripetutamente nell’attivare B, la connessione fra A e B si indebolisce.
BACKPROPAGATION
algoritmo di retropropagazione dell’errore finalizzato ad addestrare MLP. Tramite il percettrone multistrato si può apprendere dall’esperienza qualunque forma di categorizzazione o di relazione Input-Output.
La rete ha uno strato iniziale I, uno nascosto intermedio N e uno finale di Uscita U
il set di dati storici viene presentato allo strato iniziale I e ogni neurone esegue la sua funzione moltiplicando ciascun input per un peso sommando il prodotto input x peso, calcolando
l'output secondo la propria funzione e trasmettendo il proprio output a tutti i neuroni dello strato N
i neuroni dello strato N ricevono gli output dallo strato I, calcolano ognuno i loro output e li trasmettono allo strato U. I neuroni dello strato U calcolano i loro output sulla base degli input ricevuti e li confrontano con i dati reali storici, calcolano un errore funzione della differenza fra il loro output e il valore reale
i neuroni dello strato U trasmettono i loro output
ai neuroni dello strato N cambiando i pesi N-U di una piccola quantità nel senso di minimizzare l'errore calcolato
i neuroni dello strato N ricevono gli input dallo
strato U, calcolano ognuno i loro output e li trasmettono allo strato I modificando i pesi I-N
i neuroni dello strato I ricevono un nuovo set di
dati storici ognuno dei quali viene moltiplicato per i nuovi pesi I-N modificati nella fase precedente e calcolano i loro output ripetendo il ciclo dall'inizio
questo ciclo viene ripetuto fino a che l'errore tra l'output calcolato ed il dato reale soddisfa la condizione che l'utente impone.
APPLICAZIONI e PROBLEMI
difficoltà nella rappresentazione, tramite reti neurali,
delle strutture simboliche presenti nel linguaggio; impossibilità di riuscire a rappresentare la relazione esistente tra simboli ed il mondo reale; impossibilità di riuscire a comprendere il significato di un’espressione linguistica
sistema di guida autonoma di automobili; classificatore di segnali radar; lettore di testi; riconoscitore di visi umani; interpolazione di immagini discontinue; sistema di interpretazione dei segnali sonar; risolutore di problemi di "cinematica inversa"; riconoscitore di oggetti sottomarini; sistema di scrittura automatico su dettatura in lingua
finlandese o giapponese; sistema di supporto alla decisione per la concessione prestiti; riconoscitore di caratteri stampati; sogni di una rete neurale; viaggio sicuro su Internet; Faceapp; simulazione dell’universo; risoluzione dei misteri della fisica; comprensione dei filamenti cosmici; comprendere le lingue; curare traumi cerebrali; algoritmi per elaborazione dei testi; marketing; mondo della sanità e dell’Health Care; cybercrime e gestione dei rischi; Supply Chain Managment; Pubblica Sicurezza; diagnosi malattie rare; Agenzia delle Entrate, caccia agli evasori; ricerca farmacologica; droni-barca per monitorare gli oceani; sport-tech; computer vision; riconoscimento facciale; chabot.