Introduction to BMI

A step back:

Deep Brain Stimulation DBS

Neurofeedback

Neuroprotesi periferiche

metodi non invasivi

basato su fMRI, NIRS, MEG

basato su EEG

basato su stimoli visivi e uditivi (potenziale evocato)

basato su stimoli inviati dal soggetto a sé stesso: BMI su modulazione autogestita

  • SSVEP
  • P300
  • ErrP
  • ERD e ERS

Invasive BMI

Multiunit recordings: noi registraimo il potenziale d’azione dei singoli neuroni. abbiamo gli elettrodi divisi in vari arrays tramite elettrocorticogramma. il soggetto pensa ad un movimento, il computer processa i dati e tenta di ricostruire una traiettoria 3D nello spazio. c’è un feedback visivo da parte del soggetto che vede il braccio muoversi.

Multiunit Arrays recording

Configuration and problems: C’è però un problema di localizzazione spaziale: quale neurone genera l’impulso? Questo perché viene registrata l’attività di più neuroni allo stesso tempo. ELETTRODI TETRODO (elettrodo multisito): sono presenti 4 o più elettrodi piccoli al suo interno di differenti altezze, ho quindi 4 siti di registrazione attraverso i quali possono ricostruire la sorgente del segnale. Possono stimare la posizione del segnale tramite triangolazione.

Two ways to analyze:

  • spike detection and sorting (attraverso un filtro passa alto), ovvero rilevamento e smistamento dei picchi, con il filtro rilevo solo le alte frequenze e le analizzo: rilevo i singoli neuroni, poi tramite clustering li differenzio.
  • Local Field Potentials (attraverso un filtro passabasso), ovvero Potenziale di campo locale: attività di una popolazione ristretta di neuroni attorno all'elettrodo.

PCA and clustering e processo per individuare i differenti segnali:

BMI basato sul potenziale evocato: time and fase locked

Dai singoli neuroni all'EEG: i ritmi e le differenze tra le oscillazioni evocate e spontanee, ovvero i due modi in cui il BMI può influenzare le oscillazioni EEG. Analisi lineare per le tecniche basate su potenziale evocato; Analisi NON LINEARE (come PSD) per quelli basati sull'attività auto gestita.

Basato sulla P300: (stimolo endogeno) visibile quando sono presenti stimoli rari (più raro è l’evento più grande è il P300). Lo stimolo che suscita una P300 maggiore è scelto come target e la sedia a rotelle intelligente raggiunge il target selezionato autonomamente. Quando ci si arriva si ferma e l’utente seleziona un’altra destinazione.

Basato sul ErrP

BMI basato su attività autogestita - di autoapprendimento

Riprendo le differenze tra le oscillazioni evocate e quelle spontanee.

Differenze tra esecuzione motoria e immaginazione motoria: le parti attivate immaginando il movimento sono di più e leggermente diverse, ma simili. NON UGUALI. sempre circa la corteccia sensomotoria.

ritmi mu: ritmi sensomotori.

perché c'è attenuazione? ERD e ERS: sono rappresentati come un incremento o decremento della potenza relativa (in %) del segnale EEG tra un periodo di attività (quando un determinato compito viene svolto) e un periodo di riferimento successivo o precedente alcuni secondi al compito.

BMI basato su Immaginazione motoria: processo convenzionale e filtri. Da qui in poi si parla sempre di BMI basato su MI. Grazie a questo Pazienti con disabilità motorie gravi possono eseguire movimenti complessi senza avere elettrodi impiantati nel cervello.

Basato sui potenziali corticali lenti: I potenziali corticali lenti sono sposamenti elettrici molto lenti nell’attività cerebrale. Cambiano periodicamente da negativi a positivi e svolgono un ruolo significativo nella regolazione dell’attenzione.
Uno spostamento NEGATIVO rappresenta l’attivazione della corteccia, uno spostamento POSITIVO rappresenta un’inibizione.

Filtri spaziali

Workflow classico della BCI basata su MI e posizionamento dei filtri spaziali.

Data indipendenti, non sfruttano le informazioni sui dati, indipendenti anche dal tempo, lineari e applicabili in forma matriciale, applicabili direttamente nel processo online del BCI.

Data dipendenti, sfruttano le informazioni sui dati.

Referencing: Attività di riferimento sottratta dall'attività degli elettrodi: eREFi = ei – eREF (spesso già fatta a livello dell'amplificatore

CAR - Common Average Reference: Attività media sottratta dall’attività dell’elettrodo, di solito utilizzata per evidenziare i EP

Laplacian: Approssima la seconda derivata sottraendo l’attività media degli elettrodi vicini per ogni segnale

ICA

CSP, applicata con conoscenza a priori sul numero di classi. Common Spatial Pattern. queste due classi sono svrapposte e difficili da classificare, le trasformo in modo che siano piu facilmente distinguibili. La CSP massimizza la varianza in una dimensione e la minimizza in un'altra, in modo da riuscire a classiciare i dati bene

Power spectral density analyses

Why spectral resolution (miglioriamo la risoluzione spettrale perché ad esempio, ERD e ERS hanno sia un'alta specificità spaziale che spettrale, Inoltre, bisogna identificare ed estrarre solo quelle sotto bande che sono DISCRIMINANTI. Come? (FTT), Welch Method come stima della PSD dato che la FFT richiede un tempo infinito. Noi abbiamo bisogno di una stima di PSD nel tempo: SPETTROGRAMMA.

Features and features selection

Data un’oscillazione EEG, una FEATURE (caratteristica) è quella caratteristica specifica che spiega l’evoluzione del segnale. Nella BCI una caratteristica è discriminante rispetto al compito eseguito. Le caratteristiche possono essere differenti a seconda della natura del segnale e del compito eseguito: ampiezza V, fase deg, densità spettrale... Le caratteristiche possono fare affidamento su diversi domini: temporale, spaziale, frequenza, o una combinazione di questi. Per esempio la SSVEP sfrutta la feature Potenza di una frequenza, nella P300 si sfrutta il momento quando avviene il picco e la sua ampiezza.

Metodi di selezione delle fetures per avere solo quelle discriminanti: Fisher Score: per ogni feature Fi, il fisher score calcola la distanza tra le distribuzioni delle due classi, quindi Massimizza una funzione che rappresenta la differenza tra le medie, normalizzata (divisa) dalla misura della variabilità all’interno delle classi. In parole povere, individua le caratteristiche discriminanti tra classe e classe.

Features Map e Features Vector: Si opera creando una mappa dove il blu indica che lo score è zero, il rosso indica che è maggiore e c'è una buona separabili tra le due classi. Dalla mappa vengono poi selezionate le features più discriminanti e si crea -> il Features Vector contiene le features più discriminanti.

ciclo di tutti i BCI

Triplice entità di apprendimento

Potenziale di campo medio generato dai neuroni in prossimità dell’elettrodo. Riflette l’attività dendritica sommata di neuroni che si trovano all’interno di una sfera. È un’alternativa candidata seria all’attività di spiking: più facile da misurare rispetto alle singole unità

Possiamo vedere come la frequenza calcolata cambia rispetto alle differenti direzioni del movimento che il soggetto comanda.

L'EEG misura una popolazione di neuroni, che producono un segnale che oscilla seguendo diverse bande in base all'attività in corso, anche se queste banche sono definite con una convenzione. Queste frequenze seguono sempre 1/F nell'EEG

Basato su SSVEP

Paradigma di OddBall: Dato che P300 si ha con stimoli attesi dal soggetto ma infrequenti (quindi surprise) spesso ottenuti con l'oddball paradigm, i ricercatori hanno alzato l'asticella degli esperimenti ad esito negativo fino al 50% ossia non rendendoli più "rari", hanno visto che comunque ErrP non spariva come P300 ma restava con ampiezza minore.
Quindi nn si tratta di P300 scambiato per qualcos'altro ma è proprio qualcos'altro che include il P300 ma non solo. L'hanno chiamato ErrP.

Workflow tipico e correzione degli eventi: quanto un evento è rilevato e classificato, si opera decidendo se è presente ErrP in modo da poter, in caso, correggere il comando.

Perché c'è un'attenuazione durante un'attività? Per la desincronizzazione dei neuroni che devono lavorare per una task specifica. Se c'è una attività cognifiva impegnativa allora gruppi di pochi neuroni collaborano insieme a formare la banda gamma o beta. Più i gruppi sono ampi, più l'attività è di frequenza bassa, lenta. Più sono gruppi ristretti, più la frequenza è alta.

potenziali di prontezza: Prima del movimento ho una variazione elettrica
Un atto volontario è preceduto da un lento innalzamento della negatività elettrica. Spostamento negativo lento sull’area corticale motoria controlaterale a partire da 500-600 ms prima dell’inizio del movimento, cioè quando ci si prepara a eseguire l’azione (dopo l’imperativo GO!)

potenziali di anticipazione - esempio dei pulsanti verde e rosso. Probabilmente questi due potenziali sono gli stessi.

Distinguiamo in questo campo: Potenziali Corticali Lenti, MI, e probabilmente gli altri due che ho inserito nei corticali lenti.

Problema della risoluzione spaziale dell'EEG dato dal fatto che il segnale proviene da una popolazione di neuroni. I Filtri spaziali possono risolvere questo problema come ad esempio i filtri LP e HP. Soprattutto perché per esempio ERD e ERS sono formati da una alta specificità spaziale.

soluzione inversa: L’EEG soffre sempre di una quantità limitata di canali. È quindi possibile ricostruire le sorgenti dalla registrazione EEG? Si ma con alcune assunzioni, ovvero che la matrice A di trasformazione deve essere lineare. in tal caso il problema diventa s = W*m e il problema si riduce a trovare W.

Le task di immaginazione motoria sono associate ai cambiamenti/modulazione nella potenza EEG. Se questi cambiamenti sono calcolati rispetto a un periodo di riferimento abbiamo ERD/ERS.
Remember degli ERD/ERS.
Abbiamo usato filtri spaziali, come il Laplaciano, per migliorare la localizzazione spaziale e abbiamo usato filtri passa banda per estrarre la potenza da specifiche bande di frequenza (ritmi mu e bande beta).

Prendiamo una finestra limitata del segnale, dividiamo la finestra in segmenti e per ogni segmento applichiamo la FFT. Infine, si fa la media della FFT di ogni segmento. Come risultato otteniamo la la PSD (power spectral density) per quella finestra.

Sliding window nel tempo con overlap. La PSD finale quindi sarà [canali x frequenze] x finestre

è un metodo impegnativo computazionalmente. Per migliorare possiamo sfruttare i vecchi FFT già calcolati sui segmenti che stiamo riconsiderando nelle nuove finestre.

Non tutte le frequenze sono rilevanti per l’identificazione dei potenziali originati da MI
Neanche tutti i canali sono rilevanti:
SELEZIONE DELLE FEATURES DISCRIMINANTI.

Finora: I compiti di immaginazione motoria sono associati a cambiamenti nella potenza EEG; I filtri spaziali (Laplaciano) migliorano la localizzazione spaziale; Le analisi spettro temporali (PSD) migliorano la risoluzione spettrale. Qual è l’obiettivo di tale elaborazione? L’identificazione e il miglioramento delle caratteristiche del segnale che sono relazionate specificatamente all’esecuzione del compito

Reminder del workflow di un BMI a MI e posizionamento delle features selection

Classificazione

Dove viene posizionata la classificazione all'interno della BMI. Alla fine arriviamo alla probabilità che il soggetto ha le intenzioni di fare un task oppure un altro.

Esempi utilizzando più di una caratteristica per discriminare due classi. M e F. Nel caso del MI abbiamo un tipo di dati che ha una distribuzione difficile da classificare, sono troppo sovrapposti (normale) e quindi applichiamo ai dati una trasformazione, come ad esempio il logaritmo.

Si cerca una linea di proiezione, la likelihood, dove i campioni della stessa classe sono proiettati molto vicino l’uno all’altro e allo stesso tempo le medie delle due classi sono il più distanti possibili.
Il suo massimo si trova differenziando e eguagliando a zero. Screenshot 2023-02-21 alle 15.21.02 successivamente, con nuovi samples, possiamo classificare direttamente i nuovi samples utilizzando la stessa linea di proiezione.

Classificatore Lineare nel caso di distribuzioni gaussiane delle classi e covarianze uguali.

Classificatore quadratico nel caso di distribuzioni sempre gaussiane ma con covarianze diverse.

Buone abitudini: essere consapevoli della natura dei dati (come sono le covarianze?); utilizzare un numero limitato di caratteristiche (3-10); usare una matrice di covarianza diagonale.

Procedura di un classificatore: dividiamo i dati in 70% per il train data e il 30% per il test data. (per esempio offline e online). bisogna identificare le caratteristiche discriminanti nel trainset, estrarle e usarle per creare un classificatore per la train set, controllare quanto buono è il classificatore con questa data, estrarre le caratteristiche discriminanti nel test set grazie alle informazioni che abbiamo ottenuto dal train set, creiamo un nuovo classificatore con le nuove features e applichiamo il classificatore, guardare quanto buono è il classificatore. Per valutare la bontà del classificatore si utilizza l'accuracy. All'inizio si può anche spliittare in K-cartelle e per esempio, usarne una per il train e le altre per il test.

Control framework

click to edit

Ci possono essere dei problemi: ci sono diversi rischi dall’utilizzo di array multiunità di elettrodi. per evitarli l’elettrodo deve essere affilato
e la compressione deve essere piu lenta possibile. Si rischia la Formazione di cicatrici gliali. E' importante anche la rimozione degli elettrodi.

I cluster risultanti corrispondono all’attività di neuroni differenti, quindi a COMANDI DIFFERENTI (infatti un comando del tipo "va a destra" corrisponde a gruppi di neuroni differenti) Il risultato è la determinazione di quali spike corrispondono a quali neuroni PCA: riesprime un set di dati disponibili per estrarre info rilevanti riducendo la ridondanza e minimizzando l’errore. Si opera nel complesso in questo modo: Passalto, PCA, Rimozione artefatti, PCA, Clustering, infine si opera con un'analisi statistica.

Allora, si parte dal presupposto che l’uscita dal classificatore sia un flusso di probabilità di comandi suddivisi in due classi, che allo stato grezzo possono portare a errori di potenziali, quali quello di intepretazione, in quanto il sistema non ha accumulato evidenze su quale sia il comando giusto da inviare, quindi quale sia la vera intenzione dell’utente. A questo scopo si cerca di andare ad accumulare quante più prove possibili, quindi quanti più comandi possibili per poter poi inviare il comando corretto circa le intenzioni dell’utente, ovvero un comando che appartiene a una delle due classi. In particolare, un primo esempio di accumulo di prove è l’exponential smoothing, ma è ancora incerto in quanto non raggiunge tutto il range e invia segnale anche quando l’utente non vuole intenzionalmente inviarlo durante la condizione di resto (se vedi i grafici nel secondo si vede proprio che viene raggiunta la soglia anche quando non si vuole). Le evidenze vengono accumulate secondo un quadro di integrazione delle probabilità di livellamento esponenziale. Le probabilità vengono integrate fino a quando una classe raggiunge una soglia sull’intenzione dell’utente di fornire un comandoviene quindi impartito il comando mentale e le probabilità vengono reimpostate su una distribuzione uniforme. Un tale quadro produce un feedback fluido e prevedibile, aiutando cosi la formazione degli utenti evitando fluttuazione, ovvero si previene l’invio di comandi arbitrari da parte dell’utente se si distoglie l’attenzione dal task grazie alla SMOOTH CONVERGENCEINTENTIONAL NON CONTROL.

A questo punto si cerca di ottenere un flusso continuo e che cerchi di risolvere il problema dell’invio di segnali quando non dovrebbero, quindi si cerca di supportare l’intentional non control (INC). Un esempio di questo tipo di quadro di controllo è quello dinamico, che quindi considera l’uscita come una somma di una forza che dipende dallo stato corrente e una che dipende dall’output del bmi. E si è visto come questo quadro di controllo sia più ottimale rispetto a quello precedente perchè raggiunge tutto il range e gestisce INC. Quindi qaundo viene raggiunta una certa probabilità viene inviato il segnale corrispondente ad una certa classe.

Poi si potrebbe parlare anche delle forze attrattive e repulsive e quindi dello stato di pushing e quello conservativo, ovvero se la probabilità sta tra lo 0 e il 0.30 verrà inviato un segnale che appartiene a una classe, se sta tra 0.3 e 0.7 non viene inviato comando e se sta tra 0.7 e 1 viene inviato il comando dell’altra classe (in quanto gli output sono divisi in due classi, ad esempio entrambi i piedi fa una cosa entrambe le mani ne fa un’altra). I grafici li devi leggere come se ci fosse una pallina che ha tre possibilità in base a dove si trova nella curva.