Recentemente un gruppo di scienziati dell’Università della California a San Francisco (UCSF) ha realizzato una soluzione totalmente innovativa nel campo delle neurotecnologie, che permette la trasduzione diretta delle onde cerebrali che governano l’atto del parlare in segnali sonori.
Il concetto di “lettura del pensiero” è sempre stato oggetto di tanto interesse e fascino, sia in opere di fantascienza, quale tòpos letterario e cinematografico, che nella concreta realizzazione di soluzioni via via sempre più tecnologicamente raffinate per ottemperare a scopi pratici di comunicazione “non convenzionale”.
La comunicazione è un bisogno fondamentale dell’uomo. In situazioni dove colui che necessiti di comunicare ed esprimere un messaggio sia impedito, per motivi patologici oppure per esigenze temporanee, ad usare la propria voce o mezzi di scrittura a mano, la tecnologia viene in aiuto.
Il contesto: perchè i risultati ottenuti dalla ricerca statunitense sono stati rivoluzionari
In tempi antichi e ancora oggi, per persone colpite da paralisi più o meno estese ed invalidanti, azioni semplici come strizzare un occhio o suonare un campanello, unitamente all’assistenza di persone vicine, hanno costituito e costituisco una maniera seppur lenta e macchinosa di esprimere concetti di base.
Con l’avvento dell’elettronica e dei computer, della tecnologia di sintetizzazione vocale, e, più specificamente, di tecnologie che vanno sotto il nome di tecnologie TTS, text-to-speech, si è reso possibile aumentare la capacità espressiva di soggetti impossibilitati a parlare e/o con grosse difficoltà motorie.
Si pensi al famoso fisico Stephen Hawking che, grazie ad un computer sul quale lo stesso studioso riusciva ad immettere del testo (immissione eseguita prima tramite un controller personalizzato, poi tramite sensori ad infrarossi puntati sul viso per il riconoscimento di gesti), ha potuto condividere pensieri complessi in maniera relativamente rapida sin dalla seconda metà degli anni ’80.
E’ poi venuto il turno di sistemi BCI, ovvero delle brain computer interface, di vario tipo, che hanno sostanzialmente cambiato la modalità di immissione di un testo in un computer, lasciando poi invariata la parte finale di mera sintetizzazione sonora del testo immesso.
La categoria di soluzioni meglio affermatasi in tal senso è stata quella dei sistemi con BCI basate su P300, un’onda cerebrale (event related potential, ERP) che si presenta , seguendo il protocollo sperimentale denominato oddball, quando il soggetto riconosce come target, ovvero come qualcosa di proprio interesse e atteso, un evento manifestatosi in maniera casuale all’interno di una sequenza di altri eventi omologhi ma reputati non importanti. Per l’immissione di testo, dunque, si sottopone il soggetto alla visualizzazione dell’intero alfabeto disposto in una griglia dove tutte le lettere alternano il proprio lampeggiamento a video seguendo una sequenza casuale.
La “classica” BCI basata su P300 per l’immisione di testo tramite segnale cerebrale
Un caschetto con elettrodi superficiali per l’acquisizione del segnale elettroencefalografico EEG, unitamente ad un computer che visualizzi a video una griglia di lettere illuminate in sequenza casuale, permette dunque la scrittura di testo a videoterminale “tramite il pensiero”, rilevando i momenti in cui una lettera di interesse per il soggetto viene evidenziata facendo scaturire l’onda P300.
Copyright (C) 2011 – Neuronal oscillations and cognition group, Dept.
Appare chiaro come la comunicazione tramite BCI basata su P300, seppur implementata con una tecnologia complessa ma efficace e relativamente veloce, concettualmente sia del tutto simile al metodo dello strizzare l’occhio ad una persona che man mano ci indichi in maniera alternata e continuativa tutte le lettere dell’alfabeto, annotando quelle che hanno scaturito l’occhiolino.
La vera domanda alla quale da tempo, in particolare a partire dai primi anni del nuovo millennio, la ricerca sta cercando di dare risposta, è se esista un modo per leggere direttamente le onde cerebrali formulanti un pensiero, e tradurre direttamente quest’ultimo in forma testuale o sonora.
I primi esperimenti condotti in tal senso, ottenenti risultati importanti, hanno utilizzato pattern EEG provenienti dalla corteccia uditiva (si veda, ad esempio, la ricerca descritta al presente link).
Anche l’agenzia Americana per la difesa, la DARPA, ha riportato più volte di essere al lavoro per cercare di implementare una tecnologia, denominata dalla stessa DARPA come “silent talk”, che permettesse ai soldati di fanteria di comunicare per l’appunto in maniera silenziosa, tramite le sole onde cerebrali rilevate tramite elmetti dotati di speakers e sensori EEG, tra loro comunicanti mediante onde wireless.
La nuova ricerca che ha portato alla realizzazione del “decoder” cerebrale
La nuova ricerca, condotta all’Università della California a San Francisco, ha costituito una svolta nel settore, permettendo la sintesi di frasi a partire dal pensiero con un ritmo paragonabile alla velocità del linguaggio naturale. Parliamo di 120 – 150 parole al minuto, a fronte di performance dei precedenti sistemi BCI e non (compresa l’ultima versione del sistema adottato da S.Hawking stesso), che difficilmente hanno superato la soglia delle 10 parole al minuto.
Tecnicamente, i ricercatori della UCSF, hanno utilizzato un nuovo “espediente” per accedere al contenuto comunicativo del pensiero: sono stati usati infatti i segnali cerebrali che governano l’atto stesso del parlare, anche se semplicemente mimato senza emettere alcun suono, in particolare i segnali elettrici (parliamo di milionesimi di Volts) provenienti dalla corteccia sensomotoria ventrale.
Per registrare i segnali i ricercatori si sono avvalsi di un array di elettrodi chirurgicamente impiantati sulla corteccia cerebrale (ElettroCorticoGrafia – ECoG) in cinque soggetti che per necessità medica di monitoraggio intracranico dell’epilessia erano stati sottoposti appunto all’intervento di impianto.
Il core del nuovo sistema di “lettura” del penisero: corteccia neuromotoria + machine learning
Il sistema elaborato dai ricercatori americani si basa sullo sfruttare e interpretare, con apposite tecnologie di intelligenza artificiale, i segnali elettrici che si manifestano nel nostro cervello ogni qualvolta articoliamo un pensiero e lo enunciamo o mimiamo i movimenti necessari senza emettere voce.
La zona del cervello della corteccia motoria si attiva con pattern specifici per governare e movimentare le parti del nostro corpo, compresa la lingua.
Addestrando quindi degli algoritmi di machine learning, nello specifico reti neruali ricorrenti di tipo LSTM (Long Short-Term Memory, una tipologia di rete neurale artificiale particolarmente indicata per l’analisi di serie temporali e sequenze), su di un certo insieme di segnali cerebrali relativi alla pronuncia di una serie di suoni necessari a pronunciare le frasi di una lingua parlata, ecco che è stato possibile realizzare un vero e proprio decodificatore che prende in input i segnali della corteccia motoria e restituisce in output il suono che questi segnali genererebbero se fossero opportunamente ricevuti dai muscoli della lingua, della mascella e della trachea.
Il machine learning, che ha permesso spesso di superare gli ostacoli dovuti alla mancanza di modelli matematici per l’interpretazione di fenomeni, si è rivelato fondamentale anche in questo caso, dove il legame tra le onde rilevate sulla superficie del nostro cervello e i suoni che vengono generati dalla bocca non è noto a priori in maniera analitica. Gli algoritmi vengono dunque addestrati a risolvere tale “enigma” mediante una serie di esempi ingresso-uscita che gli vengono forniti.
I risultati sono a dir poco sbalorditivi e affascinanti, come ci mostrano le frasi di test effettivamente sintetizzate dal sistema durante la fase sperimentale, descritta nel video che segue, pubblicato proprio dall’università che ha svolto la ricerca:
Il futuro delle neurotecnologie è dunque sempre più roseo; certo, lo sviluppo tecnologico deve andare a braccetto con un rigore bioetico. Sono ad esempio ultra recenti le dichiarazioni di Elon Musk sui piani della propria azienda, Neuralink, in merito alle tecnologie talvolta denominate di brain hacking.
Per il momento possiamo tuttavia restare tranquilli, possibilmente tenendo a bada eventuali impeti di bricolage per fabbricarci bislacchi copricapi di carta d’alluminio:
I nostri pensieri restano nostri… salvo complicazioni.
Riferimenti:
- Articolo originale della ricerca pubblicato sulla rivista Nature: “Speech synthesis from neural decoding of spoken sentences”
- Notizia della ricerca trattata dalla testata New Scientist: “Mind-reading device uses AI to turn brainwaves into audible speech”
