Technologia może prowadzić do bardziej naturalnej komunikacji dla osób, które doznały utraty mowy
Naukowcy z Uniwersytetu Kalifornijskiego w San Francisco z powodzeniem opracowali „neuroprotezę mowy”, która umożliwiła mężczyźnie z poważnym paraliżem komunikowanie się zdaniami, przekładając sygnały z jego mózgu do układu głosowego bezpośrednio na słowa, które pojawiają się jako tekst na ekranie.
Osiągnięcie, które powstało we współpracy z pierwszym uczestnikiem badania klinicznego, opiera się na ponad dziesięcioletnich wysiłkach neurochirurga UCSF Edwarda Changa, MD, nad opracowaniem technologii, która pozwala osobom z paraliżem na komunikowanie się, nawet jeśli nie są w stanie mówić na własną rękę. Badanie ukazuje się 15 lipca w New England Journal of Medicine.
„Według naszej wiedzy jest to pierwsza udana demonstracja bezpośredniego dekodowania pełnych słów z aktywności mózgu osoby, która jest sparaliżowana i nie może mówić” – powiedział Chang, Katedra Chirurgii Neurologicznej im. Joana i Sanforda Weillów na UCSF oraz Jeanne Robertson Distinguished Professor i starszy autor badania. „Wykazuje silną obietnicę przywrócenia komunikacji poprzez wykorzystanie naturalnej maszynerii mowy w mózgu”.
Każdego roku tysiące ludzi traci zdolność mówienia z powodu udaru, wypadku lub choroby. Wraz z dalszym rozwojem, podejście opisane w tym badaniu może pewnego dnia umożliwić tym osobom pełną komunikację.
Tłumaczenie sygnałów mózgowych na mowę
Wcześniej prace w dziedzinie neuroprotetyki komunikacyjnej koncentrowały się na przywróceniu komunikacji poprzez podejście oparte na pisowni do wpisywania liter w tekście jedna po drugiej. Badanie Changa różni się od tych wysiłków w sposób krytyczny: jego zespół tłumaczy sygnały mające kontrolować mięśnie układu głosowego podczas wypowiadania słów, a nie sygnały służące do poruszania ramieniem lub dłonią w celu umożliwienia pisania. Chang powiedział, że to podejście wykorzystuje naturalne i płynne aspekty mowy i obiecuje szybszą i bardziej organiczną komunikację.
„Dzięki mowie zwykle przekazujemy informacje z bardzo dużą szybkością, do 150 lub 200 słów na minutę”, powiedział, zauważając, że podejścia oparte na pisowni, polegające na pisaniu i kontrolowaniu kursora, są znacznie wolniejsze i bardziej pracochłonne. „Przejście od razu do słów, tak jak tutaj, ma ogromne zalety, ponieważ jest bliższe temu, jak zwykle mówimy”.
W ciągu ostatniej dekady postępy Changa w kierunku tego celu ułatwili pacjenci z Centrum Padaczki UCSF, którzy przeszli neurochirurgię, aby wskazać pochodzenie ich napadów za pomocą elektrod umieszczonych na powierzchni ich mózgów. Ci pacjenci, z których wszyscy mieli normalną mowę, zgłosili się na ochotnika do przeanalizowania ich nagrań mózgowych pod kątem aktywności związanej z mową. Wczesne sukcesy z tymi pacjentami ochotnikami utorowały drogę do obecnego badania u osób z paraliżem.
Wcześniej Chang i współpracownicy z UCSF Weill Institute for Neurosciences mapowali wzorce aktywności korowej związane z ruchami dróg głosowych, które wytwarzają każdą spółgłoskę i samogłoskę. Aby przełożyć te odkrycia na rozpoznawanie mowy pełnych słów, dr David Moses, habilitowany inżynier w laboratorium Chang i jeden z głównych autorów nowego badania, opracował nowe metody dekodowania w czasie rzeczywistym tych wzorców i statystycznych modeli językowych, aby poprawić dokładność.
Jednak ich sukces w dekodowaniu mowy uczestników, którzy byli w stanie mówić, nie gwarantował, że technologia zadziała u osoby, której trakt głosowy jest sparaliżowany. „Nasze modele musiały nauczyć się mapowania między złożonymi wzorcami aktywności mózgu a zamierzoną mową” – powiedział Moses. „To stanowi poważne wyzwanie, gdy uczestnik nie może mówić”.
Ponadto zespół nie wiedział, czy sygnały mózgowe kontrolujące trakt głosowy będą nadal nienaruszone u osób, które od wielu lat nie były w stanie poruszać mięśniami głosowymi. „Najlepszym sposobem sprawdzenia, czy to zadziała, było wypróbowanie tego” – powiedział Moses.
Pierwsze 50 słów
Aby zbadać potencjał tej technologii u pacjentów z paraliżem, Chang nawiązał współpracę z kolegą dr Karuneshem Ganguly, profesorem nadzwyczajnym neurologii, w celu rozpoczęcia badania znanego jako „BRAVO” (Restoration of Arm and Voice Interfejs mózgowo-komputerowy). Pierwszym uczestnikiem próby jest mężczyzna po trzydziestce, który ponad 15 lat temu doznał wyniszczającego udaru pnia mózgu, który poważnie uszkodził połączenie między jego mózgiem a przewodem głosowym i kończynami. Od czasu kontuzji ma bardzo ograniczone ruchy głowy, szyi i kończyn i komunikuje się za pomocą wskaźnika przymocowanego do czapki bejsbolowej, aby wyświetlać litery na ekranie.
Uczestnik, który poprosił o miano BRAVO1, pracował z naukowcami nad stworzeniem 50-wyrazowego słownictwa, które zespół Changa mógł rozpoznać na podstawie aktywności mózgu za pomocą zaawansowanych algorytmów komputerowych. Słownictwo – zawierające słowa takie jak „woda”, „rodzina” i „dobry” – wystarczyło do stworzenia setek zdań wyrażających pojęcia mające zastosowanie w codziennym życiu BRAVO1.
Na potrzeby badania Chang chirurgicznie wszczepił zestaw elektrod o dużej gęstości nad korą mowy ruchowej BRAVO1. Po całkowitym wyzdrowieniu uczestnika jego zespół zarejestrował 22 godziny aktywności nerwowej w tym obszarze mózgu w ciągu 48 sesji i kilku miesięcy. Podczas każdej sesji BRAVO1 próbował wiele razy wypowiedzieć każde z 50 słów ze słownictwa, podczas gdy elektrody rejestrowały sygnały mózgowe z jego kory mowy.
Tłumaczenie próby mowy na tekst
Aby przetłumaczyć wzorce zarejestrowanej aktywności neuronowej na konkretne zamierzone słowa, pozostali dwaj główni autorzy badania, Sean Metzger, MS i Jessie Liu, BS, obaj doktoranci bioinżynierii w Chang Lab, wykorzystali niestandardowe modele sieci neuronowych, które są formami sztucznej inteligencji. Kiedy uczestnik próbował mówić, sieci te rozróżniały subtelne wzorce aktywności mózgu, aby wykrywać próby mowy i identyfikować słowa, które próbował wypowiedzieć.
Aby przetestować swoje podejście, zespół najpierw przedstawił BRAVO1 z krótkimi zdaniami zbudowanymi z 50 słów ze słownika i poprosił go, aby spróbował je powtórzyć kilka razy. Kiedy podejmował swoje próby, słowa były kolejno odczytywane z jego aktywności mózgu na ekranie.
Następnie zespół przestawił się na zadawanie mu pytań, takich jak „Jak się masz dzisiaj?” i „Chcesz trochę wody?” Tak jak poprzednio, na ekranie pojawiła się próba przemówienia BRAVO1. „Jestem bardzo dobry” i „Nie, nie chce mi się pić”.
Zespół odkrył, że system był w stanie dekodować słowa z aktywności mózgu z szybkością do 18 słów na minutę z dokładnością do 93% (mediana 75%). Do sukcesu przyczynił się model językowy zastosowany przez Mosesa, w którym zaimplementowano funkcję „autokorekty”, podobną do używanej przez konsumenckie oprogramowanie do obsługi wiadomości tekstowych i rozpoznawania mowy.
Moses scharakteryzował wczesne wyniki procesu jako dowód zasady. „Byliśmy podekscytowani, widząc dokładne dekodowanie różnych znaczących zdań” – powiedział. „Pokazaliśmy, że rzeczywiście można w ten sposób ułatwić komunikację i że ma potencjał do wykorzystania w sytuacjach konwersacyjnych”.
Patrząc w przyszłość, Chang i Moses powiedzieli, że rozszerzą badanie, aby objąć więcej uczestników dotkniętych poważnym paraliżem i deficytami komunikacyjnymi. Zespół pracuje obecnie nad zwiększeniem liczby słów w dostępnym słownictwie, a także nad poprawą tempa mowy.
Obaj powiedzieli, że chociaż badanie koncentrowało się na jednym uczestniku i ograniczonym słownictwie, te ograniczenia nie zmniejszają osiągnięcia. „Jest to ważny technologiczny kamień milowy dla osoby, która nie może komunikować się w sposób naturalny” – powiedział Moses – „i pokazuje potencjał tego podejścia, aby dać głos osobom z poważnym paraliżem i utratą mowy”.
