Инженери от Института за изследване на висшата нервна активност успяха да създадат система, която превежда мислите в разбираема и разпознаваема реч. Чрез контролиране на нечия мозъчна дейност технологията реконструира мислите в думи.
Този научен пробив, съчетан със силата на AI и синтезаторите на реч, отваря нова ера във взаимодействието между компютъра и мозъка. Разбира се, това отваря и нови възможности за хората, които по една или друга причина са загубили способността да говорят.
„Нашите гласове помагат да поддържаме връзка с нашите приятели, семейство и света около нас, така че загубата на гласова сила поради нараняване или болест е пагубна за хората. Въпреки това, с днешния запас от знания, ние имаме потенциален начин да възстановим тази сила. Ние показахме, че с правилната технология мислите на хората могат да бъдат дешифрирани и разбрани от всеки слушател “, казва Нима Месгарани, доктор на науките и един от авторите на проучване, проведено в Института за психично поведение„ Мортимър Б. Цукерман “в Колумбийския университет.
Десетилетия на изследване показват, че когато хората говорят или дори си представят, че говорят думи, в мозъка им се появяват характерни модели на дейност. Ясен и разпознаваем модел на сигнала възниква и когато слушаме някой да говори или си представяме, че слушаме. Експертите се опитват да дешифрират тези модели от десетилетия, но едва сега пред тях се отвори бъдеще, в което мислите вече не могат да бъдат скрити вътре в мозъка, а вместо това могат да бъдат преведени на говорим език по желание.
Но този подвиг не беше лесен за изпълнение. Ранните опити за дешифриране на мозъчни сигнали от д-р Месгарани и други се фокусираха върху прости компютърни модели, които анализираха спектрограмите, които са визуални изображения на звукови честоти.
Но поради факта, че този подход не създава нищо близко до разбираема реч, екипът на д-р Месгарани вместо това се насочи към вокодер, компютърен алгоритъм, който може да синтезира реч, след като е обучен да записва разговорите на хората.
„Това е същата технология, която Amazon Echo и Apple Siri използват, за да отговорят устно на нашите въпроси“, казва д-р Месгарани, който е и доцент по електротехника в Колумбийското училище за инженерни и приложни науки на Фондация Фу.
За да научи вокодера да тълкува мозъчната активност, д-р Месгарани си партнира с Ашеш Динеш Мехта, доктор на медицинските науки, доктор по неврохирурги в Института по невронауки на Northwell Health Physician Partners и съавтор на днешната статия. Д-р Мехта лекува пациенти с епилепсия, някои от които трябва да се подлагат на редовна операция.
Промоционално видео:
„Работейки с д-р Мехта, помолихме епилептични пациенти, които вече бяха претърпели мозъчна операция, да изслушат предложения от различни хора, докато измервахме моделите в тяхната мозъчна дейност“, казва д-р Месгарани. "Тези невронни модели обучиха вокодера."
След това изследователите помолиха същите тези пациенти да слушат говорители, произнасящи числата от 0 до 9, докато записват мозъчни сигнали, които след това могат да бъдат предадени през вокодер. Звукът, произвеждан от вокодера в отговор на тези сигнали, беше анализиран и усъвършенстван с помощта на невронни мрежи като изкуствен интелект, който имитира структурата на невроните в биологичния мозък.
Крайният резултат беше роботизиран глас, повтарящ поредица от числа. За да проверят точността на записа, д-р Месгарани и нейният екип инструктираха хората да слушат записа и да докладват какво са чули.
„Установихме, че хората могат да разбират и повтарят звуци около 75% от времето, което е много по-високо от всички предишни опити“, казва д-р Месгарани. Подобрението на разбираемостта беше особено очевидно при сравняването на новите записи с по-ранни опити на базата на спектрограмата. "Чувствителният вокодер и мощните невронни мрежи представяха звуците, които пациентите първоначално чуваха с удивителна точност."
Д-р Месгарани и нейният екип сега планират да изпробват по-сложни думи и изречения. Те също възнамеряват да извършват същите тестове на мозъчните сигнали, излъчвани, когато човек говори или си представя реч. В крайна сметка те се надяват, че тяхната система може да бъде част от имплантант, подобен на този, който носят някои пациенти с епилептици, които превеждат мислите на потребителя директно в думи.
„При този сценарий, ако собственикът на чипа мисли:„ Имам нужда от чаша вода “, нашата система може да приема мозъчните сигнали, генерирани от тази мисъл, и да ги превръща в синтезирана словесна реч“, казва д-р Месгарани. „Това е смяна на игри и за всеки, който е загубил способността да говори поради нараняване или заболяване, технологията дава нов шанс да общува със света около тях.“
Редакционен коментар
Тъй като някои от нашите служители имат определена връзка с неврофизиологията, можем абсолютно недвусмислено да заявим, че решаването на проблема с четенето на мисли и превеждането на тези мисли в думи не е проблем, който някой доктор на философията може да реши заедно с интелигентен неврохирург. Това е задача за изследователския институт, който ще го реши за сто, двеста или повече години. Освен това изобщо не е факт, че изследователският институт ще реши този проблем - дори ако всички суперкомпютри на НАСА са доведени там, на които тълпа инженери ще започне да симулира невронни мрежи. Статия в научно списание обаче няма да лъже и фактът на разпознаване на мисли определено е там. Как тогава могат да се съберат тези два факта?
Много просто. През последните 20-30 години в света се появи огромен брой напълно невероятни и много сложни технологии като микропроцесори и твърди дискове. И с всеки изминал ден има все повече нови изобретения, които се записват на някои „талантливи студенти“, които, седейки в гаража, са събрали парче от скрап, за което изследователските институти се бият от 50 години. И в този случай имаме изобретение от подобен генезис. Тоест, развитие, което е правено (или предадено на хората) в продължение на много години, не е ясно кой, но което е записано на леля и чичо от Колумбия.
Всъщност няма абсолютно никаква разлика кой Уикипедия ще запише като „изобретатели“на технологиите. Основното е, че технологията беше представена на света с помощта на научно списание. Освен това, някои китайски компании ще започнат да произвеждат такива „джаджи“, които ще свикнат хората със самата идея, че сега главата им е станала напълно прозрачна. И накрая, третият етап ще бъде същият оруелски „1984“, когато дори мислите на всеки човек могат да бъдат четени от разстояние. Например чрез поставяне на специални сензори в апартаменти или интегриране на специален чип, който реагира на мозъчните импулси в тялото. Освен това.
Всяка технология има по правило противоположно приложение. Например, ако има технология за преобразуване на нервните импулси в думи, тогава, използвайки същия принцип, можете да превърнете всякакви думи в нечии мисли. В тази ситуация президентите на различни страни имат грандиозна перспектива да бъдат подкрепени от абсолютно целия електорат, тъй като сега има техническа възможност да накара всеки избирател дори да мисли като него - достатъчно е да поставите правилно модулиран сигнал в гнездото.
Като цяло, разбира се, че най-прекрасните перспективи в света се отварят и ние следим развитието на събитията с интерес.