Използвайки технология за сканиране на мозъчната дейност, изкуствения интелект и синтезатора на реч, учени от Колумбийския университет (САЩ) създадоха устройство, способно да превежда човешките мисли в артикулираща реч. Резултатите от изследванията, публикувани в Scientific Reports, представляват важна стъпка за подобряване на интерфейсите мозък и компютър. В бъдеще подобни устройства могат да се използват от хора, които са загубили способността да говорят в резултат на нараняване или заболяване.
За да разработят устройство, което съчетава възможностите на синтезатор на реч и изкуствен интелект, авторът на изследването, неврологът Нима Месгарани и неговите колеги се насочиха към най-новите постижения в технологиите за дълбоко машинно обучение и синтез на реч. Резултатът от работата им е вокодер, базиран на изкуствен интелект, способен доста точно да интерпретира мозъчната дейност директно от слуховия кортекс и след това да го преведе в разбираема реч. Авторите на работата отбелязват, че речта в този случай се оказва много компютърна, но хората могат да разпознаят думите в повечето случаи.
Според създателите новото устройство, използвано за възпроизвеждане на получената реч, се основава на същата технология, използвана в дигиталните асистенти като Alexa, Siri и Google Assistant.
Първо, експертите обучиха вокодера за правилна интерпретация на човешката мозъчна дейност. За целта учените поканили петима доброволци, които са били на лечение на епилепсия, за да участват в експеримента. И на петте им бяха имплантирани електроди в слуховия кортекс за отчитане на електроенцефалограмата.
„Помолихме епилептични пациенти, които вече са подложени на операция на мозъка, за да слушат изречения, които се изказват от различни хора. В същото време анализирахме модели в мозъчната дейност на пациентите. Вокодерът е обучен на получените невронни модели “, обяснява Месгарани.
Пациентите бяха помолени да прослушат записите, в които актьорите четат поредици от числа от 0 до 9. В същото време учените записват мозъчните сигнали и след това ги предават през вокодера, сигналите за които са коригирани, за да се увеличи яснотата чрез невронна мрежа, която анализира звуците на самия вокодер, който произвежда звуци в отговор на тези сигнали. В резултат на това може да се чуе роботизиран глас, който повтаря поредица от произнесени числа. За да оценят резултатите, учените поканиха 11 души с отличен слух.
„Оказа се, че хората могат да разпознаят думи около 75% от времето, което значително превъзхожда всички предишни опити. Чувствителният вокодер и мощните невронни мрежи генерираха звуците, които пациентите слушаха с удивителна точност “, коментира Месгарани.
Промоционално видео:
В бъдеще екипът на Месгарани ще научи невронната мрежа да произнася по-сложни думи, фрази и дори цели изречения. След това те искат да разработят имплант, който може да преведе мислите на човек в пълна реч.
„Например, ако собственикът на импланта си мисли:„ Имам нужда от чаша вода “, нашата система чете мозъчните сигнали и ги превежда в реч. Това ще даде на всеки, който е загубил способността да говори поради нараняване или заболяване, нова възможност да общува със света около тях “, добавя Месгарани.
Николай Хижняк