Преди няколко дни порталът за предпечат на bioRxiv.org публикува работата на руските изследователи от Московския институт по физика и технологии и компаниите Neurobotics и Neuroassistive Technologies, които се занимават със създаването на неврокомпютърни интерфейси. Документът твърди, че учените и разработчиците са успели да научат алгоритъм в реално време да реконструират видео, гледано от човек, използвайки ЕЕГ сигнали. Звучи наистина готино и интересно - почти като четене на ум. Всъщност всичко, разбира се, не е толкова просто: компютрите не са се научили да четат мисли. Накратко, компютърът научи от EEG записа, за да определи кое изображение от пет различни известни досега класове обектът видя. За това как е бил изграден експериментът, какви задачи си поставят учените и защо четенето на ума едва ли ще бъде реализирано в близко бъдеще, разказваме в нашия блог.
Най-общо казано, идеята да прочетете електрическия сигнал на мозъка и да го дешифрирате, така че да можете да видите какво човек мисли или прави в даден момент, предвид темпото на текущия технологичен прогрес, не изглежда толкова трудна. Ето сигнал и ето какво означава този сигнал: добавете две и две, тренирайте класификатора и ще получите резултата, от който се нуждаем.
Резултатът е това, което футуристи и невежи хора биха нарекли „четене на ума“. И изглежда, че такава технология би могла да се намери в най-различни приложения: от перфектни интерфейси мозък-компютър, които ви позволяват да контролирате интелигентните протези, до създаването на система, която най-накрая казва какво мисли вашата котка там.
В действителност, разбира се, всичко изобщо не е толкова просто и идеята за създаване на такъв алгоритъм почти веднага се разпада на главното препятствие: трябва да се справим с мозъка. Мозъкът е много сложно нещо: той има повече от 80 милиарда неврони, а връзките между тях са няколко хиляди пъти повече.
Дори и на лайпсън е ясно: това е твърде много, за да разберем за какво отговаря всяка клетка и техният агрегат. Учените все още не са дешифрирали човешкия контактьор - дори и да се опитват да го направят с относителен успех.
Възниква логичен въпрос: необходимо ли е изобщо да се разберат функциите на всеки неврон, за да се представи точно какво се случва в мозъка? Наистина ли няма достатъчно функционални карти, например?
Отговорът на този въпрос всъщност трябва да бъде "да", но дори и тук не е толкова просто. Ако човечеството разчиташе на декодирането на контактена като единствения ключ за отключване на мистерията на мозъка, тогава днес щяхме да сме много близки. Ние обаче знаем нещо за това как работи мозъкът ни и, разбира се, можем да го използваме успешно.
Промоционално видео:
Един от най-ярките и очевидни примери за използване на натрупаните от учените знания за работата на мозъка, разбира се, са невроинтерфейсите. Най-общо казано, днес наистина съществуват технологии, които позволяват да се чете мозъчната дейност и да се използва за управление например на курсора на компютърна мишка или дори на движенията на протеза.
Има два начина за постигане на ефективна работа на невронния интерфейс. Първият метод е предизвикан потенциал: ние разглеждаме кривата на електрическата активност на определени части на мозъка и избираме върху него онези промени в сигнала, които, както знаем със сигурност, се появяват в определен момент след представянето на стимула.
Вторият начин е изобщо да не разчитате на стимулация, а да използвате въображението на човека, за да генерирате електрически сигнал, който може да се чете. Например, човек може да бъде помолен да визуализира как движи крака или ръката си.
И двата метода имат значителни недостатъци. Първият е възпрепятстван от факта, че броят на надеждно предизвиканите потенциали, известни на нас, не е толкова голям: техният брой не може точно да покрие всички възможни действия, извършени от човек. Недостатъкът на второто е, че е необходимо дълго обучение, за да се постигне поне някакъв ефект.
Авторите на препринта решиха да комбинират двата подхода за създаване на неврокомпютърни интерфейси, с основание вярвайки, че това ще спаси двата метода от значителни ограничения и ще позволи разработването на нов и понастоящем най-ефективен метод за работа с невроинтерфейси.
Предполагаше се също, че този метод ще бъде затворен (затворен цикъл), тоест резултатът, получен с негова помощ, от своя страна ще повлияе на работата на алгоритъма. Но повече за това по-късно.
В самото начало алгоритъмът разгражда всички изображения на отделни знаци за компоненти, разпределени във векторното пространство, с помощта на които те могат да бъдат съпоставени с определени мозъчни сигнали, записани с помощта на ЕЕГ.
На този начален етап се използва двоичен класификатор - грубо казано, самите „две и две“: имайки достатъчно чист сигнал (EEG записът е изчистен от моторни артефакти), можете да изберете един или друг с точност, по-висока от случаен удар.
В своите експерименти учените са използвали видеоклипове на предмети от пет класа: изображения на хора, водопади, абстрактни геометрични фигури, екстремни спортове и коли на Голдбърг. От една страна такъв набор изглежда странно, но от друга, изглежда, че всички тези обекти са много различни един от друг. Всъщност има ли нещо общо между човешките лица и абстрактните геометрични фигури?
Междувременно, според бинарния класификатор, абстрактните фигури и човешките лица са неразличими една от друга: резултатите на девет от 17 участници в изследването показват, че невронният интерфейс, очевидно, не е успял да направи разлика между тях. Но машините на Голдбърг и същите лица, от гледна точка на мозъка, напротив, се различават добре една от друга.
Резултати от класификацията A - абстрактни форми, W - водопади, HF - човешки лица, GM - Коли в Голдбърг, екстремни спортове.
На пръв поглед не е много ясно защо това се случва: по-скоро едни и същи машини и геометрични фигури не могат да бъдат разграничени една от друга. Всичко става малко по-ясно, ако погледнете пример за кадри от използваните видеоклипове.
Примерни изображения от пет класа.
Най-вероятно (ние, разбира се, можем да предположим само тук), успехът на класификатора зависи от това доколко изображенията, използвани в двата класа, се различават един от друг в някои повърхностни, основни характеристики - на първо място, в цвят. Това също корелира добре с факта, че размерът на латентното пространство в автоенкодера е 10.
Като цяло, за да се класифицират изображения от пет класа, е достатъчно измерение от пет, но в този случай ще бъде направено с максимум от цветната хистограма - което означава, че измерение 10 няма да се подобри твърде много и ще прецизира резултата.
Не е много ясно защо авторите не са използвали линеен класификатор за пет класа наведнъж вместо десет двоични класификатори: най-вероятно би било по-добре.
След това идва етап на реконструкция на полученото изображение. Фактът, че излиза намазан, е разбираем - въпросът е в същото измерение на латентното пространство. Но тук две неща бъркат.
Първият е, че оригиналните и реконструирани изображения са много сходни помежду си. Тук, разбира се, не искам да разстройвам никого (включително и себе си - все още сме за напредък), но това не се дължи на факта, че сигналът е толкова добре записан и декодиран (и дори в реално време!), Но поради факта, че алгоритъмът възстановява точно изображенията, които вече е имал.
Освен това, това не винаги работи толкова добре, колкото бихме искали: ако например погледнете видеото на работата на системата, ще забележите, че във видеото с плачащ мъж невронният интерфейс по някаква причина вижда жена. Това е така, защото алгоритъмът не реконструира изображения, а обекти от определен клас: дори и да го прави достатъчно ефективно, нищо не пречи на алгоритъма да вижда лодка в образа на мотоциклет - просто защото те принадлежат към един и същи клас.
Следователно това, което се появява на екрана по време на реконструкцията, често е просто средно изображение на всички използвани класови обекти.
Що се отнася до смисъла на използването на затворена система, тогава с нея всичко не е много ясно: когато изпълнява задача, човек вижда едновременно запис на ЕЕГ сигнали и изображение, което постепенно излиза от главата му. Дали това всъщност помага е трудно да се каже - авторите не са сравнявали работата на интерфейса с и без подсилване. Но на пръв поглед изглежда, че всъщност не. Ако това помогне, наистина искам да знам как.
Като цяло можем спокойно да заключим, че компютрите не са се научили да четат мисли. И дори не се научиха как да пресъздават видеоклипа. Всичко, което са се научили да правят, въз основа на работата на учените, е да класифицират обектите, които са видели, в пет класа въз основа на някои основни критерии. Могат ли компютрите да правят това преди? Разбира се, че можеха. Има ли мозък тук? Разбира се, че има: но мозъкът вижда, а не мозъкът, който разбира какво точно е видял.
Елизавета Ивтушок
