Веднага, когато д-р Блейк Ричардс чу за задълбочено обучение, разбра, че е изправен пред нещо повече от просто метод, който ще направи революция на изкуствения интелект. Разбра, че гледа на нещо основно от човешкия мозък. Беше началото на 2000-те и Ричардс преподава курс в университета в Торонто с Джеф Хинтън. На Хинтън, който стоеше зад създаването на алгоритъма, завладял света, беше предложен въвеждащ курс за неговия метод на преподаване, вдъхновен от човешкия мозък.
Ключовите думи тук са „вдъхновени от мозъка“. Въпреки убеждението на Ричардс, залогът се игра срещу него. Човешкият мозък, както се оказа, няма важна функция, която е програмирана в алгоритмите за задълбочено обучение. На повърхността тези алгоритми нарушават основни биологични факти, вече доказани от невролозите.
Но какво, ако дълбокото учене и мозъкът са действително съвместими?
И така, в ново проучване, публикувано в eLife, Ричардс, работещ с DeepMind, предложи нов алгоритъм, основан на биологичната структура на невроните в неокортекса. Кората на главния мозък е дом на по-високи познавателни функции като разсъждения, прогнозиране и гъвкаво мислене.
Екипът комбинира изкуствените си неврони в слоеста мрежа и го предизвика пред задачата на класическото компютърно зрение - да идентифицира ръкописни числа.
Новият алгоритъм свърши отлична работа. Но е важно и друго: той анализира примери за учене по същия начин, както правят алгоритмите за задълбочено обучение, но е изграден изцяло върху фундаменталната биология на мозъка.
„Възможно е задълбочено обучение в биологична структура“, заключават учените.
Тъй като този модел в момента е компютърна версия, Ричардс се надява да предаде щафетата на експериментални невролози, които биха могли да проверят дали подобен алгоритъм работи в истински мозък.
Промоционално видео:
Ако е така, данните могат да бъдат подавани на компютърните учени, за да разработят масово паралелни и ефективни алгоритми, по които нашите машини ще работят. Това е първата стъпка към сливането на двете области във „добродетелен танц“на откриване и иновации.
Намиране на изкупителната жертва
Въпреки че вероятно сте чували, че AI наскоро победи най-добрите от най-добрите в Go, едва ли знаете как точно работят алгоритмите зад този AI.
С две думи, дълбокото обучение се основава на изкуствена невронна мрежа с виртуални "неврони". Подобно на високия небостъргач, мрежата е структурирана в йерархия: входни процеси на неврони с ниско ниво - например хоризонтални или вертикални ленти, съставляващи числото 4 - и невроните от високо ниво обработват абстрактни аспекти на числото 4.
За да обучите мрежата, давате й примери за това, което търсите. Сигналът се разпространява през мрежата (изкачва се по стъпалата на сградата) и всеки неврон се опитва да види нещо фундаментално в работата на "четиримата".
Докато децата учат нови неща, в началото мрежата не се справя добре. Тя раздава всичко, което според нея изглежда като номер четири - и получавате изображения в духа на Пикасо.
Но точно така протича обучението: алгоритъмът съответства на изхода с идеалния вход и изчислява разликата между двете (прочетете: грешки). Грешките „се разпространяват обратно“през мрежата, тренират всеки неврон, казват, това не е това, което търсите, погледнете по-добре.
След милиони примери и повторения, мрежата започва да работи безупречно.
Сигналът за грешка е изключително важен за ученето. Без ефективно „обратно разпространение на грешки“мрежата няма да знае кои от нейните неврони грешат. В търсене на изкупителна жертва изкуственият интелект се подобрява.
Мозъкът също го прави. Но как? Нямаме представа.
Биологична задънена улица
Очевидното е, че решението за дълбоко обучение не работи.
Обратното разпространение на грешка е изключително важна характеристика. Тя изисква определена инфраструктура, за да работи правилно.
Първо, всеки неврон в мрежата трябва да получи съобщение за грешка. Но в мозъка невроните са свързани само с няколко (ако има такива) партньори надолу по веригата. За да функционира обратното размножаване в мозъка, невроните на първите нива трябва да възприемат информация от милиарди връзки в низходящите канали - и това е биологично невъзможно.
И докато някои алгоритми за задълбочено обучение адаптират локална форма на разпространение на грешки - по същество между невроните - това изисква връзките им назад и напред да са симетрични. В синапсите на мозъка това почти никога не се случва.
По-съвременните алгоритми адаптират малко по-различна стратегия, като прилагат отделен път за обратна връзка, който помага на невроните да откриват грешки на местно ниво. Макар това да е по-биологично възможно, мозъкът няма отделна изчислителна мрежа, посветена на намирането на изкупителни жертви.
Но има неврони със сложни структури, за разлика от хомогенните „топки“, които в момента се използват в задълбоченото обучение.
Разклоняване на мрежи
Учените черпят вдъхновение от пирамидалните клетки, които изпълват човешката кора.
„Повечето от тези неврони са оформени като дървета, като техните„ корени “са дълбоко в мозъка, а„ клоните “излизат на повърхността“, казва Ричардс. „Забележително е, че корените получават един набор от входове и клоните се различават.“
Любопитно е, но често структурата на невроните се оказва „точно според нуждите“за ефективно решение на един изчислителен проблем. Вземете например сензорна обработка: дъната на пирамидалните неврони са там, където трябва да бъдат сензорни входове, а върховете са удобно разположени за предаване на грешки чрез обратна връзка.
Може ли тази сложна структура да бъде еволюционно решение за справяне с грешен сигнал?
Учените създадоха многослойна невронна мрежа въз основа на предишни алгоритми. Но вместо хомогенни неврони, те й дадоха неврони в средните слоеве - притиснати между вход и изход - подобни на реалните. Учейки се от ръкописни числа, алгоритъмът се представи много по-добре от еднослойна мрежа, въпреки липсата на класическото обратно разпространение на грешката. Самите клетъчни структури биха могли да идентифицират грешката. Тогава, в точния момент, невронът комбинира и двата източника на информация, за да намери най-доброто решение.
За това има биологична основа: невролозите отдавна знаят, че входните клонове на неврона извършват локални изчисления, които могат да бъдат интегрирани със сигнали за обратно размножаване от изходните клонове. Но ние не знаем дали мозъкът наистина работи по този начин - така Ричардс възложи на невролозите да разберат.
Освен това тази мрежа се справя с проблема по сходен начин с традиционния метод за дълбоко обучение: използва слоеста структура, за да извлича постепенно по-абстрактни идеи за всяко число.
„Това е характеристика на задълбоченото учене“, обясняват авторите.
Дълбоко учене мозък
Без съмнение ще има повече обрати в тази история, тъй като компютърните учени въвеждат повече биологични детайли в алгоритмите на ИИ. Ричардс и неговият екип разглеждат функцията за предсказване отгоре надолу, където сигналите от по-високи нива директно влияят на това как ниските нива реагират на входа.
Обратната връзка от по-високите слоеве не само подобрява сигнализирането за грешки; той също може да насърчи по-ниско обработените неврони да се представят по-добре в реално време, казва Ричардс. Досега мрежата не е превъзхождала други небиологични мрежи за задълбочено обучение. Но няма значение.
„Дълбокото обучение е оказало огромно влияние върху AI, но досега влиянието му върху невронауката е ограничено“, казват авторите на изследването. Сега невролозите ще имат извинение да проведат експериментален тест и да установят дали структурата на невроните е в основата на естествения алгоритъм на задълбоченото обучение. Може би в следващите десет години ще започне взаимно изгоден обмен на данни между невролозите и изследователите на изкуствения интелект.
Иля Кел