През последните 10 години, благодарение на така наречения метод на дълбоко обучение, получихме най-добрите системи за изкуствен интелект - например разпознавачи на реч на смартфони или най-новия автоматичен преводач от Google. Дълбокото обучение всъщност се превърна в нова тенденция във вече известните невронни мрежи, които са на мода и излизат повече от 70 години. Невронните мрежи са предложени за първи път от Уорън Маккулоу и Уолтър Питс през 1994 г., двама изследователи от Чикагския университет. През 1952 г. те отиват да работят в Масачузетския технологичен институт, за да поставят основите на първия отдел по познание.
Невронните мрежи бяха една от основните направления на изследванията както в невронауката, така и в компютърните науки до 1969 г., когато според легендите те бяха убити от математиците от MIT Марвин Мински и Сиймор Паперт, които година по-късно станаха съучастници в новата лаборатория за изкуствен интелект на MIT.
Този метод преживява възраждане през 80-те години на миналия век, леко избледнява в сенките през първото десетилетие на новия век и се връща с фанфари през второто, на гребена на невероятното развитие на графичните чипове и тяхната обработваща мощ.
"Има схващане, че идеите в науката са като епидемии от вируси", казва Томазо Поджо, професор по когниция и мозъчни науки в MIT. „Вероятно има пет или шест основни щама на грипни вируси и един от тях се връща със завидна 25-годишна скорост. Хората се заразяват, придобиват имунитет и не се разболяват през следващите 25 години. Тогава се появява ново поколение, готово да бъде заразено със същия щам на вируса. В науката хората се влюбват в една идея, тя подлудява всички луди, после я побеждават до смърт и придобиват имунитет към нея - уморяват се от нея. Идеите трябва да имат подобна честота."
Тежки въпроси
Невронните мрежи са метод за машинно обучение, при който компютър се научава да изпълнява определени задачи чрез анализ на примери за обучение. Обикновено тези примери се маркират ръчно предварително. Например система за разпознаване на обекти може да накисне хиляди маркирани изображения на коли, къщи, чаши за кафе и т.н., и след това да бъде в състояние да намери визуални модели в онези изображения, които последователно корелират с определени тагове.
Невронната мрежа често се сравнява с човешкия мозък, който също има такива мрежи, състоящ се от хиляди или милиони прости обработващи възли, които са тясно свързани помежду си. Повечето съвременни невронни мрежи са организирани в слоеве от възли и данните преминават през тях само в една посока. Отделен възел може да бъде свързан с няколко възли в слоя под него, от който той получава данни, и няколко възли в слоя по-горе, до който предава данни.
Промоционално видео:
Възелът присвоява номер на всяка от тези входящи връзки - "тегло". Когато мрежата е активна, възелът получава различни набори данни - различни числа - за всяка от тези връзки и се умножава по съответното тегло. След това той добавя резултатите, за да образува едно число. Ако този номер е под прага, възелът не предава данни на следващия слой. Ако числото надвиши прага, възелът се "събужда", като изпраща номера - сумата от претеглените входни данни - до всички изходящи връзки.
Когато се тренира невронна мрежа, всички нейни тегла и прагове първоначално се задават в произволен ред. Данните за обучение се подават в долния слой - входния слой - и преминават през следващите слоеве, като се умножават и сумират по сложен начин, докато накрая пристигнат, вече трансформирани, в изходния слой. По време на тренировката тежестите и праговете се коригират непрекъснато, докато данните за тренировките със същите етикети не дават подобни заключения.
Ум и машини
Невронните мрежи, описани от Маккулоу и Питс през 1944 г., имаха както прагове, така и тегла, но не бяха организирани на слоеве и учените не посочиха конкретен механизъм на обучение. Но McCullough и Pitts показаха, че невронната мрежа по принцип може да изчисли всяка функция, като всеки цифров компютър. Резултатът беше повече от областта на невронауката, отколкото на компютърните науки: трябваше да се предположи, че човешкият мозък може да се разглежда като изчислително устройство.
Невронните мрежи продължават да бъдат ценен инструмент за невробиологични изследвания. Например, отделни слоеве от мрежата или правила за регулиране на тегла и прагове възпроизвеждат наблюдаваните характеристики на невроанатомията и когнитивните функции на човека и следователно влияят върху начина, по който мозъкът обработва информацията.
Първата обучима невронна мрежа, Perceptron (или Perceptron), е демонстрирана от психолога от университета Cornell Франк Розенблат през 1957 г. Дизайнът на Perceptron беше подобен на модерна невронна мрежа, с изключение на това, че имаше един слой с регулируеми тегла и прагове, притиснати между входния и изходния слой.
"Perceptrons" са активно изследвани в психологията и компютърните науки до 1959 г., когато Мински и Паперт издават книга, наречена "Perceptrons", която показва, че правенето на доста конвенционални изчисления на perceptrons е непрактично от гледна точка на времето.
"Разбира се, всички ограничения изчезват, ако направите машините малко по-сложни", например, на два слоя ", казва Поджио. Но по онова време книгата имаше смразяващ ефект върху изследванията на невронните мрежи.
„Тези неща си струва да се разгледат в исторически контекст“, казва Поджио. „Доказателството е създадено за програмиране на езици като Lisp. Не много преди това хората спокойно използваха аналогови компютри. Тогава не беше напълно ясно до какво ще доведе програмирането. Мисля, че са го прекалили малко, но както винаги, не можете да разделите всичко на черно и бяло. Ако мислите за това като конкуренция между аналогови и цифрови изчисления, тогава те се бориха за това, което е необходимо."
периодичност
Към 80-те години обаче учените са разработили алгоритми за промяна на теглата и праговете на невронната мрежа, които са достатъчно ефективни за мрежи с повече от един слой, премахвайки много от ограниченията, идентифицирани от Мински и Паперт. Тази област е преживяла Ренесанс.
Но от разумна гледна точка нещо липсваше в невронните мрежи. Достатъчно дълго обучение може да доведе до преразглеждане на мрежовите настройки, докато не започне да класифицира данните по полезен начин, но какво означават тези настройки? Какви характеристики на изображението разглежда разпознаващият обект и как ги събира, за да образува визуални подписи на коли, къщи и чаши кафе? Проучване на теглото на отделните съединения няма да отговори на този въпрос.
През последните години компютърните учени започнаха да измислят гениални методи за определяне на аналитичните стратегии, приети от невронните мрежи. Но през 80-те години стратегиите на тези мрежи бяха неразбираеми. Следователно, в началото на века, невронните мрежи бяха заменени от векторни машини, алтернативен подход към машинното обучение, основан на чистата и елегантна математика.
Неотдавнашният ръст на интереса към невронните мрежи - дълбоката учебна революция - се дължи на игралната индустрия. Сложната графика и бързият темп на съвременните видео игри изискват хардуер, който може да бъде в крак с тенденцията, което води до GPU (графичен процесор) с хиляди сравнително прости ядра за обработка на един чип. Учените скоро разбраха, че GPU архитектурата е идеална за невронни мрежи.
Съвременните графични процесори направиха възможно изграждането на мрежи от 60-те и дву- и трислойните мрежи от 80-те години в групи от 10-, 15- и дори 50-слойни мрежи днес. За това е отговорна думата „дълбоко“при „задълбочено учене“. До дълбочината на мрежата. Понастоящем задълбоченото обучение е отговорно за най-ефективните системи в почти всички области на изследванията за изкуствен интелект.
Под капака
Непрозрачността на мрежата все още притеснява теоретиците, но на този фронт има напредък. Поджио води изследователска програма за теоретичните основи на интелигентността. Наскоро Поджио и неговите колеги пуснаха теоретично проучване на невронните мрежи в три части.
Първата част, публикувана миналия месец в International Journal of Automation and Computing, е насочена към обхвата на изчисленията, които могат да правят дълбоките мрежи за обучение и когато дълбоките мрежи се възползват от плитките. Части втора и трета, които бяха публикувани като лекции, са насочени към предизвикателствата на глобалната оптимизация, тоест гарантиране, че мрежата ще намери настройките, които най-добре отговарят на нейните данни за обучение, и когато мрежата разбира толкова добре спецификата на своите данни за обучение. което не може да обобщи други прояви на същите категории.
Предстоят още много теоретични въпроси, отговорите на които ще трябва да бъдат дадени. Но има надежда, че най-накрая невронните мрежи ще успеят да прекъснат цикъла от поколения, които ги потопят в топлина, а понякога и студ.
ИЛЯ КХЕЛ
