Невронните мрежи са мощни неща, но много ненаситни. Инженерите от Масачузетския технологичен институт (MIT) успяха да разработят нов чип, който намалява консумацията на енергия на невронната мрежа с 95%, което на теория би могло да им позволи да работят дори на мобилни устройства с батерии. Смартфоните стават все по-умни и по-интелигентни в наши дни, предлагайки повече услуги, работещи с AI като виртуални асистенти и преводи в реално време. Но обикновено невронните мрежи обработват данни за тези услуги в облака, а смартфоните предават данни само напред и назад.
Това не е идеално, тъй като изисква дебел комуникационен канал и предполага, че чувствителните данни се предават и съхраняват извън обсега на потребителя. Но колосалните количества енергия, необходими за захранване на невронни мрежи, захранвани от графични процесори, не могат да бъдат осигурени в устройство, работещо на малка батерия.
Инженерите на MIT са разработили чип, който може да намали тази консумация на енергия с 95%. Чипът драстично намалява необходимостта от прехвърляне на данни напред и назад между паметта на чипа и процесорите.
Невронните мрежи са съставени от хиляди взаимосвързани изкуствени неврони, подредени на слоеве. Всеки неврон получава вход от няколко неврона в подлежащия слой и ако комбинираният вход премине определен праг, той предава резултата на няколко неврона по-горе. Силата на връзката между невроните се определя от теглото, което се установява по време на тренировъчния процес.
Това означава, че за всеки неврон чипът трябва да извлече от паметта входа за конкретна връзка и теглото на връзката, да ги умножи, да съхранява резултата и след това да повтори процеса за всеки вход. Тук и там пътуват много данни и се губи много енергия.
Новият чип MIT елиминира това, като изчислява паралелно всички входове в паметта, използвайки аналогова схема. Това значително намалява количеството данни, което трябва да бъде изпреварено и води до значителни икономии на енергия.
Този подход изисква тежестта на връзките да бъде двоична, а не диапазон, но предишната теоретична работа показа, че това няма да повлияе значително на точността и учените откриха, че резултатите от чипа се различават с 2-3% от обичайната версия на невронната мрежа, работеща на стандартен компютър.
Това не е първият път, в който учените създават чипове, които обработват процеси в паметта, намалявайки консумацията на енергия на невронна мрежа, но това е първият път, когато този подход е използван за работа на мощна невронна мрежа, известна с обработката на изображенията си.
Промоционално видео:
„Резултатите показват впечатляващи спецификации за енергийно ефективното изпълнение на подвижните операции в масив от памет“, каза Дарио Гил, вицепрезидент по изкуствен интелект в IBM.
"Това определено отваря възможности за използване на по-сложни конволюционни невронни мрежи за класифициране на изображения и видеоклипове в Интернет на нещата в бъдеще."
И това е интересно не само за R&D групи. Желанието да се постави AI на устройства като смартфони, домакински уреди и всички видове IoT устройства тласка много в Силиконовата долина към чипове с ниска мощност.
Apple вече е интегрирала своя Neural Engine в iPhone X, за да захранва например технология за разпознаване на лица, а Amazon се носи слух, че разработва свои собствени AI чипове за следващото поколение цифрови асистенти Echo.
Големите компании и производителите на чипове също все повече разчитат на машинно обучение, което ги принуждава да направят своите устройства още по-енергийно ефективни. По-рано тази година ARM представи два нови чипа: процесора за машинно обучение Arm, който се справя с общи задачи на AI от превод до разпознаване на лице, и процесора за разпознаване на оръжия Arm, който например открива лица в изображения.
Най-новият мобилен чип на Qualcomm, Snapdragon 845, има графичен процесор и е силно задвижван от AI. Компанията също представи Snapdragon 820E, който трябва да работи в дронове, роботи и промишлени устройства.
Гледайки напред, IBM и Intel разработват невроморфни чипове с архитектура, вдъхновена от човешкия мозък и невероятна енергийна ефективност. Това теоретично би могло да позволи на TrueNorth (IBM) и Loihi (Intel) да извършат мощно машинно обучение, използвайки само част от мощността на конвенционалните чипове, но тези проекти все още са силно експериментални.
Ще бъде много трудно да принудите чиповете, които дават живот на невронните мрежи, за да спестят енергия от батерията. Но при сегашните темпове на иновации, това "много трудно" изглежда доста възможно.
Иля Кел