Отделът за изкуствен интелект на Google обяви създаването на нов метод за обучение на невронни мрежи, съчетаващ използването на усъвършенствани алгоритми и стари видеоигри. Старите видео игри Atari се използват като среда за обучение.
Разработчиците на DeepMind (припомнете си, че тези хора създадоха невронната мрежа AlphaGo, която многократно побеждаваше най-добрите играчи в логическата игра на движение) вярват, че машините могат да се учат по същия начин като хората. Използвайки DMLab-30 система за обучение, базирана на стрелеца Quake III и аркадни игри Atari (използвани са 57 различни игри), инженерите са разработили нов алгоритъм за машинно обучение на IMPALA (Importance Weighted Actor-Learner Architectures). Тя позволява на отделните части да се научат как да изпълняват няколко задачи наведнъж и след това да обменят знания помежду си.
В много отношения новата система се основаваше на по-ранната архитектурна система за асинхронни акторно-критични агенти (A3C), в която отделни агенти изследват средата, след това процесът е на пауза и те обменят знания с централния компонент, „ученика“. Що се отнася до IMPALA, тя може да има повече агенти, а самият процес на обучение протича по малко по-различен начин. В него агентите изпращат информация до двама „студенти“наведнъж, които след това също обменят данни помежду си. Освен това, ако в A3C изчисляването на градиента на функцията на загуба (с други думи, несъответствието между прогнозираните и получените стойности на параметрите) се извършва от самите агенти, които изпращат информация в централното ядро, то в системата IMPALA тази задача се извършва от „студенти“.
Пример за човек, който играе през играта:
Ето как системата IMPALA се справя със същата задача:
Едно от основните предизвикателства при разработването на ИИ е времето и необходимостта от висока компютърна мощност. Дори когато са автономни, машините се нуждаят от правила, които могат да следват в собствените си експерименти и намиране на начини за решаване на проблеми. Тъй като не можем просто да създадем роботи и да ги оставим да се учат, разработчиците използват симулации и техники за дълбоко обучение.
За да могат съвременните невронни мрежи да научат нещо, те трябва да обработват огромно количество информация, в случая милиарди кадри. И колкото по-бързо го правят, толкова по-малко време отнема да се научи.
Промоционално видео:
С достатъчно процесори DeepMind казва, че IMPALA постига 250 000 кадъра в секунда или 21 милиарда кадъра на ден. Това е абсолютен рекорд за подобни задачи, според The Next Web. Самите разработчици коментират, че AI системата им се справя по-добре със задачата от подобни машини и хора.
В бъдеще подобни роботи на AI алгоритми могат да се използват в роботиката. Чрез оптимизиране на системите за машинно обучение роботите ще се адаптират по-бързо към средата си и ще работят по-ефективно.
Николай Хижняк