На западния бряг на Америка най-ценните компании в света се опитват да направят изкуствения интелект по-интелигентен. Google и Facebook се хвалят с експерименти, използващи милиарди снимки и хиляди високопроизводителни процесори. Но в края на миналата година проект в източен Тенеси тихо надмина мащаба на всяка корпоративна AI лаборатория. И то беше управлявано от правителството на САЩ.
Правителственият суперкомпютър на САЩ счупи рекордите
Рекордният проект включваше най-мощния суперкомпютър в света - Summit, в Националната лаборатория Oak Ridge. Този автомобил спечели короната миналия юни, връщайки титлата на САЩ пет години по-късно, когато Китай оглави списъка. Като част от проект за климатични изследвания, гигантски компютър стартира експеримент за машинно обучение, който беше по-бърз от всякога.
На срещата на върха, която обхваща област, еквивалентна на два тенис корта, бяха използвани повече от 27 000 мощни GPU в този проект. Той използва силата им, за да обучава алгоритми за дълбоко обучение, самата технология, която е в основата на напредналия изкуствен интелект. При задълбоченото учене алгоритмите изпълняват упражнения с милиард милиарда операции в секунда, известни в суперкомпютърните кръгове като екзафлоп.
„Дълбокото обучение никога досега не е постигнало това ниво на работа“, казва Прабхат, ръководител на изследователския екип в Националния център за енергийни изследвания в Националната лаборатория Лорънс Бъркли. Екипът му си сътрудничи с изследователи в централата на Summit, Националната лаборатория Oak Ridge.
Както може би се досещате, AI обучението на най-мощния компютър в света се фокусира върху едно от най-големите предизвикателства в света - изменението на климата. Техническите компании обучават алгоритми за разпознаване на лица или пътни знаци; правителствените учени са ги обучили да разпознават метеорологични модели като циклони от климатичните модели, които компресират стогодишни прогнози за земната атмосфера за три часа. (Не е ясно обаче колко енергия изисква проектът и колко въглерод се отделя във въздуха в този процес).
Промоционално видео:
Експериментът на върха има значение за бъдещето на изкуствения интелект и климатологията. Проектът демонстрира научния потенциал за адаптиране на дълбокото обучение към суперкомпютри, които традиционно симулират физически и химични процеси, като ядрени експлозии, черни дупки или нови материали. Освен това показва, че машинното обучение може да се възползва от повече изчислителни сили - ако можете да го намерите - и да осигури пробив в бъдеще.
„Не знаехме, че може да се направи в този мащаб, докато не го направим“, казва Раят Монга, главен технически директор в Google. Той и други Googlers помогнаха на проекта, като приспособиха отворения код на TensorFlow за машинно обучение за гигантския мащаб на Summit.
Голяма част от работата по дълбокото учене е извършена в центровете за данни на интернет компаниите, където сървърите работят заедно по проблеми, разделяйки ги, защото са сравнително разединени, а не свързани в един гигантски компютър. Суперкомпютрите като Summit имат различна архитектура, със специализирани високоскоростни връзки, свързващи хилядите си процесори в една единствена система, която може да работи като цяло. Доскоро имаше сравнително малко работа по адаптирането на машинното обучение за работа с този вид хардуер.
Монга казва, че работата по адаптиране на TensorFlow към средната среща на върха също ще подкрепи усилията на Google да разшири своите системи за изкуствен интелект. Инженерите на Nvidia също участваха в този проект, като се увериха, че десетки хиляди графични процесори на Nvidia в тази машина работят без проблем.
Намирането на начини за извличане на повече изчислителна мощ в алгоритмите за задълбочено обучение е от съществено значение за съвременното развитие на технологиите. Същата технология, която Siri използва за разпознаване на глас, а автомобилите Waymo за четене на пътни знаци стана полезна през 2012 г., след като учените я адаптираха да работи на графични процесори на Nvidia.
В анализ, публикуван миналия май, учените от OpenAI, изследователски институт в Сан Франциско, основан от Илон Мъск, изчислиха, че количеството на изчислителната мощност в най-големите експерименти за обществено машинно обучение се е удвоило приблизително на всеки 3,43 месеца от 2012 г. насам; това би представлявало 11-кратно увеличение за година. Тази прогресия помогна на бота Alphabet да победи шампионите в предизвикателни настолни и видео игри, а също така значително подобри точността на преводача на Google.
Понастоящем Google и други компании създават нови видове чипове с активиран AI, за да продължат тази тенденция. Google казва, че шушулки с хиляди свои AI чипове, тясно разположени - дублирани тензорни процесори или TPU - могат да осигурят 100 петафлопа с процесна мощност, една десета от скоростта, постигната от Summit.
Приносът на върха в науката за климата показва как гигантският ИИ може да подобри разбирането ни за бъдещите метеорологични условия. Когато изследователите генерират вековни прогнози за времето, четенето на получената прогноза става предизвикателно. „Представете си, че имате филм в YouTube, който работи 100 години. Няма начин ръчно да намерите всички котки и кучета в този филм “, казва Прабхат. Обикновено се използва софтуер за автоматизиране на този процес, но той не е перфектен. Резултатите от срещата показаха, че машинното обучение може да направи това много по-добре, което трябва да помогне за прогнозиране на бури като наводнения.
Според Майкъл Притчард, професор в Калифорнийския университет в Ървайн, стартирането на задълбочено обучение на суперкомпютри е сравнително нова идея, която дойде в удобно време за изследователите на климата. Забавянето на напредъка на традиционните процесори накара инженерите да оборудват суперкомпютрите с все по-голям брой графични чипове, за да подобрят по-последователно работата. „Дойде моментът, в който вече не можете да увеличите мощността на обработката по обичайния начин“, казва Притчард.
Тази промяна спря традиционното моделиране и следователно трябваше да се адаптира. Той също така отваря вратата за използване на силата на дълбокото обучение, което естествено се поддава на графични чипове. Може би ще получим по-ясна картина за бъдещето на нашия климат.
Иля Кел