Cerebras Systems, млада компания за изкуствен интелект, е готова да покаже на света Cerebras WSE (Cerebras Wafer Scale Engine) - най-големият, най-мощният и най-умният полупроводников чип в историята.
Cerebras WSE има 1,2 трилиона транзистора, основни електронни превключватели, които са градивните елементи на силиконовите чипове. За сравнение, първият процесор 4004 на Intel, пуснат през 1971 г., имаше 2300 транзистора, докато последният процесор Advanced Micro Devices има 32 милиарда транзистора. Въпросът тук обаче изобщо не е в броя на транзисторите.
Повечето чипове в света всъщност са набор от чипове, създадени на базата на 12-инчова силиконова вафла - те се произвеждат в специални фабрики в огромни партиди. Но чипът на Cerebras Systems е 400 000 ядра, свързани на една плоча. Връзките са проектирани да работят с висока скорост, поради което трилион транзистори работят заедно като един. Но това не е всичко.
Към днешна дата най-големият чип в света е създаден от Samsung - структурата му е изградена на 2 трилиона транзистора. Чипът на Samsung обаче е просто огромна карта с памет, а чипът Cerebras е най-сложната невронна мрежа, специално създадена за обучение на изкуствен интелект. Чипът Cerebras може да се похвали с 400 000 ядра в 42,225 квадратни милиметра. Това е 56,7x по-голямо от най-големия GPU на Nvidia със само 21,1 милиарда транзистори.
Друга особеност на Cerebras WSE е, че чипът е проектиран да бъде маршрутизиран около дефектни зони.
Не е възможно да се усъвършенства цялата силициева вафла по време на производството на чипове, така че производственият процес създава области, които са неизползваеми. Nvidia, Intel и други производители на чипове преодоляват проблема просто: Издълбават „правилните“чипове в производствената вафла и изхвърлят останалите. Но това не може да се направи, ако всеки чип от силиконовата вафла е част от обща схема. Следователно Cerebras трябваше да изгради излишни вериги, така че в случай на повреда или изгаряне на една от тях, останалите да поемат функциите му. Тоест, всъщност чипът Cerebras е миниатюрен интернет със собствени сървъри и работни станции. И всички тези станции са проектирани да обслужват един изкуствен интелект.
Компаниите, разработващи собствен AI, днес са основните потребители на чип технологията, купувайки части в огромни количества. А размерът на използваните чипове е от критично значение в процеса на обучение AI.
Промоционално видео:
Google, Facebook, OpenAI, Tencent, Baidu и много други твърдят, че основното ограничение на съвременния AI е, че отнема твърде много време за обучение на модели. Например суперкомпютърът на Nvidia, съставен от десетки най-съвременни графични процесори, прекарва няколко седмици за настройване на кода - тоест за изучаване на неутронната мрежа.
Решението на проблема би било да се увеличи броят на чиповете в компютъра, обаче, когато са сглобени повече от осем чипа, работата на компютъра вече не се увеличава, а намалява, тъй като по време на обмена на информация се натрупват грешки.
Самите разработчици описват своя проект по следния начин: „Най-трудната част за AI е движението на данни. Обучението на невронна мрежа изисква хиляди операции да се извършват паралелно в даден момент и чиповете трябва постоянно да комуникират, докато извършват тези паралелни операции. Но компютрите с множество ИС се разпадат, опитвайки се да прехвърлят данни между ИС по бавни проводници, които ги свързват заедно на печатна платка. Трябваше ви нещо, което да може да мести данни със скоростта на самия чип. Решението беше да вземете най-голямата чиния, която можете да намерите, и да изрежете от нея най-големия чип."
Паметта е ключов компонент на всяка компютърна архитектура. Паметта по-близо до изчислителните единици осигурява по-бързи изчисления, по-ниска латентност и по-добра енергийна ефективност при преместване на данни. Въпреки това размерът на матрицата е ограничен и по-голямата част от паметта в компютъра е извън матрицата. Cerebras Systems заобиколи този проблем, като предостави на всяко ядро достъп до 18 гигабайта вътрешна памет. В резултат на това, ваферният скален двигател Cerebras има 3000 пъти повече вградена памет от най-модерния графичен процесор, като същевременно предоставя 10 000 пъти повече честотна лента.
Първите проби от новия чип ще бъдат пуснати в продажба през септември, докато Cerebras Systems, като наруши всички съществуващи правила на компютърната индустрия, също наруши принципа за разделяне на производството на изчислителни единици и чипове. Ваферният скален двигател Cerebras ще бъде пуснат на пазара като единично, проектирано от компанията устройство, интегрирано в сложна мрежа за водно охлаждане, тъй като чипът генерира екстремна топлина, изразходвайки 15 киловата в толкова малка площ.
Основателят и изпълняващ длъжността главен изпълнителен директор на Cerebras Systems казва: „Създаден от самото начало да работи с AI, Cerebras WSE съдържа фундаментални иновации, които най-накрая пречупват десетилетия стагнация на съвременното състояние на техниката. В резултат на това Cerebras WSE осигурява стотици или хиляди пъти над съвременните модулни решения. И всичко това със смешна консумация на енергия и малко място “.
Редакционен коментар
Първите AI тестове, базирани на Cerebras WSE, показват, че задачите, които топ AI от Nvidia решава седмици и месеци, Cerebras WSE решава в рамките на минута, което, както изглежда, е причина за радост. Теоретиците на конспирацията обаче имат малка радост в това отношение.
Всички си спомняме (във всеки случай по-старото поколение на нашите читатели) компютърния бум на модела „дръзки 90-те“, когато след няколко години силата на компютрите скочи с порядък. Не след дълго човек, излъчен от гордост, купи компютър с 16 мегабайта памет, когато след кратко време тази памет се премести в кеша на L2.
От началото на 2000-те обаче компютърната индустрия сякаш спря: ако компютрите от моделите от 1990 и 2000 г. не бяха сравними, тогава нямаше особена разлика между компютрите от моделите за 2000 и 2010 г. - мощността се увеличи значително, но не и с порядък на величината. И сега сме свидетели на раждането на втория Intel 8086 и сега възможностите на линията Cerebras WSE ще скочат със същото темпо: всички проблеми с примесите и основните връзки вече са разрешени.
Ние не знаем всички възможности на съвременния AI от водещи производители, но според общото мнение тези продукти все още не са AI и все още са далеч от пълноценното мислещо устройство. Независимо от това, Cerebras WSE направи не само крачка в правилната посока, но скочи десет години, ако не и повече напред, а сега SkyNet вече е доста предвидима перспектива, която може да бъде реализирана тази година през 2025 година.
Освен това в SkyNet, за разлика от скучния хомосапиенс, не е необходимо много време за по-нататъшно развитие: невронната мрежа просто трябва да започне да мисли малко самостоятелно - и тя се променя в миг, след което започва ядрена война или нещо подобно. И пак ще бъде много добър вариант.
Когато флаш устройство с трилиона транзистора е направено от Samsung или Nvidia, всичко това все още може да се обясни по някакъв начин, тъй като логическите схеми на паметта са сравнително прости и от един и същ тип почти в цялата област. Но развитието на 400 000 ядра, които орат по едно и също време, има и някои дублирания, както и някои сървърни станции и по дяволите знае какво. И вие също трябва да напишете контролни програми за това, които се пишат от години. Тогава програмите трябва да бъдат тествани. Но върху какво са тествани, ако устройството е направено едва сега?
С други думи, изглежда, че „марсианците“отново са отворили кошчетата си за местните туземци. И има големи съмнения, че това е направено с цел да се угоди на геймърите - най-вероятно тук има някаква друга задача. И ни се струва така.
През последните десетилетия умните хора все по-често си задават въпроса за произхода на електронните технологии, въпроса за универсалното чипизиране, което не е ясно защо е необходимо и т.н. За да успеят по някакъв начин да заблудят мозъка си, те измислиха приказка за „квантов компютър“, чиито принципи не се разбират дори от хора, назначени на официалните „разработчици“. А сега си представете ужаса на обикновената мексиканска домакиня, чийто нов мобилен телефон не само ще мисли по-добре от нея, но и ще носи на борда си някакъв „квантов компютър“. Тоест, подобен глупак е неприемлив за местните туземци - те ще започнат да полудяват на коледа.
Затова някои умни „марсианци“решиха да покажат на двуногите аборигени на планетата Земя по-просто чудо - принципите, на които старейшините от НАСА могат поне по някакъв начин да обяснят. И ако местните приемат приказката, тогава „марсианците“ще покажат на народите други вълшебни чудеса. Например, те ще хвърлят този Cerebras WSE в мобилен телефон и ще го продадат за сто долара. За купувачите на модни джаджи това, разбира се, ще бъде много готино и добро, но хората ще помислят малко по-умно: какво тогава има в сървърните стаи на различни сериозни организации, например като НСА, ФБР и ЦРУ? Какви са възможностите за контрол на мислите и поведението на населението?