Полето на изкуствения интелект често се сравнява с петролната индустрия: веднъж извлечени и усъвършенствани, данните, като нефта, могат да станат много печеливша стока. Обаче вече става очевидно, че тази метафора се разширява. Подобно на изкопаемите горива, дълбокото обучение има огромно влияние върху околната среда. В ново проучване учени от университета в Масачузетс Амхерст оцениха учебния жизнен цикъл на няколко често срещани големи ИИ модела.
Той установи, че този процес може да генерира над 626 000 паунда (около 300 000 кг) еквивалент на въглероден диоксид, почти пет пъти повече от емисиите на типичен автомобил за пет години (включително производството на самия автомобил).
Как се обучават AI моделите
Това е изумително количествено определяне на това, което изследователите на ИИ отдавна подозират.
Въглероден отпечатък за обработка на естествен език
Промоционално видео:
Документът конкретно разглежда процеса на обучение на модел за обработка на естествен език (NLP), подполе на AI, който се занимава с машини за работа с човешки език. През последните две години НЛП общността направи няколко важни етапа в областта на машинен превод, изпълнение на изречения и други стандартни задачи за класифициране. Скандално известният OpenAI GPT-2 модел, като пример, успя да напише убедителни фалшиви новинарски истории.
Но подобен напредък изискваше да се обучават все по-големи модели на опънати набори от данни от изречения, изтеглени от Интернет. Този подход е изчислително скъп и много енергоемък.
Изследователите разгледаха четирите модела в областта, отговорни за най-големите скокове в производителността: Transformer, ELMo, BERT и GPT-2. Те тренираха всеки от тях на един графичен процесор за един ден, за да измерват консумацията на енергия.
След това те взеха броя на учебните часове, посочени в оригиналните образци, за да изчислят общата консумирана енергия по време на целия тренировъчен процес. Това количество беше преобразувано в еквивалента на килограми въглероден диоксид, което беше в съответствие с енергийния микс от AWS от Amazon, най-големия доставчик на облаци в света.
Той установи, че изчислителните и екологичните разходи за обучение се увеличават пропорционално на размера на модела и след това се увеличават експоненциално, когато се коригира крайната точност на модела. Търсенето на невронна архитектура, което се опитва да оптимизира модел, като постепенно променя структурата на невронната мрежа чрез пробни и грешки, създава изключително високи разходи с малка печалба от производителност. Без него най-скъпият модел BERT остави въглероден отпечатък от 1400 паунда (635 кг), близо до трансамериканска обиколка.
Освен това тези цифри следва да се разглеждат само като основни.
Като цяло учените преценяват, че процесът на създаване и тестване на крайния модел, достоен за публикуване, изисква обучението на 4 789 модела за шест месеца. По отношение на еквивалента на CO2, това е около 35 000 кг.
Значението на тези числа е колосално, особено като се имат предвид съвременните тенденции в изследванията на ИИ. Като цяло AI изследването пренебрегва ефективността, тъй като големите невронни мрежи са разпознати като полезни за различни задачи и компании с неограничени изчислителни ресурси ще ги използват, за да получат конкурентно предимство.
Иля Кел
