Извън прозореца е 2022 година. Карате автомобил със самостоятелно управление, както обикновено, през града. Колата се приближава до стоп знак, който минава много пъти, но този път не спира пред нея. За вас този знак за спиране е като другите. Но за кола е съвсем различно. Няколко минути по-рано, без да предупреждава никого, нападателят беше залепил малка табела върху невидимия за човешкото око знак, но коя технология не може да не забележи. Тоест мъничък стикер върху табелата превърна знака за стоп в нещо съвсем различно от знака за стоп.
Всичко това може да изглежда невероятно. Но все по-голяма област на изследване доказва, че изкуственият интелект може да бъде подмамен в нещо подобно, ако види някакъв мъничък детайл, който е напълно невидим за хората. Тъй като алгоритмите за машинно обучение все повече се появяват по нашите пътища, нашите финанси, здравната ни система, компютърните учени се надяват да научат повече за това как да ги предпазят от подобни атаки - преди някой наистина да се опита да ги заблуди.
„Това поражда загриженост в машинното обучение и AI общността, особено тъй като тези алгоритми се използват все повече и повече“, казва Даниел Лоде, асистент в катедрата по компютърни и информационни науки в Университета в Орегон. „Ако спамът премине през или бъде блокиран от няколко имейла, това не е краят на света. Но ако разчитате на система за зрение в самоуправляваща се кола, която казва на колата как да шофира, без да се блъскате в нищо, залозите са много по-големи. “
Независимо дали машината се разрушава или се хаква, алгоритмите за машинно обучение, които „виждат“света, ще страдат. И така до колата пандата прилича на гибон, а училищният автобус прилича на щраус.
В един експеримент учени от Франция и Швейцария показаха как подобни смущения могат да причинят на компютъра да сбърка катерица за сива лисица и саксия с кафе за папагал.
Как е възможно? Помислете как вашето дете се учи да разпознава числа. Поглеждайки символите един по един, детето започва да забелязва някои общи характеристики: някои са по-високи и по-тънки, шестици и деветки съдържат един голям контур, а осмите съдържат два и т.н. След като видят достатъчно примери, те могат бързо да разпознаят новите числа като четворки, осмици или тройки - дори ако благодарение на шрифта или почерка не изглеждат точно като всички останали четворки, осмици или тройки, които някога са имали. виждани преди.
Алгоритмите за машинно обучение се учат да четат света чрез някакъв подобен процес. Учените подават на компютъра стотици или хиляди (обикновено етикетирани) примери за това, което биха искали да намерят на компютъра. Когато машината пресява данните - това е число, това не е, това е число, това не е - започва да забелязва характеристиките, които водят до отговор. Скоро тя може да погледне снимката и да каже: "Това са пет!" с висока точност.
Промоционално видео:
По този начин и човешките деца, и компютрите могат да се научат да разпознават огромен набор от обекти - от числа до котки, от лодки до отделни човешки лица.
Но за разлика от човешкото дете компютър не обръща внимание на детайлите на високо ниво - като пухкавите уши на котките или отличителната ъглова форма на четирите. Той не вижда цялата картина.
Вместо това, той разглежда отделни пиксели в изображение - и най-бързият начин за разделяне на обекти. Ако по-голямата част от единиците имат черен пиксел в определен момент и няколко бели пиксела в други точки, машината много бързо ще се научи да ги определя с няколко пиксела.
Сега обратно към знака за спиране. Чрез неусетно коригиране на пикселите в изображението - експертите наричат тази намеса "смущения" - можете да подмамете компютъра да мисли, че всъщност няма знак за спиране.
Подобни проучвания от лабораторията за еволюционен изкуствен интелект в университета в Уайоминг и университета Корнел създадоха доста оптични илюзии за изкуствен интелект. Тези психеделични изображения на абстрактни шарки и цветове са за разлика от всичко за хората, но бързо се разпознават от компютъра като змии или пушки. Това предполага как ИИ може да гледа на нещо, а не да вижда обекта или вместо това да вижда нещо друго.
Тази слабост е често срещана при всички видове алгоритми за машинно обучение. „Човек би очаквал всеки алгоритъм да има дупка в бронята“, казва Евгений Воробейчик, доцент по компютърни науки и компютърни технологии в университета Вандербилт. „Ние живеем в много сложен многоизмерен свят и алгоритмите по своето естество засягат само малка част от него.“
Спароу е "изключително уверен", че ако тези уязвимости съществуват, някой ще измисли как да ги използва. Вероятно някой вече е направил това.
Помислете за спам филтри, автоматизирани програми, които филтрират всички неудобни имейли. Спамерите могат да се опитат да заобиколят тази бариера, като променят правописа на думите (вместо Виагра - vi @ gra) или добавят списък от „добри думи“, които обикновено се срещат с нормални букви: като „аха“, „аз“, „радвам се“. Междувременно спамерите могат да се опитат да премахнат думи, които често се появяват в спам, като „мобилни“или „спечели“.
Къде могат да стигнат измамници за един ден? Автомобилът, управляван от самоуправление, измамен от стикер за стоп е класически сценарий, който беше измислен от експерти в тази област. Допълнителните данни могат да помогнат на порнографията да се промъкне през безопасни филтри. Други може да се опитат да увеличат броя на проверките. Хакерите могат да оправят кода на злонамерен софтуер, за да избегнат правоприлагането.
Атакуващите могат да измислят как да създадат липсващи данни, ако получат копие на алгоритъм за машинно обучение, който искат да излъжат. Но не е необходимо да се стигне до алгоритъма. Човек може просто да го разбие с груба сила, като хвърля малко по-различни версии на имейл или изображения, докато те преминат. С течение на времето дори може да се използва за напълно нов модел, който знае какво търсят добрите момчета и какви данни да произведе, за да ги заблуди.
„Хората манипулират системите за машинно обучение още от първото им въвеждане“, казва Патрик Макданиел, професор по компютърни науки и инженерство в Университета в Пенсилвания. "Ако хората използват тези методи, ние може дори да не знаем за това."
Тези методи могат да се използват не само от измамници - хората могат да се скрият от рентгеновите очи на съвременните технологии.
„Ако сте някакъв политически дисидент при репресивен режим и искате да провеждате събития без знанието на разузнавателните агенции, може да се наложи да избягвате автоматични методи за наблюдение, базирани на машинно обучение“, казва Лоде.
В един проект, публикуван през октомври, изследователи от университета в Карнеги Мелън създадоха чифт очила, които могат подвеждащо да подвеждат системата за разпознаване на лицето, което кара компютъра да сбърка актрисата Рийз Уидърспун за Ръсел Кроу. Звучи нелепо, но подобна технология може да е полезна за всеки, отчаян да избегне цензурата от страна на властите.
Какво да правя с всичко това? "Единственият начин да се избегне напълно е да се създаде перфектен модел, който винаги ще бъде правилен", казва Лоде. Дори ако бихме могли да създадем изкуствен интелект, който по всякакъв начин надминава хората, светът все още може да подхлъзне прасе на неочаквано място.
Алгоритмите за машинно обучение обикновено се оценяват по тяхната точност. Програма, която разпознава столове в 99% от времето, ще бъде очевидно по-добра от тази, която разпознава 6 стола от 10. Но някои експерти предлагат друг начин за оценка на способността на алгоритъма да се справи с атака: колкото по-трудно, толкова по-добре.
Друго решение може да бъде експертите да могат да определят темпото на програмите. Създайте свои собствени примери за атаки в лабораторията въз основа на възможностите на престъпниците по ваше мнение и след това ги покажете на алгоритъма за машинно обучение. Това може да ви помогне да стане по-издръжлив във времето - при условие, разбира се, че тестовите атаки са от типа, който ще бъде тестван в реалния свят.
„Системите за машинно обучение са инструмент за мислене. Трябва да бъдем интелигентни и рационални относно това, което им даваме и какво ни казват “, каза Макданиел. "Не трябва да се отнасяме към тях като към перфектни оракули на истината."
ИЛЯ КХЕЛ
