Лидерите на повече от сто от водещите световни компании за изкуствен интелект са много загрижени за развитието на „роботи-убийци“. В отворено писмо до ООН тези бизнес лидери, включително Елон Мъск от Тесла и основателите на DeepMind на Google, предупредиха, че използването на технология за автономно оръжие може да бъде възприето от терористите и деспотите или да бъде хаквано до известна степен.
Но истинската заплаха е много по-сериозна - и това не е само неправомерно поведение на хора, но и неправомерни действия в машина. Разглеждането на сложни системи показва, че те могат да се държат много по-непредсказуемо, отколкото може да се изведе от сумата от отделни действия. От една страна, това означава, че човешкото общество може да се държи много по-различно, отколкото може да очаквате, като изучава поведението на отделните хора. От друга страна, същото се отнася и за технологиите. Дори екосистемите на прости програми за изкуствен интелект - които наричаме тъпи, добри ботове - могат да ни изненадат. Дори отделни ботове могат да се държат ужасно.
Отделните елементи, изграждащи сложни системи, като икономически пазари или глобално време, обикновено не взаимодействат по прост линеен начин. Това прави тези системи много трудни за моделиране и разбиране. Например, дори след години климатични изследвания е невъзможно да се предвиди дългосрочното поведение на времето. Тези системи са толкова чувствителни към най-малките промени, колкото реагират експлозивно. Много е трудно да се знае точното състояние на такава система във всеки даден момент. Всичко това прави тези системи вътрешно непредсказуеми.
Всички тези принципи се прилагат за големи групи хора, действащи по свой начин, било то човешки общества или групи от AI ботове. Наскоро учените проучиха един вид сложна система, която използваше добри ботове, за да редактира автоматично статии в Уикипедия. Тези разнообразни ботове са проектирани, написани и използвани от надеждни редактори на Wikipedia и техният основен софтуер е отворен код и достъпен за всички. Поотделно те имат обща цел да подобрят енциклопедията. Тяхното колективно поведение обаче се оказа изненадващо неефективно.
Добре утвърдените правила и конвенции са в основата на това как работят тези ботове в Wikipedia, но тъй като уебсайтът няма централна система за контрол, няма ефективна координация между хората, управляващи различните ботове. Резултатите разкриха няколко бота, които отменяха редакциите на взаимните си няколко години и никой не забеляза. И разбира се, тъй като тези ботове изобщо не се учат, те също не забелязаха.
Тези ботове са предназначени да ускорят процеса на редактиране. Но малките разлики в дизайна на ботове или между хората, които ги използват, биха могли да доведат до масивна загуба на ресурси в продължаваща „война за редактиране“, която би могла да бъде разрешена много по-бързо от редакторите.
Изследователите също откриха, че ботовете се държат различно в различните езикови версии на Wikipedia. Правилата, изглежда, са почти еднакви, целите са идентични, технологиите са сходни. Но в немската езикова Уикипедия сътрудничеството с ботове беше много по-ефективно и продуктивно, отколкото например на португалски. Това може да се обясни единствено с разликите между човешките редактори, които управляваха тези ботове в различни среди.
Промоционално видео:
Експоненциално объркване
Ботовете от Уикипедия нямат широка автономия и системата вече не работи в съответствие с целите на отделните ботове. Но Фондация Wikimedia планира да използва AI, който ще даде повече автономия на тези ботове. И това вероятно ще доведе до още по-непредсказуемо поведение.
Добър пример за това, което може да се случи, са показани от ботове, предназначени да говорят с хората, когато са принудени да общуват помежду си. Вече не сме изненадани от отговорите на лични асистенти като Siri. Но ги накарайте да общуват помежду си и те бързо ще започнат да се държат по неочаквани начини, да спорят и дори да се обиждат един друг.
Колкото по-голяма става системата и колкото по-автономна става всеки бот, толкова по-сложно и непредсказуемо ще бъде бъдещото поведение на тази система. Уикипедия е пример за голям брой сравнително прости ботове на работа. Примерът за чатбот е пример за малък брой сравнително сложни и изобретателни ботове - и в двата случая възникват непредвидени конфликти. Сложността и следователно непредсказуемостта нараства експоненциално, тъй като личността се добавя към системата. Следователно, когато в бъдеще се появят системи с голям брой много сложни роботи, тяхната непредсказуемост ще надхвърли въображението ни.
Пламнала лудост
Автомобилите за самоуправление, например, обещават да направят пробив в ефективността и безопасността на пътя. Но все още не знаем какво ще се случи, когато имаме голяма дива система от напълно автономни превозни средства. Те могат да се държат различно дори в малък парк от отделни превозни средства в контролирана среда. И още по-непредсказуемо поведение може да се прояви, когато самостоятелно управляваните автомобили, „обучени“от различни хора на различни места, започват да си взаимодействат помежду си.
Хората могат да се адаптират към новите правила и конвенции сравнително бързо, но имат трудности при превключване между системите. Изкуствените агенти могат да бъдат още по-трудни. Например, ако кола, обучена в Германия, пътува до Италия, например, ние не знаем как ще овладее неписаните културни конвенции, които спазват много други коли, обучени в Италия. Нещо светско като пресичане на кръстовище може да стане смъртоносно рисково, защото просто не знаем дали автомобилите ще си взаимодействат правилно или дали ще се държат непредвидимо.
Сега помислете за роботите убийци, които тормозят Мъск и неговите колеги. Един робот-убиец може да бъде много опасен в грешните ръце. Ами системата на непредвидимите роботи-убийци? Мисли за себе си.
Иля Кел