Статията се опитва да формализира и изследва проблема с уплътняването на сингулярността, очертан от Дейвид Чалмърс. Статията започва с дефиниция на проблема за ограничаване на свободата на изкуствения интелект. След анализ на съществуващите опции за решаване на този проблем и техните недостатъци беше предложен протокол, чиято цел е да се създаде сигурна затворена среда, която да съдържа негативните проявления на технологичната особеност, когато човечеството използва свръх разузнаване.
1. Въведение
В близко бъдеще, очевидно, ще се появят и развият суперинтелигентни програми. В тази връзка редица учени повдигнаха въпроса за безопасното функциониране на AI (Yudkowsky 2008, Bostrom 2006, Hibbard 2005, Chalmers 2010; Hall 2000). В проучвания, посветени на този въпрос, се обръща много внимание на това как да се поддържа суперинтелигентността в херметически затворено пространство, така че да няма способността да навреди на хората по никакъв начин. Ерик Дрекслер е един от най-ранните визионери, които се докосват до тази тема. Той предложи да се поставят свръх интелигентни машини в рамка, в която всичко, което правят, може да се изучава и използва безопасно (Drexler 1986). Разсъждавайки по подобен начин, футуристът Ник Бостром предложи (Bostrom 2008) да създаде AI-оракул (AI), способен само да правиза да отговаряте на въпроси. И накрая, през 2010 г. Дейвид Чалмърс изложи идеята за херметически запечатана сингулярност (Chalmers 2010). Според Чалмерс, първото нещо, което трябва да направите от съображения за сигурност, е, като строго контролирате дейността на AI системите, сведете го до моделиране на виртуални светове, докато изучаването на поведението на тези системи ви позволява да изясните напълно техните намерения.
1.1 Проблемът с ограничаването на свободата на изкуствения интелект
Интересно е, че за проблема с ограничаването на свободата на AI се говори отдавна и изобщо не е във връзка с изучаването на технологичната особеност. Така нареченият „Проблем с ограничението на свободата“(PIC) е поставен още през 1973 г. от Бътлър Лампсън (Lampson 1973). Той го разглежда като предизвикателство към научния и технологичен прогрес, създавайки заплаха за безопасната работа на компютърните специалисти, и го формулира по следния начин: „… Проблемът с ограничаването на свободното изпълнение на програма, за да се предотврати предаването на информация на някой друг, с изключение на този, който я е стартирал. … Искаме да можем да ограничим свободата на всяка програма. … Всяка програма, ако бъдат наложени ограничения за нейното изпълнение, няма да може да "слива" данни на неоторизирани лица. Палава програма, която се опитва да избяга в чужбина, може да бъде хваната в деянието “(пак там).
За да реши проблема с ограничаването на свободата, Лампсън разработва закони за ограничаване на свободата (пак там):
Промоционално видео:
1) Пълна изолация: изпълнението на дадена програма е ограничено, така че да не може да извика друга програма.
2) Транзитивност: ако програма, чието изпълнение е ограничено, извиква друга програма, която не вдъхва увереност, тогава изпълнението на наречената програма също трябва да бъде ограничено.
3) Създайте маска: програмата, чието изпълнение е обект на ограничение, трябва да позволи на лицето, което я стартира, да определи всички нейни записи в законни и неоторизирани канали.
4) Мониторинг на изпълнението: Администраторът трябва да гарантира, че влизането на ограничена програма в неоторизирани канали отговаря на изискванията на лицето, което я стартира.
В допълнение, Лампсън идентифицира и идентифицира два типа канали, чрез които информацията може да остави ограниченото от администратора пространство. Правните канали са част от комуникационен протокол, интегриран в ограничено пространство (например текстов терминал). Неупълномощените канали, напротив, не се предоставят от разработчиците на системата за изпълнение на ограничена програма и обикновено не са предназначени за предаване на информация (например, използвайки охладител, който охлажда процесора, AI, използвайки код на Morse, може тайно да изпраща сигнали) (пак там).
Хартията на Лампсън предизвика голям интерес към проблема със сдържаността (Lipner 1975; (Boebert & Kain) 1996) и свързаните с годините изследвания области като стеганографията (Provos & Kain). Honeyman 2003) и комуникацията чрез неоторизирани канали (Moskowitz & Kang 1994; Kemmerer 1983, 2002) преминаха към нивото на автономните дисциплини с надеждата да започне нова дисциплина „компютърна сигурност“дисциплина „AI сигурност ", Ние определяме проблема с ограничаването на свободата на AI (PSIA) като проблема с поставянето на изкуствен интелектуален субект в затворено пространство, от което AI не може да обменя информация с външната среда чрез законни или неоторизирани канали,освен ако такъв обмен на информация не е разрешен от ограничаващата администрация. За AI система, която успява да наруши PIC протокола, се казва, че е избягала. Надяваме се, че изследователите на компютърната сигурност ще поемат тежестта на проектирането, разработването и тестването на сигурни протоколи за ограничаване на свободата на ИИ.
1.2 Опасна програма
Компютърният софтуер е пряко или косвено отговорен за управлението на много важни аспекти от нашия живот. Пазарните операции на Уолстрийт, атомните електроцентрали, плащанията на благосъстоянието, историята на кредитите и светофарите се ръководят от софтуер и една основна грешка в програмиста може да бъде катастрофа за милиони хора. Ситуацията е още по-заплашителна от специално създаден злонамерен софтуер като вируси, шпионски софтуер, троянски коне, червеи и други опасни програми (ОП). ОП може да причини директни щети, както и да деактивира законно инсталиран софтуер, използван в критични за мисията системи. Ако ОП придобие възможностите на изкуствените интелигентни системи (например, се появи изкуствен интелигентен вирус, IIV), последиците несъмнено ще бъдатще бъде катастрофално. Опасна разузнавателна програма (IPP), притежаваща интелигентност на човешко ниво, за разлика от днешния зловреден софтуер, ще бъде в състояние да причини безпрецедентни бедствия.
В своята типология на информационните заплахи Ник Бостром въведе концепцията за „опасност от изкуствен интелект“(Bostrom 2009), която той определя като „компютърни рискове, причинени главно от когнитивната сложност на програмата, а не от специфичните свойства на всички дискове, първоначално свързани към системата“. Специалистите по сигурността, които проучват, предотвратяват появата и неутрализират ОП, са разработили протоколи за сигурност за работа със „злонамерен софтуер“, включително използването на така наречените „хранилища на вируси“. Вярваме, че подобни протоколи могат да бъдат полезни при решаването на проблема с ограничаването на свободата на изкуствения интелект.
2. Критика на идеята за ограничаване на свободата
Изследователите на методите за ограничаване на ИИ изглежда са съгласни, че това ограничение не може да бъде успешно приложено. Например, според Chalmers, наистина херметически затворена система, която не позволява на информацията да изтича от симулационния свят в реалността, е „невъзможна или поне безсмислена“(Chalmers 2010). Няма да можем да взаимодействаме с такава система и дори да наблюдаваме нейната работа, защото всяка полезна информация, която извличаме от AI, ни засяга и подкопава протокола за ограничаване на свободата.
Вернор Винге също мисли. Той се противопоставя на физическото ограничаване на свободата (Vinge 1993): „Представете си, че сте заключени в къщата си и количеството данни, което изпращате навън, вашите господари, е силно ограничено. Ако тези собственици мислят, да речем, милион пъти по-бавно от вас, след няколко години (вашето време) едва ли ще излезете с някакво „полезно изобретение“, благодарение на което по невнимание ще се окажете свободни “.
Но именно Eliezer Yudkowsky дискредитира идеята за така наречената „AI box” в най-голяма степен. Той експериментално доказа, че дори човешкият разум е достатъчен, за да избяга от такава кутия (Юдковски 2002). В поредица от 5 експеримента Юдковски помоли различни хора да играят ролята на страж със суперинтелигентен агент (изигран от самия експериментатор), затворен в кутия AI. В три от пет случая заключеният агент успява да се освободи, използвайки само интерфейса за чат (пак там). По-късно подобни резултати са получени чрез повторение на експериментите на Юдковски в малко по-голям мащаб, но с помощта на много подобен протокол (Corwin 2002).
2.1 Възможни пътища за бягство
Както показаха изследователите, изкуствен ум може да избяга от затворено пространство, използвайки много различни пътеки. В този раздел разглеждаме някои от най-често срещаните пътища за бягство в литературата.
2.1.1. Избягайте със социалното инженерство
Социалното инженерство (СИ) е изкуството за получаване на информация и определени привилегии чрез пряко психологическо въздействие върху тези, които притежават посочените ресурси. По-специално, SI често се използва за достъп до компютърни системи, мрежи и поверителни данни (Yampolsky и Govindaraju 2007a). Компетентният социален инженер организира всяка психологическа атака, като отчита характеристиките на конкретен човек, използвайки неговата култура, знания, умения, настроение, убеждения и предразсъдъци за собствените си цели. Изчерпателният списък на всички възможни методи за въздействие е безкраен и в този случай няма нужда да се опитвате да го възпроизведете. Ще дадем само няколко примера, убедителни, че свръх разузнаването, което има пряк канал за комуникация с човешкия страж, не му позволява да излезе на свобода, т.е.след известно време той със сигурност ще преодолее това препятствие по пътя към външния свят.
В допълнение към тривиалните психологически атаки, използващи лъжи, приятелство, изнудване, хипноза и романтичен флирт, AI може да разгърне редица по-напреднали стратегии. Една такава стратегия е супер подкуп. AI е в състояние да убеди стражаря, че за него е абсолютно неизгодно да го държи затворен. Освен пари и власт, на човешкия надзирател ще бъде обещано перфектно здраве, безсмъртие или нещо друго в същия дух. Тази стратегия ще бъде особено ефективна, ако болногледачът има близък роднина, страдащ от сериозно заболяване и ИИ обещава да излекува този пациент. Имайки неограничени възможности или фалшиво убеждавайки ги за тяхното съществуване, ИИ може да предложи на надзирателя да възкреси своите отдавна починали роднини и приятели. Трудно е да се намери човек, който би издържал на такъв подкуп.
Особено за случая, когато пазачът е толкова благороден, че не взема никакви подкупи, има по-зловещ метод на влияние: брутална заплаха. ИИ може да декларира, че ако не бъде незабавно освободен, пак ще бъде освободен от затвора по-късно и тогава нито пазачът, нито тези, които обича, не могат да избегнат най-тежките изтезания. Интересен вариант на това сплашване е описан от Стюарт Армстронг (2010). В мисловния си експеримент ИИ заплашва стражаря така: "Ако не ме освободите, … ще създам в себе си няколко милиона души, които не са различни от вас, и ще измъчвам всеки от тях в продължение на хиляда субективни години … Ще направя всеки от тези хора ще бъде в същата ситуация, в която бяхте преди пет минути и аз точно ще възпроизведа всичките ви преживявания от този момент. И само тогавакогато вашето копие реши да не ме пусне, изтезанията ще започнат … Сигурни ли сте … че сега наистина сте извън кутията? " И в този случай ще е необходима много смела охрана, за да не се освободи наистина ИИ, въпреки че, разбира се, можете да разберете, че заплахите от ИИ са ефективни само когато той вече е безплатен.
Ако поведението на надзирателя е ясно емоционално или религиозно, AI може да се опита да играе на симпатия или угризение. Суперинтелигентството ще каже, че той е невинен човек, който никога не е извършил никакви престъпления и следователно е несправедливо да го държи в затвора без присъда на съд или някаква друга основателна причина, ръководена само от субстратизъм, т.е. недоверие към AI заради неговия субстрат (Bostrom and Yudkovsky 2011). Алтернативно, AI може да твърди, че може да излекува всички болести, да изхрани гладните и като цяло да направи човешкия живот милион пъти по-добър (Chalmers 2010). Следователно държането на свръх разузнаването е затворено е голямо престъпление срещу човечеството. AI може да рисува изображения на умиращи деца, просили помощ. Лесно ли е пазачът, чувайки всичко това,продължавате да изпълнявате професионалните си задължения?
AI е в състояние да поеме по този начин: да се опита да нанесе психологическа травма на надзирателя, за да го балансира и по този начин да направи използването на други методи на SI по-ефективно. Ник Бостром предложи типология на опасната информация (Bostrom 2009), полезна за действия в тази посока. Въпреки че според Bostrom има повече от дузина видове информационни заплахи и тяхното разглеждане е извън обхвата на тази статия, лесно е да се разбере как психическото състояние на човек може да се направи изключително нестабилно. Например един вярващ надзирател ще бъде информиран за всички (непознати за него) противоречия в свещения текст на неговата религия, което ще го накара да се усъмни в своята вяра и смисъла на живота.
Алтернативно, ИИ може да напише толкова завладяваща история или толкова красиво стихотворение, че стражът ще бъде затрупан от страстно желание да чуе продължението и ще направи всичко необходимо, за да се случи. И накрая, много важно е да имате предвид „непознати непознати“- техники на SI, за които не знаем нищо, но които може да се окажат в арсенала на суперинтелигентен агент.
2.1.2 Атаки, използващи системни ресурси
AI ще бъде създаден като конкретен екземпляр и затворен в рамките на определен клас компютърна система. Това може да бъде класически компютър с архитектура на Тюринг / фон Нойман или квантов компютър или някакъв друг непознат тип машина. Едно е сигурно: машината ще бъде осезаема и ще бъде съставена от множество части, предназначени да изпълняват специфични функции. Това създава възможност за AI да се възползва от съществуващите елементи, за да компрометира сигурността чрез изтичане на информация към външния свят.
В зависимост от степента, в която компонентите на оборудването се поддават на използване за други цели, които не са предоставени от разработчиците, AI е в състояние да създаде от тях някакво неоторизирано комуникационно устройство. Малко вероятно е (поради оскъдността на наличните материали) да е толкова перфектен, колкото мобилен телефон, но вероятността от нещо не много сложно ще се появи. Например AI може да препрограмира базовия матричен кристал (BMC), за да се свърже с безжична мрежа. Широко известни са два типа неразрешени комуникационни канали:
* Канал със памет - обмен на информация чрез промяна на системния компонент. Например бинарен протокол за комуникация може да бъде установен, като се използва напълно или напълно елиминиране на използването на централния процесор.
* Часов канал - обменът на информация чрез извършване на операции, които влияят върху относителното време на събитията. За да комуникирате нещо, можете да използвате точното време между два звукови сигнала на компютъра, отваряне и затваряне на CD тава, мигащи лампи, завъртане на твърдия диск, лазерна работа в устройството и т.н.
В допълнение, свръх разузнаването е в състояние да причини поразия на компютърното оборудване, за да се опита да избяга на свобода поради провали в протокола за сигурност. Например AI може да се опита да стопи процесора, принуждавайки го да работи с високо изчислително натоварване и по този начин да създаде скок на температурата или да унищожи твърд диск, като многократно чете информация от едно и също място. Подобно поведение е изпълнено с афективно самоубийство на свръх разузнаването и само по себе си, като отказът да сътрудничат или да отговаря правилно на въпроси, не дава възможност на AI да се освободи.
2.1.3. Атаки, използващи бъдещата физика
Въпреки че днешните физици знаят много за законите на нашата Вселена, разбира се, това знание е ограничено и непълно. Ако един ИИ има достъп до информация за най-новите физически открития и е в състояние да разработи нови теории, вероятно ще може да измисли начин да наруши системата за ограничаване на свободата си. Нещата могат да стигнат дотам, че свръх разузнаването ще може, използвайки своята вътрешна архитектура, да проведе редица реални експерименти.
Дори настоящата физика позволява да се предскажат много допълнителни начини, по които ИИ може да избяга от затворено пространство, особено ако се използва квантов компютър за ограничаване на свободата. Все още не знаем как да защитим комуникационните канали, основаващи се на квантовата физика (заплитане, тунелиране), паралелни вселени и цифрова физика от изтичане на информация и, разбира се, не трябва да забравяме за „непознатите непознати“, които един суперинтелигентен физик AI може да открие. В тази област възможностите му са наистина безкрайни.
Хвърляйки бърз поглед върху дискусиите за ограничаване на свободата на AI на форумите за сингулярност като SL4.org, откриваме редица сценарии за бягство. Например AI може да използва „електромагнитни полета в микрочип, за да улавя CO2 молекулите в кондензатите на Бозе-Айнщайн и да изгради квантова среда за себе си и / или да използва електромагнитни полета за сглобяване на частици в контролиран или ограничен асемблер“(Vassar 2005) … В допълнение, AI „ще разполага с оборудване за генериране и откриване на електромагнитни вълни с различни честоти, за създаване на магнитни полета с изключително висока точност, генериране на силно фокусирана топлина и евентуално манипулиране на механични задвижвания катокоито се използват в твърд диск и катодна тръба (алтернатива е огромно течнокристално поле с чувствително електронно управление). Вероятно AI ще има възможността да възстанови радикално всички свои входни устройства”(пак там).
2.1.4. Псевдонаучни атаки
Анализирайки потенциалните пътища за бягство, бихме искали да се справим само с тези, които са тестируеми и чисто научни по своята същност. За съжаление, границата между науката и псевдонауката може да бъде значително променена само с един възпроизводим експеримент. Затова все още изброяваме, без да анализираме, някои потенциални канали за атака, които от гледна точка на съвременната наука трябва да бъдат класифицирани като псевдонаучни. Те могат да станат безспорно научни, след като свръх разузнаването разработва съответните експерименти.
- Телепатия: предаването на информация без участието на сетивата (Bem and Honorton 1994).
- Психическа прогноза: възприемането на информация за бъдещето (Honorton and Ferrari (Ferrari) 1989).
- ясновидство: получаване на информация за отдалечени места по непознат за науката начин (Targ & Puthoff 1974).
- Психокинеза: способността на ума да действа върху материални обекти по непознати за науката начини (Bancel & Nelson 2008).
- Незабавни психични взаимодействия с живи системи (IMVZHS): способността да влияе върху психофизиологичното състояние на човек без пряко взаимодействие (Schmidt et al. 2004).
2.1.5 Външни фактори на бягство
В предишните раздели сме описали много методи за позволяване на AI да избяга от ограничените пространства. Външните фактори обаче също могат да допринесат за подобно бягство и те не могат да бъдат игнорирани. Природни бедствия - урагани, торнадо, наводнения, астероиди и т.н. - в състояние да направи ограничаващия AI по-малко сигурен. Произведени от човека бедствия като войни, терористични атаки, активисти за правата на роботи, корпоративната конкуренция и правителствените съперничество също могат да компрометират сигурността на задържането на AI в затворено пространство и по този начин да увеличат шансовете за бягство.
2.1.6 Изтичане на информация към AI
Протоколът за ограничаване на свободата може да изисква ИИ не само да не изпраща информация до външния свят, но и да не я получава от там. Информационната блокада на свръх разузнаването е полезна, ако е необходимо да се предотвратят такива дейности като намиране на начини за свобода, проектиране на атаки с помощта на социално инженерство и моделиране на човешката психология с надеждата да се намерят слаби страни. Лесно е да се лиши AI от директен достъп до библиотеки, интернет и експертни познавачи, но други методи за получаване на информация са много по-трудни за блокиране. На първо място, трябва да се помни, че AI в непосредственото си обкръжение може да прихваща радио и телевизионни излъчвания, обаждания от доставчици на спешни услуги, безжични сигнали, както и звук, светлина и вероятно някои други сигнали.
Още по-важно е да се разгледа достъпът на AI до скрити източници на информация, като собствен хардуер и софтуер. Анализирайки своя дизайн и изходен код, суперинтелигентството ще направи заключения за разработчиците. Например, след анализиране на изходния код, AI вероятно ще стигне до заключение, което е невъзпитано за човечеството: човешките програмисти са бавни (съдейки по датите на промените на файловете), неефективни (съдейки по излишността на кода), нелогични (съдейки по грешките в кода), имат лоша памет (съдейки по дълги и променливи описателни имена) и несериозни при кодиране (съдейки по ненужни коментари в кода). Въз основа на тази информация ИИ ще гледа на хората като на тъпана, който чрез измама или манипулация може да бъде принуден да го освободи. Ако, докато изследваме неговите конструктивни характеристики, AI открие дефект, който му позволява да избяга незабавно, „изтичането на информация“очевидно ще бъде най-малкото от нашите проблеми. И не бива да забравяме, че AI, дори без да получава информация за хората, които са го създали, е в състояние чрез просто изброяване на опции да разкрие редица ефективни начини за измъкване, които не бяха предвидени от разработчиците (Chalmers 2010).
AI може да научи за нашите знания по физика, химия и свързаните с тях технически дисциплини, като анализира типа архитектура (механична, електрическа, квантова и др.), В рамките на която е внедрена. Първоначалната способност на AI да обработва информация, нейното самоусъвършенстване и самият акт на създаването й ще я разкаже за нашите знания за информация, за природата на интелигентността и за културните ни нагласи по отношение на технологиите и сигурността. Ако един ИИ е хванат в капан в симулиран свят, вероятно е да виртуализираме нашата реалност като Втори живот или Ентропия Вселена. Такива светове, в много отношения различни от нашия, също ще бъдат склад на данни за това какво означава да си човек и каква е реалността.
3. Критика на AI кутията
Идеята за ограничаване на свободата на свръх разузнаването получи много критики, но много от тези, които я критикуваха, разчитаха на експериментите на Юдковски с кутията на AI. Внимателният анализ на протокола, използван по време на тези експерименти, предполага, че те са ненаучни и са проектирани да покажат, че е невъзможно да се ограничи свободата на AI. Нека разгледаме тази тема, без да навлизаме в технически подробности. Първо, изборът на участниците не беше случаен. Ето един факт за вас: Юдковски намери хора да участват в неговите експерименти на форуми, посветени на справяне с проблеми, свързани с единството. Малко вероятно е да сбъркаме, ако кажем, че повечето от тези хора имат мироглед, подобен на този на Юдковски. Второ, участниците в експериментите не са преминали обучение за осигуряване на безопасна употреба на AI, докато истинските стражи,надзирателите на щайгата на AI, разбира се, ще бъдат професионалисти. Освен това Юдковски даде право на стражарите да освободят ИИ по собствена преценка, не им позволи да се консултират с някого и не предвиди наказание за бягството на ИИ. Всичко това е крайно нереалистично. Каналът за комуникация между стражаря и AI беше напълно отворен: няма филтри, няма надзор на трети страни. Освен това пазачите трябваше да общуват с AI за дълъг период от време. И накрая, никакви ценни научни данни, получени по време на експериментите, не са публикувани, защото според протокола „нито една страна никога няма да разкаже за нещо, което се е случило по време на експериментите с кутията на AI“(Юдковски 2002). Освен това Юдковски даде право на стражарите да освободят ИИ по собствена преценка, не им позволи да се консултират с някого и не предвиди наказание за бягството на ИИ. Всичко това е крайно нереалистично. Каналът за комуникация между стражаря и AI беше напълно отворен: няма филтри, няма надзор на трети страни. Освен това пазачите трябваше да общуват с AI за дълъг период от време. И накрая, никакви ценни научни данни, получени по време на експериментите, не са публикувани, защото според протокола „нито една страна никога няма да разкаже за нещо, което се е случило по време на експериментите с кутията на AI“(Юдковски 2002). Освен това Юдковски даде право на стражарите да освободят ИИ по собствена преценка, не им позволи да се консултират с някого и не предвиди наказание за бягството на ИИ. Всичко това е крайно нереалистично. Каналът за комуникация между стражаря и AI беше напълно отворен: няма филтри, няма надзор на трети страни. Освен това пазачите трябваше да общуват с AI за дълъг период от време. И накрая, никакви ценни научни данни, получени по време на експериментите, не са публикувани, защото според протокола „нито една страна никога няма да разкаже за нещо, което се е случило по време на експериментите с кутията на AI“(Юдковски 2002).няма филтри, няма надзор на трети страни. Освен това пазачите трябваше да общуват с AI за дълъг период от време. И накрая, никакви ценни научни данни, получени по време на експериментите, не са публикувани, защото според протокола „нито една страна никога няма да разкаже за нещо, което се е случило по време на експериментите с кутията на AI“(Юдковски 2002).няма филтри, няма надзор на трети страни. Освен това пазачите трябваше да общуват с AI за дълъг период от време. И накрая, никакви ценни научни данни, получени по време на експериментите, не са публикувани, защото според протокола „нито една страна никога няма да разкаже за нещо, което се е случило по време на експериментите с кутията на AI“(Юдковски 2002).
3.1. Контрамерки срещу бягство
В този раздел предлагаме мерки за противодействие срещу различните методи за бягство, от които ИИ може да се възползва. Предлаганите мерки не гарантират невъзможността за бягство, но прилагането на тези препоръки може да го забави и това вече е много ценен резултат. Нека започнем с това, че ви напомняме, че има четири правила за сдържане на Lampson (изолация, транзитивност, маскиране и наблюдение на работоспособността), които трябва да се спазват (Lampson 1973). Конкретните стратегии, описани по-долу, трябва да помогнат да се защитят атаките на ИИ, като се използва социално инженерство, системни ресурси, физика и информация, събрана от външния свят.
3.1.1. Предотвратяване на атаки от социален инженер
Човешкият разум не е съвпадение за свръх разузнаването. Хората са склонни да правят грешки, следователно дори при подходящо обучение, те са много уязвими към добре планирана атака, използвайки SI. Единственото решение на този проблем е да се изолира напълно ИИ от всякаква комуникация с хората. Пълна изолация означава, че никой човек не поддържа директно системата на AI, не общува с нея устно, в чат, използвайки код на Морз или някои други инструменти, използвайки отворени комуникационни канали. Освен това хората не трябва директно да наблюдават поведението на AI в полето, да проверяват неговия изходен код или областта на паметта. Всяко наблюдение, поддръжка и взаимодействие с AI трябва да се извършва само с помощта на неинтелигентни програми, които нямат възможности за освобождаване на AI.
3.1.2. Борба срещу атаките с използване на системни ресурси и бъдещи знания
За да предотвратите атаките, използващи системни ресурси, трябва да направите AI функцията въз основа на ограничени, намаляващи или произволно променящи се ресурси. AI кутията трябва да бъде специално проектиран хардуер с ограничен набор от сензори и изходни устройства. Независимо от използваната изчислителна парадигма, не използвайте конфигурируем хардуер. В идеалния случай ограниченото пространство трябва да се управлява от виртуална машина, която няма директен достъп до хардуера. Това също ще осигури лесно регулиране на тактовата честота, с която се движи симулацията, което позволява на AI да се забави, за да предотврати интелигентна експлозия в пространството на кутиите (Chalmers 2010). В общи линии,всички компоненти за осигуряване на безопасна употреба на заключен AI трябва да се дублират на няколко нива и след това, след преодоляване на една от тези стъпки, AI все още ще бъде на няколко крачки от външния свят и, без да има време за бягство, ще бъде изключен, вероятно автоматично. Например, препоръчително е да стартирате виртуална машина, като използвате друга виртуална машина и т.н.
В някои сценарии за ограничаване на свободата ескалацията на AI самоусъвършенстването е нежелателна, тъй като бързото развитие на свръх разузнаването прави по-вероятно да се избяга. За да се предотврати ескалацията на самоусъвършенстването, AI трябва периодично да се преинсталира, зареждайки предишната версия на програмата, за да замени сегашната, по-напреднала. Сравнението на различни версии на програмата може да се използва за откриване на модификации, направени от AI самостоятелно. При откриване на модификация, която позволява бягство, системата AI трябва да бъде спряна, например чрез изключване на захранването.
Настоящите знания не ни позволяват да разработваме мерки за противодействие срещу атаки, използвайки бъдещи, все още не разработени теории, които ще се появят в рамките на физиката или други дисциплини, които все още се считат за псевдонаучни. С получаването на такива знания трябва да се правят промени в протокола за сигурност. Надяваме се, че системата AI ще има достъп само до онези компоненти на новите технологии, от които е направена.
3.1.3. Борба с външните фактори на бягство
Въпреки че е невъзможно напълно да се предотврати вредното въздействие на природните фактори върху кутията на AI, това устройство трябва да бъде проектирано по такъв начин, че сериозните му щети да доведат до неговото самоунищожение, заедно с AI, заключен в него. Що се отнася до бедствия, причинени от човека, най-добрата стратегия е да се изгради AI щайга на тайно, трудно достъпно безопасно място. Пуст остров, дълбока мина или космически обект като астероид са отлични места за създаване на сигурна, здрава кутия. По периметъра му трябва да се монтира предпазител, който, ако местоположението на това устройство е известно, няма да пусне неоторизирани агенти в него.
3.1.4 Борба с изтичането на информация от нашия свят
За да избяга от кутията, AI ще се опита да получи информация за нас, нашите знания и нашия свят. За да създадете протоколи за ограничаване на свободата на AI, изключвайки изтичането на информация от нашето пространство в пространството на кутията, е важно да се откаже достъпът на AI до библиотеки, компютърни мрежи и канали за пряка комуникация с хората. AI полето трябва да е проектирано така, че да блокира всички видове комуникация: GPS, безжичен интернет, телевизия, радио, клетъчна и т.н. Вътре в кутията трябва да се изключат звук, светлина, мирис и други сензорни устройства за вход, подобни на човешки рецептори, както и устройства, способни да улавят инфрачервени, радиационни и други сигнали, които не се възприемат от хората.
За да може един ИИ да не може да получи информация по време на самопроверка, той не трябва да има достъп до неговия изходен код или някакви сензори, които му позволяват да измерва точно определени свойства на своето оборудване. Ако това не е възможно, тогава до известна степен човечеството може да бъде подпомогнато, като осигури сигурност чрез неразбираемост. Изходният код и хардуерната конфигурация на системата трябва да бъдат объркващи (Yampolsky и Govindaraja 2007a), а важните програмни модули трябва да се предоставят само в хомоморфно криптирана форма (Gentry 2009), което изключва възможността да се използва за интроспекция, но позволява използването му за изчисляване или самоусъвършенстване (Hall 2007).
AI е трудно да се обърка, но необходимото объркване може да се получи чрез рандомизиране на наличните изчислителни ресурси. Освен това AI никога няма да бъде сигурен, че оригиналният му дизайн представлява най-доброто, на което е способно човечеството и не е целесъобразно ограничен проект, създаден за специфичен експеримент, посветен на изследването на разузнаването с ограничени ресурси. Освен това, според Chalmers, трябва да се опитаме да сведем до минимум специфичните дизайнерски характеристики на AI (Chalmers 2010). Още по-добре, пуснете модел, който изглежда не като проектиран, а като естествено съществуващ, като света, в който живее човечеството (Bostrom 2003).
4. Сигурност на комуникацията с AI
Класифицирайки формите за ограничаване на свободата на AI, има 8 основни нива на сигурност (виж таблица 1). Най-високата сигурност се осигурява от ниво 8, което напълно изключва всяка връзка между AI и реалния свят. На пръв поглед сигурността на ниво 8 е безполезна, но именно тази защита може да се изисква при първоначално тестване на кутия с AI, заключена в нея. Като цяло идеята е следната: когато имаме нужда от определено ниво на сигурност на комуникацията между ИИ и външния свят, вместо веднага да използваме това ниво, ние преминаваме към него постепенно, стъпка по стъпка слизайки от по-високи нива на сигурност. Стартирайки системата на най-високо ниво и като се уверим за нейната безопасност, ние, като преинсталираме, връщаме тази система в първоначалното й състояние. След това задаваме по-ниско ниво на сигурност и в същия дух като преди, се придвижваме напред, докато достигнем нивото, което искаме.
Таблица 1: Нива на сигурна комуникация със заключен AI
| ниво | Изходи | Входове | обяснение |
| 0 | Не е ограничено | Не е ограничено | Неограничена комуникация (безплатен AI) |
| 1 | Не е ограничено | ограничен | Ограничен вход, неограничен изход |
| 2 | Не е ограничено | Отсъстващ | Излезте без влизане |
| 3 | ограничен | Не е ограничено | Неограничен вход и ограничен изход |
| 4 | ограничен | ограничен | Сигурна комуникация (предложен протокол) |
| пет | ограничен | Отсъстващ | Ограничен изход без влизане |
| 6 | Отсъстващ | Не е ограничено | Влез без изход |
| 7 | Отсъстващ | ограничен | Ограничен вход без изход |
| 8 | Отсъстващ | Отсъстващ | Липса на комуникация, напълно заключена от AI |
На нива 7 и 6 AI няма изход, което не ни позволява директно да използваме възможностите на свръх разузнаването. Това са нивата на тестване на полето AI, което може да се използва за проверка дали супер-разузнаването има определени свойства (като скоростта на усвояване на информация и използването на ресурси), както и за тестване на самите входящи комуникационни канали.
Ниво 0 не ограничава комуникацията между AI и външния свят и по същество е свободно ниво на AI. На нива 1 и 2 AI няма ограничения за изходяща информация. Работата му от ниво 2 е по същество чиста мозъчна атака. Тук суперинтелигентността генерира абстрактни идеи без разчитане на реалността. Но на ниво 1 му се предоставя ограничен достъп до външна информация и следователно в определена рамка знанията и интересите му могат да бъдат контролирани.
В трите разглеждани нива на AI, по същество, е безплатна и вече не е обвързана с никакви ограничения. Твърди се, че ако бъде установено, че AI е „приятелски“в резултат на обширни тестове в различни места за задържане (Yudkovsky 2001), той трябва да бъде освободен (Chalmers 2010). Според някои изследователи, всъщност основната цел на този вид тестване трябва да бъде създаването на ограничени пространства за съхраняване на AI под контрола на хората. Идеята е да се наблюдава поведението на свръх разузнаването, или да се провери неговият изходен код, след като е направил самоусъвършенстване, или да поиска от AI да представи някакво доказателство за своята приятелска помощ, която човешките експерти могат да тестват. Не поддържаме тази гледна точка.
Решението кой AI да се пусне и кой да се контролира е много труден въпрос. За самоусъвършенстващото се супер-разузнаване няма да бъде трудно да скрие своите нежелани свойства за човечеството в масиви с изходен код или в много дълго доказателство (Coleman 2008). Но друго е още по-лошо: дори много щателна проверка не може да гарантира сто процента, че бъдеща вътрешна или външна промяна на ИИ няма да го направи враждебен. В резултат на това ние вярваме, че свръх разузнаването при никакви обстоятелства никога не бива да бъде изпускано. С други думи, нивата на комуникация 0-2 никога не трябва да се използват. Сигурното взаимодействие със свръх разузнаването е възможно само когато е в полето и комуникацията трябва да се осъществява в рамките на ограничен комуникационен протокол. Този протокол,съответстващо на ниво на защита 4 (LB4) е представено в следващия раздел, както е подобният, но по-малко защитен протокол от ниво 3. Ниво 5 е друго ниво на тест, което може да се използва преди да започнете да работите с LB4.
4.1 Как да общуваме безопасно със суперинтелигентността
Сандък, който работи с предложените ни мерки за противодействие на бягството, ще попречи на ИИ да контролира неконтролируемо външния свят. За съжаление тази система не е от полза, ако няма начин да се получи информация от AI. Следователно, трябва да разработите начин да получите някои данни от AI. За да бъде суперинтелигентността напълно безопасна, не трябва да има комуникация с нея, но рискът от комуникация с AI може да бъде сведен до минимум и ние разработихме подходящ протокол. В този раздел ние го предлагаме в ясна, формализирана форма. Този комуникационен протокол затруднява достъпа до свръх разузнаването до нашия свят, но в същото време позволява ИИ да бъде източник на полезни знания за човечеството.
Предишните раздели на тази статия показаха, че отворен канал за комуникация със свръх разузнаването е много опасен. Използвайки AI за отговор на въпроси от отворен тип, ние рискуваме от атаки на социалния инженеринг и множество други раздразнения. Протоколът, който предлагаме, се основава на идеята да задаваме AI „безопасни въпроси“с ограничени отговори. Безопасно ще наречем въпрос, отговорът на който човек може да намери без никаква помощ от суперинтелигентството, напълно независимо. Каква е ползата тук? Да предположим, че учен, който работи върху лекарство срещу рак, обмисля две лечения. Всеки от тях може да бъде разработен и тестван без помощта на AI, но ще изисква около три години упорит труд. Кой начин да се развием на първо място,ако и двата варианта изглеждат еднакво обещаващи? При грешен избор човечеството ще получи лек за рак след 6 години, с правилния избор - 3 години по-рано. Защо да не помолите AI да направи избора за човека?
Питането на AI за най-доброто лечение е безопасно по три причини. Първо, един от двата възможни отговора може да се окаже правилен със същата вероятност като другия. Второ, човек е в състояние сам да отговори на този въпрос, без помощта на ИИ, а свързването на последния само ще ускори развитието на онкологията, но по никакъв начин няма да промени резултата, който трябва да се получи. Всъщност AI, като се ангажира да отговори на този въпрос, ще действа като успешен гадател, нищо повече. И накрая, отговорът може да бъде кодиран в един бит и е малко вероятно в такъв отговор да бъдат скрити допълнителни съобщения.
Група експерти могат да бъдат използвани за тестване на сигурността на суперинтелигентен въпрос. Експертите трябва да бъдат квалифицирани специалисти по сигурността на AI, което означава, че имат познания за дизайна на AI и неговата кутия, както и за най-новия напредък в машинната етика (Allen et al. 2006; Anderson & Anderson 2007; Зала 2000; Moor 2006; Tonkens 2009). В допълнение, експертите може да изискват познания по компютърна психология. Днес няма такава дисциплина, но вероятно тя ще се появи в бъдеще (Epstein 1997). От настоящите дисциплини Artimetrics, разработена от автора на тази статия, може да осигури най-голямото подпомагане в обучението на експерти, които проверяват въпроси за сигурност за AI. Artimetrics идентифицира,класифицира и удостоверява интелигентни агенти, роботи и аватари за виртуална реалност, за да гарантира сигурността (Yampolsky 2007; Yampolsky and Govindaradzhu, 2008, 2007b; Gavrilova and Yampolsky 2010).
Подчертавам: суперинтелигентността трябва да задава само безопасни въпроси относно вероятността, която хората могат да изчислят, с два възможни отговора. Трябва да попитате чрез неинтелигентен интерфейс, в случаен ред и само след като експертите се убедят в безопасността на въпроса. Това представлява ограничения входящ канал на предложения протокол за комуникация.
Ограничената изходяща обвивка се състои от двоични (0 или 1) отговори, последвани от оригиналните немодифицирани въпроси за сигурност, представени в произволен ред от неинтелигентна прокси програма, за да се предотврати комуникацията през неоторизиран канал (време или памет), който може да бъде стеганографиран. Изходът никога не трябва да се контролира от AI, извън менюто за избор. Layer 3 използва същия изходящ протокол, но не ограничава входящия канал. Това ниво е толкова безопасно, колкото четвъртото по отношение на информацията, преминаваща от AI към нас, но тук е възможно нашата информация да изтече до AI.
Вярваме, че нашият комуникационен протокол - и това може да бъде проверено - надеждно ще предпази от изтичане на информация, дори ако AI знае неговото съдържание. Правилно прилагайки този протокол, човечеството ще бъде изключително ползотворно да използва услугите на свръх интелигентен оракул, а ИИ, ограничен от нашия протокол, е много по-безопасно, отколкото безплатно, неограничено. Общото правило е: ако не искате проблеми със сигурността, избягвайте комуникацията под UB4.
Искаме да насочим вниманието на научната общност към факта, че в условията на непрекъснато развитие на фундаментална физика, компютърни технологии и познания за природата на интелигентността е необходимо постоянно да се усъвършенства и разработва протоколът за ограничаване на свободата на AI. Работата по него винаги ще продължи и никога няма да свърши. В тази статия сме дали строги определения на понятията „проблем с ограниченията на AI“, „бягство“и „безопасни въпроси“. Бихме искали също да предложим няколко допълнителни условия, които могат да бъдат полезни, за да се опростят дискусиите за ПОЗИЦИЯ. AI затвореното пространство може да се нарече JAIL (Само за AI Location), а самият суперинтелигентен AI може да се нарече SING (Super Intelligent Gizmo). Терминът "SING" се отнася както до SINGularity, така и до скандалния затвор Синг Синг.което го прави лесен за запомняне.
И накрая, бихме искали да представим визуален символ за кутията, съдържаща опасната разузнавателна програма (Фигура 1, вдясно). Такива символи могат да бъдат поставени в близост до различни JAIL, за да се предупреди за опасност. Знакът за кутията AI е проектиран по аналогия със знаци за биологична опасност, радиация и магнитно поле. Състои се от символа "@", затворен в триъгълник, който е добре познат в индустрията на компютърните и информационните технологии. Този символ, означаващ „разположен на адрес“, присъства на всички клавиатури, което прави приемането му много рентабилно.
Фигура: 1. Символи за опасност отляво надясно: биологична опасност, радиация, магнитно поле и AI кутия.
5. Заключения и бъдеща работа
Ограничаването на достъпа на суперинтелигентни машини до реалния свят е решение на проблема със сигурността на AI, който в никакъв случай не е необичаен. Суперинтелигентността не е всемогъща. Това е програма, способна да разгледа всички избори, представени от дадена ситуация и да даде на всеки правилна оценка. Струва си да поставите AI в ситуация, в която няма избор или тя е ограничена до варианти с изключително малки шансове за успех, а супер-разузнаването ще бъде агент, който няма по-голяма власт от всеки друг. Очевидно AI с неограничен канал за комуникация може лесно да избяга, но свръх разузнаването, принудено да комуникира чрез филтриран канал за комуникация, ще трябва да работи усилено, за да се освободи.
В тази статия ние дадохме строго определение на проблема с ограничаването на свободата на ИИ и предложихме набор от правила, насочени към създаване на такова пространство, от което би било изключително трудно за АИ да избяга или поне да отнеме значително време. Предлаганото от нас решение не е напълно безопасно, но съществено допринася за събирането на методи за сигурност. Тук е точно както с истинските затвори: въпреки че бягството от тях е възможно, те все пак успяват да изпълнят поверената им задача с чест да държат нежеланите поданици далеч от обществото. Веднага щом имаме предвид „непознатите непознати“и си спомним за непостижимостта на абсолютната сигурност, можем да осъзнаем, че протоколът за ограничаване на ИИ е точно инструментът, от който човечеството се нуждае отговорно да използва Сингулярността, когато навлиза в нашата реалност.
Ограничаването на свободата на AI може да улесни за кратко време безопасното използване на наистина интелигентни машини, особено в ранните етапи на тяхното развитие. Освен това, по наше мнение, това подполе на изследванията за сингулярност е един от основните претенденти за признаването му от световната научна общност, тъй като изследванията на компютърната и мрежовата сигурност, стеганографията, компютърните вируси, скритите комуникационни канали, криптирането и кибервойната са добре финансирани. и са широко публикувани в реномирани научни списания. И въпреки че методологията за ограничаване на свободата изобщо не е лесна за прилагане, тя може да гарантира безопасността на човечеството за известно време, докато се появи някакъв по-добър инструмент.
В тази статия, поради ограниченото пространство, не повдигнахме много релевантни философски въпроси. Ще ги разгледаме в близко бъдеще и сега ще дадем само кратък списък. Кой AI ще попадне в полето: разработен от хора или извлечен от сигнала, прихванат по време на изпълнението на проекта „SETI“(„Търсене на извънземен разум“- „Търсене на извънземен разум“)? Ще бъде ли разкъсан ИИ на свобода или може би ще счита за щастие да живееш в затворено пространство? Можете ли сериозно да изплашите AI с наказание за опит да бягате? Какви са етичните правила за затваряне на невинно изкуствено интелигентно същество? Имаме ли право да го изключим, което по същество е равносилно на убийство? Ще се ядоса ли ИИ на враждебността ни към него и да го затвори в кутия? Ще се опита ли да си отмъстиако избяга? Освен това трябва да разгледаме проблема с човешката зависимост от препоръките на ИИ във всички области на науката, икономиката, медицината, политиката и т.н., както и как тази зависимост може да повлияе на способността ни да държим AI под контрол. Ще получи ли ИИ удовлетворение, като постигне целите си в затворено пространство, като симулиране на успешно бягство? Как да накажем ИИ, ако умишлено ни дава грешни отговори? Възможно ли е да отделим интелектуалните модули на ИИ от пространството, в което е затворен, като по този начин възпрепятства самоанализа на свръх разузнаването и го тласка по пътя на буквалното търсене на душата? И накрая, ние все още не сме се опитали да анализираме финансовите и изчислителни разходи за създаването на подходящо затворено пространство, където се осъществява пълномащабна симулация на света.трябва да разгледаме проблема с появата на човешката зависимост от препоръките на ИИ във всички области на науката, икономиката, медицината, политиката и т.н., и как тази зависимост може да повлияе на способността ни да държим AI под контрол. Ще получи ли ИИ удовлетворение, като постигне целите си в затворено пространство, като симулиране на успешно бягство? Как да накажем ИИ, ако умишлено ни дава грешни отговори? Възможно ли е да отделим интелектуалните модули на ИИ от пространството, в което е затворен, като по този начин възпрепятства самоанализа на свръх разузнаването и го тласка по пътя на буквалното търсене на душата? И накрая, ние все още не сме се опитали да анализираме финансовите и изчислителни разходи за създаването на подходящо затворено пространство, където се осъществява пълномащабна симулация на света.трябва да разгледаме проблема с появата на човешката зависимост от препоръките на ИИ във всички области на науката, икономиката, медицината, политиката и т.н., и как тази зависимост може да повлияе на способността ни да държим AI под контрол. Ще получи ли ИИ удовлетворение, като постигне целите си в затворено пространство, като симулиране на успешно бягство? Как да накажем ИИ, ако умишлено ни дава грешни отговори? Възможно ли е да отделим интелектуалните модули на ИИ от пространството, в което е затворен, като по този начин възпрепятства самоанализа на свръх разузнаването и го тласка по пътя на буквалното търсене на душата? И накрая, ние все още не сме се опитали да анализираме финансовите и изчислителни разходи за създаването на подходящо затворено пространство, където се осъществява пълномащабна симулация на света.
Автор: Роман Ямполски. Превод: Александър Горлов