В продължение на няколко години през 80-те години на миналия век кандидатите в Медицинското училище на болница „Сейнт Джордж“в Лондон бяха избрани с помощта на високотехнологичен метод. Компютърна програма, една от първите по рода си, сканира възобновява, избирайки от всички приложения около 2000 кандидати годишно. Програмата преразгледа досиетата за приемане, изследвайки характеристиките на успелите кандидати и коригира, докато решенията му не съответстват на становището на приемателната комисия.
Програмата обаче се е научила да намира повече от добри оценки и признаци на академични постижения. Четири години след изпълнението на програмата двама лекари в болницата установяват, че програмата има тенденция да отхвърля кандидатки за жени и лица с неевропейски имена, независимо от академичните им заслуги. Лекарите откриха, че около 60 кандидати просто са били отказвани от интервюта всяка година поради техния пол или раса. Програмата включи половите и расовите пристрастия в данните, използвани за нейното обучение - всъщност тя научи, че лекарите и чужденците не са най-добрите кандидати за лекари.
Тридесет години по-късно ние сме изправени пред подобен проблем, но програмите с вътрешни предубеждения вече са по-широко разпространени и взимат решения с още по-големи залози. Алгоритмите за изкуствен интелект, базирани на машинно обучение, се използват от всичко, от правителствените агенции до здравеопазването, вземане на решения и прогнози въз основа на исторически данни. Проучвайки модели в данните, те също поглъщат пристрастията в данните. Google например показва повече реклами за нископлатени работни места на жени, отколкото на мъже; Еднодневното корабоплаване на Amazon заобикаля черните квартали, а цифровите камери се борят да разпознаят небелите лица.
Трудно е да се разбере дали алгоритъмът е предубеден или справедлив и дори компютърните експерти смятат така. Една от причините е, че подробностите за създаването на алгоритъма често се считат за собствена информация, така че те внимателно се пазят от собствениците. В по-сложни случаи алгоритмите са толкова сложни, че дори създателите не знаят как точно работят. Това е проблемът на така наречената „черна кутия“на AI - нашата неспособност да видим вътрешността на алгоритъма и да разберем как се стига до решение. Ако бъдем затворени, нашето общество би могло да бъде сериозно повредено: дигиталната среда олицетворява историческата дискриминация, срещу която сме се борили в продължение на много години, от робството и крепостта до дискриминацията на жените.
Тези опасения, изразени преди в малките общности за компютърни науки, сега набират все по-голяма скорост. През последните две години в тази област се появиха доста публикации относно прозрачността на изкуствения интелект. Заедно с това осъзнаване расте и чувството за отговорност. „Има ли нещо, което не бива да строим?“, Пита Кийт Крофорд, изследовател в Microsoft и съосновател на AI Now Insitute в Ню Йорк.
„Машинното обучение най-накрая излезе на преден план. Сега се опитваме да го използваме за стотици различни задачи в реалния свят “, казва Рич Каруана, старши учен в Microsoft. „Възможно е хората да могат да разгърнат злонамерени алгоритми, които значително ще повлияят на обществото в дългосрочен план. Изведнъж, всички изведнъж разбраха, че това е важна глава в нашата област."
Промоционално видео:
Неоторизиран алгоритъм
Използваме алгоритми отдавна, но проблемът с черната кутия е безпрецедентен. Първите алгоритми бяха прости и прозрачни. Все още използваме много от тях - например за оценка на кредитоспособността. С всяка нова употреба регулацията влиза в игра.
„Хората използват алгоритми за оценка на кредитоспособността от десетилетия, но в тези области има някои доста силни селища, които нарастват паралелно с използването на прогнозни алгоритми“, казва Каруана. Нормативните правила гарантират, че алгоритмите за прогнозиране предоставят обяснение за всеки резултат: отказали сте се, защото имате много кредит или твърде малък доход.
В други области, като правната система и рекламата, няма правила, забраняващи използването на умишлено нечетливи алгоритми. Може да не знаете защо ви е отказан заем или не сте наети, защото никой не принуждава собственика на алгоритъма да обясни как работи. „Но ние знаем, че тъй като алгоритмите се обучават върху данни от реалния свят, те трябва да бъдат предубедени - защото реалният свят е пристрастен“, казва Каруана.
Помислете например за езика като един от най-очевидните източници на пристрастие. Когато алгоритмите се обучават от писмен текст, те образуват някои асоциации между думите, които се появяват заедно по-често. Например, те научават, че „един мъж да бъде компютърен програмист е същото като за жена да бъде домакиня“. Когато този алгоритъм има задачата да намери подходящо резюме за работа на програмист, той вероятно ще бъде избран измежду кандидатите от мъжки пол.
Проблеми като тези се отстраняват доста лесно, но много компании просто няма да го направят. Вместо това те ще скрият такива несъответствия зад щит на защитена информация. Без достъп до подробностите на алгоритъма експертите в много случаи няма да могат да определят дали има пристрастие или не.
Тъй като тези алгоритми са секретни и остават извън юрисдикцията на регулаторите, за гражданите е почти невъзможно да съдят създателите на алгоритмите. През 2016 г. Висшият съд в Уисконсин отхвърли искането на лице за преглед на вътрешното функциониране на КОМПАС. Мъжът Ерик Ломис беше осъден отчасти на шест години затвор, защото COMPAS го счете за "високорисков". Ломис казва, че правото му на надлежен процес е нарушено от зависимостта на съдията от непрозрачен алгоритъм. Окончателното заявление до Върховния съд на САЩ не успя през юни 2017 г.
Но тайните компании няма да се радват на свободата си за неопределено време. До март ЕС ще приеме закони, които ще изискват компаниите да могат да обясняват на заинтересованите клиенти как работят техните алгоритми и как се вземат решения. САЩ няма подобно законодателство.
Черна кутия криминалисти
Независимо от това дали регулаторите участват във всичко това, културната промяна в начина на проектиране и внедряване на алгоритмите може да намали разпространението на пристрастни алгоритми. Тъй като все повече компании и програмисти се ангажират да направят алгоритмите си прозрачни и обясними, някои се надяват, че компаниите, които не го правят, ще загубят добрата си репутация пред очите на обществеността.
Нарастването на изчислителната мощност направи възможно създаването на алгоритми, които са едновременно прецизни и обясними - техническо предизвикателство, което разработчиците исторически не успяха да преодолеят. Последните изследвания сочат, че могат да бъдат създадени обясними модели, които прогнозират повторната поява на престъпници толкова точно, колкото и черна кутия на криминалисти като COMPAS.
„Готово сме - знаем как да създаваме модели без черни кутии“, казва Синтия Рудин, доцент по компютърни науки и електротехника в университета Дюк. „Но не е толкова лесно да привлечем вниманието на хората към тази работа. Ако държавните агенции спрат да плащат за модели с черни кутии, това ще помогне. Ако съдиите откажат да използват модели на черни каси за присъда, това също ще помогне. “
Други работят за измисляне на валидността на алгоритмите чрез създаване на система от проверки и баланси преди пускането на алгоритъма в света, както всяко ново лекарство се тества.
„Моделите се правят и внедряват твърде бързо сега. Няма правилно валидиране преди пускането на алгоритъма “, казва Сара Тан от университета Корнел.
В идеалния случай разработчиците трябва да отклонят известните пристрастия - като пол, възраст и раса - и да пуснат вътрешни симулации, за да тестват алгоритмите си за други проблеми.
Междувременно, преди да стигнете до точката, в която всички алгоритми ще бъдат внимателно тествани преди пускането, вече е възможно да се определи кои от тях ще страдат от пристрастия.
В най-новата си работа Тан, Каруана и техните колеги описаха нов начин да разберат какво може да се случва под капака на алгоритмите на черната кутия. Учените създадоха модел, който имитира алгоритъма на черната кутия, научавайки се да оценява риска от рецидивизъм, използвайки данни на COMPAS. Те също така създадоха друг модел, който се обучаваше на данни от реалния свят, за да покаже дали прогнозираният рецидив е действително настъпил. Сравняването на двата модела позволи на учените да оценят точността на прогнозирания резултат без да анализират алгоритъма. Разликите в резултатите на двата модела могат да показват кои променливи, като раса или възраст, могат да бъдат по-важни в конкретен модел. Резултатите от тях показаха, че COMPAS дискриминира чернокожите хора.
Добре разработените алгоритми могат да премахнат дългогодишните предубеждения в наказателното правораздаване, полицията и много други области на обществото.
Иля Кел
