Изкуственият интелект на Amazon, предназначен да сортира автобиографиите на търсещите работа, класира мъжете по-високо от жените. По-специално той отхвърли автобиографиите с думата „женски“и предложи да наеме кандидати, които използват типични мъжки глаголи в речта си, дори ако тези хора не притежават необходимите умения. В резултат на това компанията трябваше да затвори проекта.
Изкуствен HR интелект
Експертите за машинно обучение на Amazon са установили, че изкуственият интелект, който обработва възобновяването на кандидатите за позиции във фирмата, дискриминира жените, търсещи работа, съобщи Ройтерс. Тази функция не беше умишлено включена в системата - тя беше резултат от машинно обучение.
Двигателят за сортиране на възобновяване на изкуствен интелект се разработва в Amazon от 2014 г. от екип от 12 човека в Единбург. Още през 2015 г. компанията забеляза, че новата система не се придържа към принципа на полова неутралност при оценяване на кандидатите за позиции в разработката на софтуер и други технически свободни работни места.
Скоро разбраха причината: фактът е, че системата беше обучена по възобновените от компанията резюмета през последните 10 години. Повечето от тези автобиографии бяха държани от мъже, което в голяма степен отразява състоянието на нещата в ИТ индустрията. В резултат изкуственият интелект на Amazon научи, че търсещите работа мъже са предпочитани пред жените.
Езиково отхвърляне
Промоционално видео:
В резултат изкуственият интелект започна да изхвърля резюмета, съдържащи думата „жена“с такива изрази като „капитан на шахматния клуб за жени“. Механизмът също понижи оценките на абитуриентките на две женски колежи, но източниците на Ройтерс не посочиха имената им. При оценката на резюметата изкуственият интелект им дава между една и пет звезди - много подобно на това как купувачите оценяват продуктите на Amazon.
Системата обърна внимание и на други думи. Разработчиците са създали 500 компютърни модела за различни задачи и географски места. Всеки модел е обучен да разпознава около 50 хиляди сигнални думи, които присъстват в автобиографията на кандидата.
Забележително е, че механизмът игнорира думи, обозначаващи умения, които често се изписват в автобиографиите на ИТ специалисти, като способността да се пишат различни кодове и т.н. Вместо това системата проследява например типични глаголи за мъжка реч в самоописанието на кандидатите, като „изпълнени“(изпълнени) или „заловени“, тъй като те редовно се виждаха в стари резюмета, от които машината научи. При този подход дискриминацията между половете не беше единственият проблем - механизмът често препоръчваше хора, които нямат необходимите умения за позицията.
По-нататъшната съдба на проекта
Amazon е нагласил системата, така че тя вече не реагира на сигнални думи. Това обаче не е гаранция, че механизмът няма да намери друг начин за идентифициране на автобиографии, собственост на жените. В началото на 2017 г. компанията се разочарова от проекта и разпусна екипа. Източници на Ройтерс казват, че HR специалистите са взели предвид препоръките на системата, но никога не са разчитали само на тях.
Един от източниците казва, че проектът е затворен. Друг твърди, че в Единбург е сформиран нов екип, който да продължи да развива механизма, но този път с акцент върху справедливостта и включването. Друг източник съобщава, че силно модифицирана версия на двигателя сега се използва за извършване на рутинни работи, като премахване на дублиращи се резюмета от базата данни.