Изкуственият интелект активно се развива в Русия и по света - включително емоционален. Той се интересува от големи компании и амбициозни стартъпи, които въвеждат нови разработки в търговията на дребно, маркетинга, образованието, банковото дело и набирането на персонал. Според Mordor Intelligence пазарът за разпознаване на емоции е оценен на 12 милиарда долара през 2018 г. и ще нарасне до 92 милиарда долара до 2024 година.
Какво е емоционален AI
Емоцията AI (Emotion AI) е AI, която позволява на компютъра да разпознава, интерпретира и реагира на човешките емоции. Камера, микрофон или носим сензор чете състоянието на човек и невронна мрежа обработва данните, за да определи емоцията.
Има два основни начина за анализ на емоциите:
- Контакт. Човек се слага на устройство, което отчита неговия пулс, електрически импулси на тялото и други физиологични индикатори. Подобни технологии могат да определят не само емоциите, но и нивото на стрес или вероятността от епилептичен припадък.
- Безконтактни. Емоциите се анализират въз основа на видео и аудио записи. Компютърът научава изражения на лицето, жестове, движения на очите, глас и реч.
За да тренират невронна мрежа, учените по данни събират извадка от данни и ръчно маркират промяната в емоционалното състояние на човек. Програмата изучава модели и разбира кои признаци принадлежат към кои емоции.
Невронната мрежа може да бъде обучена по различни данни. Някои компании и лаборатории използват видеокасети, други изучават глас, а някои се възползват от множество източници. Но колкото по-разнообразни са данните, толкова по-точен е резултатът.
Помислете за два основни източника:
Промоционално видео:
Снимки и снимки от видео
Изображенията се обработват първо, за да се улесни работата с AI. Чертите на лицето - веждите, очите, устните и т.н. - са отбелязани с точки. Невронната мрежа определя позицията на точките, сравнява ги със знаците на емоциите от шаблона и заключава коя емоция е отразена - гняв, страх, изненада, тъга, радост или спокойствие.
Има и друг подход. Маркерите на емоциите веднага се забелязват по лицето - например усмивка или намръщени вежди. Тогава невронната мрежа търси маркери на изображението, анализира комбинациите им и определя състоянието на човека.
Изучаването на маркерите за емоции започва през 20 век. Вярно, тогава те се разглеждаха отделно от невронните мрежи. Учените Пол Екман и Уолас Фрисен разработиха системата за кодиране на лицето (FACS) през 1978 г. Разгражда изражението на лицето на отделни мускулни движения или Единични единици. Изследователят изучава двигателните единици и ги сравнява с емоцията.
Глас и реч
Невронната мрежа извлича много параметри на гласа от акустичния сигнал - например тон и ритъм. Тя изучава промяната им във времето и определя състоянието на говорещия.
Понякога за обучение се използва спектрограма - изображение, което показва силата и честотата на сигнала във времето. В допълнение, AI анализира речника за по-точни резултати.
Къде е използваната технология
Продажби и реклама
Най-очевидното използване на технологията за разпознаване на емоции е в маркетинга. С тяхна помощ можете да определите как рекламно видео влияе на човек. За да направите това, можете например да инсталирате структура с камера, която да променя рекламата в зависимост от настроението, пола и възрастта на хората, които минават покрай нея.
Подобен дизайн е разработен от стартиращи Cloverleaf и Affectiva. Те въведоха електронна реклама на етажерката, наречена шестPoint, която събира данни за емоциите на купувачите. Новите технологии са тествани от Procter & Gamble, Walmart и други големи компании. Според Cloverleaf продажбите са се увеличили с 10-40%, докато ангажираността на клиентите се е увеличила 3-5 пъти.
По-необичаен вариант е консултантът с роботи с изкуствен интелект. Той ще взаимодейства с клиенти, ще чете техните емоции и ще им влияе. И също така да направите персонализирани оферти.
Сервизният робот беше представен от руския стартиращ Promobot. Използва невронна мрежа, разработена от Neurodata Lab, която определя емоции от няколко източника наведнъж: записи на лице, глас, движения, както и честота на дишане и пулс.
Promobot активно продава своите роботи в чужбина. През 2018 г. стартиращият подписа договор с американската компания Intellitronix за 56,7 милиона долара, а през следващата се съгласи да достави устройства за Саудитска Арабия, Израел, Кувейт и Швеция - за тях компанията ще получи 1,1 милиона долара. Според Promobot, днес работят 492 робота в 34 страни по света като водачи, консиерж, консултанти и промоутъри.
Банките
Технологиите за разпознаване на емоции помагат на банките да получат обратна връзка на клиентите без анкети и да подобрят обслужването. В отделите са инсталирани видеокамери, а алгоритмите за запис определят удовлетвореността на посетителите. Невронните мрежи могат също да анализират гласа и речта на клиента и оператора по време на разговор до контактния център.
В Русия те се опитват да внедрят емоционален интелект за дълго време: той беше тестван в Сбербанк през 2015 г., а три години по-късно Алфа-Банк пусна своя пилотен анализ за емоции от видео. Освен записи от камери за наблюдение се използват и записи на разговори. VTB стартира пилотен проект за внедряване на емоционален интелект през 2019 г. А Росбанк, заедно с Neurodata Lab, вече тестваха определянето на емоциите на клиентите чрез глас и реч. Клиентът се обади в банката, а невронната мрежа анализира състоянието му и значението на разговора. В допълнение, AI забелязва паузи в речта на оператора, силата на звука на гласа и времето за комуникация. Това позволи не само да се провери удовлетвореността от услугата, но и да се наблюдава работата на операторите на контактните центрове.
Сега Росбанк внедри собствено решение за разпознаване на емоции. Вместо звуков сигнал системата анализира текста, докато точността остава висока.
Центърът за речеви технологии също участва в разпознаването на емоциите в речта (Сбербанк притежава мажоритарен дял). Услугата Smart Logger анализира гласа и речника на клиентите и операторите, времето за разговори и паузите, за да разбере удовлетвореността от услугата.
Развлекателна сфера
Системите за разпознаване на емоции могат да се използват за оценка на реакцията на публиката към филм. Дисни през 2017 г. в сътрудничество с учени проведе експеримент: инсталира камери в кино и свърза алгоритми за дълбоко обучение, за да оцени емоциите на зрителите. Системата може да прогнозира реакциите на хората, като ги наблюдава само за няколко минути. По време на експеримента събрахме впечатляващ набор от данни: 68 маркера от всеки от 3179 зрители. Общо са получени 16 милиона изображения на лица.
За същата цел YouTube видео хостингът е създал собствен AI, наречен YouFirst. Тя позволява на видео блогъри и фирми да тестват съдържание преди пускането му в платформата. Потребителите кликват върху специална връзка, съгласяват се да заснемат видео и да гледат видеото. По това време невронната мрежа определя техните реакции и изпраща данните на собственика на канала.
Сред руските компании реакциите към видеоклипове могат да бъдат анализирани, например, от Neurobotics. Компанията е разработила програмата EmoDetect, която разпознава радост, тъга, изненада, страх, гняв, отвращение и неутралитет. Програмата изследва до 20 локални черти на лицето в замразени рамки и серия от изображения. Системата анализира двигателните единици и използва технологията за кодиране на лице FACS. Възможно е да записвате видео от уеб камера. API на EmoDetect ви позволява да интегрирате продукта с външни приложения.
Емоционалният AI също започва да се прилага в игралната индустрия. Той помага за персонализиране на играта и добавяне на повече взаимодействие с геймъра.
Например американската емоционална AI компания Affectiva помогна за създаването на психологическия трилър Nevermind. Напрежението зависи от състоянието на играча: сюжетът става по-тъмен, когато е подложен на стрес, и обратно.
образование
Разпознаването на емоциите важи и за образованието. Може да се използва за изучаване на настроението и вниманието на учениците по време на учебния час.
Руските разработчици са приложили емоционален ИИ в Перм. Импулсът за развитието на технологиите бяха атаките на учениците върху учениците в началното училище и учителя. Rostelecom и стартиращият New Vision разработиха програмата Smart and Safe School за наблюдение на емоционалното състояние на децата. Това ще помогне да се идентифицират асоциалните юноши преди настъпването на трагедия.
Той се основаваше на системата Пол Екман. Невронната мрежа анализира най-малките мускулни движения, използвайки 150 точки на лицето. По време на урока беше събрано голямо количество данни: 5-6 хиляди кадъра за всеки ученик. Програмата проучи набора от данни и изчисли емоционалното състояние на всяко дете. Според създателите точността е била 72%.
HR
Емоционалният ИИ може да бъде полезен в работата с персонала. Той помага да се определи състоянието на служителя, да се забележи навреме неговата умора или недоволство и по-ефективно да се преразпределят задачите.
Освен това технологията помага при набирането на персонал. С помощта на емоционален AI можете да проверите кандидат за работа или да хванете лъжа по време на интервю.
Американската компания HireVue използва изкуствен интелект за оценка на кандидатите. Кандидатът преминава през видео интервю, а невронната мрежа определя неговото състояние по ключови думи, интонация на гласа, движения и изражение на лицето. AI подчертава важните за работата задачи и дава оценки, а HR мениджърът избира подходящите кандидати.
Базираното в Лондон стартиране на Human използва видео, за да идентифицира емоциите и да ги съпостави с черти на характера. След видеоинтервюто набирачите получават доклад, в който се казва колко честен, любопитен, развълнуван, ентусиазиран или уверен е кандидатът и как е отговорил на въпросите.
Лекарство
В тази област ще бъдат полезни не само безконтактните, но и контактните методи за определяне на емоциите. Те се внедряват активно от чуждестранни стартъпи - например Affectiva и Brain Power. Разработките на компаниите включват AI очила, които помагат на деца и възрастни с аутизъм да разпознаят емоциите на други хора и да развият социални умения.
Но невронните мрежи могат да помогнат на пациентите без носими сензори. Учени от Масачузетския технологичен институт създадоха невронна мрежа, която открива депресия чрез анализ на речта на човек. Точността на резултата беше 77%. А startup Beyond Verbal използва AI за анализ на психичното здраве на пациентите. В този случай невронната мрежа избира само биомаркери за глас от аудио записа.
Автомобили
Масачузетският технологичен институт разработва AI, наречен AutoEmotive, който ще определи състоянието на водача и пътниците. Той не само ще следи нивото на стрес, но и ще се опита да го намали - като пусне мека музика, регулира температурата в кабината или предприема по не толкова натоварен маршрут.
Ограничения на емоционалния AI
Невронната мрежа не може да вземе предвид контекста
AI се е научил да идентифицира основните човешки емоции и състояния, но засега не се справя добре с по-сложни ситуации. Учените отбелязват, че изражението на лицето не винаги точно показва как човек наистина се чувства. Усмивката му може да бъде призрачна или саркастична и това може да се определи само от контекста.
Експертите на NtechLab смятат, че все още е трудно да се определи точно причината за тази или онази емоция.
NtechLab подчертава, че е необходимо да се разпознават не само изражението на лицето, но и човешките движения. Различните данни ще направят емоционалния ИИ много по-ефективен. Даниел Киреев, водещ изследовател в компанията за разработка на продукти за разпознаване на лица VisionLabs, е съгласен с това. Според него с голямо количество данни точността на алгоритмите се увеличава.
„Има грешки, броят им зависи от много фактори: качеството на обучителната извадка, обучената невронна мрежа, данните, по които работи финалната система. Чрез добавяне на информация от различни източници - например глас - можете да подобрите качеството на системата. В същото време е важно да разберем, че по лицето по-скоро определяме изражението му, отколкото крайната емоция. Алгоритъмът може да се опита да определи симулираната емоция, но за това развитието на технологията трябва да направи малка крачка напред “, казва Даниил Киреев.
Лошо оборудване
Външните фактори влияят върху качеството на алгоритмите. За да бъде точността на разпознаването на емоции висока, видеокамерите и микрофоните трябва да са с високо качество. В допълнение, резултатът се влияе от осветлението, положението на камерата. Според Даниил Киреев неконтролираните условия усложняват процеса на определяне състоянията на човек.
За да се развие емоционалният ИИ, се нуждаете от качествен хардуер. Ако намерите добро оборудване и го конфигурирате правилно, точността на резултатите ще бъде много висока. И когато стане по-достъпно и широко разпространено, технологиите за разпознаване на емоции ще бъдат подобрени и внедрени по-активно.
„Точността на системата зависи от много фактори. Основното е качеството на неподвижните кадри от камерата, които се дават на системата за разпознаване. Качеството на неподвижните кадри от своя страна се влияе от настройките и характеристиките на камерата, матрицата, осветлението, местоположението на устройството, броя на лицата в кадъра. С правилната конфигурация на хардуера и софтуера е възможно да се постигне точността на откритата емоция до 90-95% “, отбелязва Виталий Виноградов, продуктов мениджър на облачното видео наблюдение и видео аналитичната служба Ivideon.
Технологична перспектива
Сега в Русия емоционалният ИИ само набира скорост. Стартъпите разработват технологии и пускат на пазара своите продукти, а клиентите ги тестват с повишено внимание.
Но Gartner изчислява, че до 2024 г. повече от половината онлайн реклами ще бъдат направени с помощта на емоционален AI. Компютърното зрение, което се използва за откриване на емоции, ще се превърне в една от най-важните технологии в следващите 3-5 години. И MarketsandMarkets прогнозира, че пазарът за анализ на емоции ще се удвои до 2024 г. - от 2,2 милиарда до 4,6 милиарда долара.
Освен това големите компании проявяват интерес към разпознаването на емоции - например Procter & Gamble, Walmart, VTB, Rosbank, Sberbank и Alfa-Bank. И местните стартъпи разработват пилотни проекти, които ще станат готови решения за бизнеса в бъдеще.
Евгения Хрисанфова
