С развитието на невронните мрежи и технологиите за машинно обучение, обхватът на тяхното приложение също се разширява. Ако по-рано невронните мрежи са се използвали изключително за извършване на сложни математически, медицински, физически, биологични изчисления и прогнозиране, сега тези технологии набират широка популярност в по-"светска" среда - в областта на забавлението. Правейки само първите стъпки в тази посока, те вече са способни да демонстрират невероятни, а понякога дори изключителни резултати. Днес ще анализираме няколко илюстративни примера.
Процесът на видео ремастериране е толкова сложен и отнема много време, че може би никога не сме виждали много шедьоври на световната класика с нова, модерна, ясна и сочна картина. Светът обаче е пълен с умни фенове и ентусиасти, които са добре запознати с новите технологии и в частност невронните мрежи и технологиите за машинно обучение, с които можете да постигнете невероятни резултати дори и у дома. Например, потребителят на YouTube Стефан Румен с псевдонима CaptRobau реши да демонстрира някои от възможностите на невронните мрежи при обработката на видеоклипове от стара научнофантастична поредица.
По-ранната му работа е Remako Mod, „HD римейк“на класическия и много популярен японски RPG Final Fantasy VII, наречен. За да направи това, той използва алгоритъма AI Gigapixel AI, с който успя да мащабира изображението на оригиналната картина 4 пъти, превръщайки я в HD резолюция без значителни промени в оригиналния арт дизайн. По този начин, докато чакате още десетилетие до момента, в който японският разработчик и издател на компютърни игри Square Enix официално пуска ремастер на може би една от най-добрите части от тази поредица от игри, можете сами да изпробвате мода на Стефан Румен, като го изтеглите от този сайт.
Между другото, наскоро технологията на невронните мрежи за ремастериране на стари игри и привеждането им към по-уместен и модерен вид без промяна на общата оригинална концепция се превърна в истинска тенденция сред различните модери. Например, не толкова отдавна говорихме за ESRGAN (Enhanced Super Resolution Generative Adversarial Networks) технология, която внедрява технологии за мащабиране на изображения с увеличение на качеството с 2-8x. Алгоритъмът се захранва с оригиналното изображение с ниска разделителна способност, след което той не само увеличава оригиналната разделителна способност на последната, но и подобрява качеството на изображението, рисувайки върху реалистични детайли и прави текстурите „по-естествени“.
Сравнение на качеството на текстурата: отляво е оригиналната текстура от играта Morrowind, отдясно - обработена от невронната мрежа.
Герой от Doom (вляво - бе, дясно - стана).
Фонова обработка в Resident Evil 3.
Промоционално видео:
Както и да е, в интервалите между ремастерирането на „Седмия финал“Стефан Румен реши да предприеме друг проект - да използва същата технология за машинно обучение, но този път да обработи кадрите от класическата научнофантастична поредица от 90-те. Румен избра Star Trek: Deep Space Nine като обект за своите експерименти.
Мащабирането на живо изображение на телевизионен сериал е много различно по сложност от мащабиране на предварително представено изображение на Final Fantasy VII, отбелязва авторът, така че крайният резултат, макар да изглежда забележимо по-добър от оригиналните материали с ниска разделителна способност, но тази картина все още е далеч от идеалния, за който можехте да мечтаете, тъй като първите Blu-ray плейъри попаднаха на пазара. Понякога на екрана се появяват малки „артефакти“. Но отново, като цяло, всичко изглежда повече от достойно. Но като цяло, вижте сами.
За този проект Румен използва и алгоритъма AI Gigapixel, който е обучен да редактира изображения въз основа на реални снимки. Авторът отбелязва, че новата картина е получена през 1080p и 4k, но тъй като Румен няма телевизор или монитор с естествена 4K резолюция, той не може да оцени адекватно 4K версията.
За съжаление не можете да гледате цялата серия в Full HD качество. Процесът на обработка на целия изходен материал би отнел много дълго време, така че Румен използва само отделни кадри от различни серии за демонстрацията. Според него той се зае с този проект само по една причина - да покаже, че той наистина е възможен. Според него цял екип от професионалисти, работещи в голяма телевизионна компания и разполагащи с по-подходящо и мощно компютърно оборудване за подобна работа, ще може да се справи с тази задача много по-добре.
Използването на невронни мрежи за опростяване на работата по обработка на стари изображения от видео игри и филми не са единствените области, в които подобни технологии са в състояние да покажат своите таланти. В съвременния свят, където панорамните камери, способни да произвеждат 360 градуса, както и слушалки за виртуална реалност, набират популярност, разработчиците започнаха активно да изследват потенциала на панорамната фотография.
Едно от най-новите разработки в тази посока е невронна мрежа, способна да звучи панорамни статични изображения. Той е автор на експерти по машинно обучение от Масачузетските университети, Колумбийския университет и Джордж Мейсън.
Създаденият алгоритъм определя типа среда и обекти на снимката, след което избира и подрежда звуци от използваната база данни в съответствие с пространственото изчисление на разстоянието до техните източници в това изображение. Благодарение на това панорамното изображение придобива реалистичен и просторен звук, който ви позволява да оцените представеното изображение по напълно нов начин.
Според разработчиците на тази невронна мрежа технологията може да намери интерес сред разработчиците на VR съдържание (филми и игри). Последното, в този случай, няма да трябва ръчно да наслагва всички звуци на панорамното изображение, невронната мрежа ще може да направи всичко сама.
Николай Хижняк