Наука и технологии
11 января 2022
6 минут
Поделиться

Делая «новых» людей: будущее за цифровыми двойниками?

Авторитетное агентство Gartner признало deepfake стратегическим трендом 2022 года. И хотя многие по‑прежнему воспринимают deepfake исключительно как создание «поддельных видео со знаменитостями развлекательного характера», технология шагнула вперед, превратившись в полноценный бизнес‑инструмент, который используют в рекламе, кино, образовании и многих других сферах. IPQuorum пообщался с генеральным директором Deepcake.io. Марией Чмир. Благодаря ей Брюс Уиллис «снялся» в мини-сериале «МегаФона» «Напарники», а Павел Майков обрел вторую молодость в сериале «Контакт».

Делая «новых» людей: будущее за цифровыми двойниками?

Иллюстрация: IPQuorum

Технология

Рекламные агентства и кинопродакшены прибегают к нашим услугам, когда не могут привлечь селебрити из-за закрытых границ, занятости на другом проекте, болезни или если по сюжету в проекте должен предстать состарившийся или умерший актер. Наша задача — снять с создателей контента ограничения по работе с персонажами, если они возникают.

Генерация лиц позволяет снизить затраты на работу со звездами от 30 до 90%.  Если нет необходимости организовывать съемочный процесс, то чек уменьшается с тысяч долларов до десятков — это тотальная реформация рынка производства видео.

Наши технологии могут помочь генерировать и использовать образы умерших актеров, музыкантов, исторических личностей.

Конечно, существуют некоторые ограничения по ракурсам и по свету. Но нейросети постоянно обучаются и с каждым разом дают более реалистичный результат. Например, мы создали мультиколористичную модель, которая может воссоздавать образ в любое время суток при различном освещении. Думаю, скоро мы вас удивим нашими успехами в этой сфере.

Помимо креативного сектора (кинематограф, реклама, дизайн, медиа и искусство) технологию уже сейчас используют в образовательном сегменте. Для учебного курса «Газпрома» мы сгенерировали известного эксперта, который не мог принять участие в записи.

Брюс Уиллис и его «напарники»

Сначала мы нашли 34 000 фрагментов с Брюсом Уиллисом в нужном свете, под определенными углами и с нужными эмоциями, и затем преобразованные данные были загружены в нейронные сети, которые с хирургической точностью воссоздали лицо Брюса поверх лица двойника. Процесс занял две недели.

Первым дублером Уиллиса стал актер Константин Соловьев. Из множества претендентов именно его тесты были реалистичнее всего: совпали все необходимые метрики и пропорции. Но так как это многосерийный рекламный блокбастер, в новых эпизодах, начиная с экстравагантного видео с пандами, появился новый «холст» для образа Брюса — Виталий Кондрашов.

Вторая молодость Павла Майкова

Создателями «Контакта» была выбрана технология face-de-aging, а не стандартный для российских сериалов грим, для того чтобы флешбек выглядел максимально правдиво. Благодаря технологии удалось показать зрителям Павла Майкова с мастерством 2021 года и лицом 2002 года.

Для омоложения героя нейросетевым способом было улучшено качество кадров, а искусственный интеллект на их основе научился воссоздавать молодое лицо в нужных ракурсах. Обучение алгоритма заняло 15 дней, а затем разработчики применили к лицу героя еще один инновационный фильтр: с помощью нейросети они дополнительно разгладили морщины на лбу, выдававшие возраст. Получившийся результат комментировать не буду, вы все видели сами.

Это первое омоложение на российском телеэкране с использованием искусственного интеллекта. Думаю, что это может стать нормой. Гротескный грим и дорогостоящая компьютерная графика ― уже не лучшее решение на этом рынке. Тем более что face-de-aging не подменяет реальной актерской игры и никак не влияет на выразительность актеров в кадре.

Это открывает широкие возможности для байопиков.  Например, VFX-продакшен картины «Высоцкий. Спасибо, что живой» признались, что технология face-de-aging намного облегчила бы задачу создателям фильма и Сергею Безрукову, исполняющему роль Высоцкого. Картинка была бы однозначно реалистичнее.

Кастинг-агентство будущего

В планах ― создать агентство «артистов», чья внешность генерируется алгоритмами. Нанять их будет проще, чем реальных людей. Для обычных актеров подобные инновации не угроза, а дополнительные возможности. Представьте, им больше не придется выбирать один из десяти интересных проектов, они смогут одновременно участвовать сразу в нескольких фильмах, которые будут сниматься на разных концах земного шара.

При этом мы можем создавать как уникальных цифровых актеров, так и использовать цифровые копии реальных артистов, одно другому не мешает.

Безусловно, согласие актера ― обязательное условие. Мы работаем только с теми клиентами, которые получили права на использование тех или иных образов. В этой сфере очень много нюансов. У персонажей тоже есть правообладатели. То есть если мы хотим взять конкретный образ конкретного актера, то должны получить два согласия: от актера и от правообладателя персонажа, как в случае с рекламой «Сбера» с Леонидом Куравлевым в роли Жоржа Милославского. Клиент получал согласие не только у правообладателей образа актера, но и от «Мосфильма», который владеет правами на образ из легендарного фильма.

Конечно, подобные алгоритмы осуществляют переворот в индустрии. Весь мир стремительно несется в виртуальное пространство. Вполне возможно, скоро мы будет платить не за генерацию цифровых копий, а за то, чтобы контент, который мы потребляем, был «настоящим». Появится выбор: смотреть реальных артистов или сгенерированных. В новой реальности посещение театра с настоящими актерами станет чем-то эксклюзивным.

Право на образ

Если мы говорим о создании некоего продукта, например картины, которую создал искусственный интеллект, то в этом случае признать авторские права за искусственным интеллектом будет целесообразно. Но если — о цифровой копии существующего человека, то, конечно, все права за правообладателями образа.

Мы развиваем свою библиотеку цифровых двойников знаменитостей, в которой уже есть несколько ярких голливудских селебрити. Начать работать и воссоздавать образ мы можем только после предоставления договора о согласии на использование цифровой копии от человека или правообладателей его образа, чью копию мы создаем.

Конечно, от случаев, когда дипфейки создаются незаконно и приносят финансовый и репутационный урон, никто не застрахован. Обезопасить себя от этого можно одним способом — не публиковать свои данные в публичном пространстве.

Как работать с такими кейсами в репутационном ключе — каждый решает сам. Например, бизнесмен и основатель Flocktory и Dbrain Дмитрий Мацкевич  отреагировал на дезинформацию с юмором и похвалил ребят за находчивость.

Если бы мой образ был использован незаконно и нанес бы ущерб бизнесу или личности, я бы обратилась к юристам и в правоохранительные органы.

Кроме того, в наших планах ― создание детектора, который сможет отличать «подделку» от оригинала. Но следует понимать, что генеративные технологии устроены так, что каждая следующая «подделка» лучше предыдущей.  И даже самая лучшая технология детекции всегда будет отставать на полшага. Я как-то говорила, что мы уже живем в обществе симуляций, и, на мой взгляд, deepfake даже честнее, чем другие симуляции, с которыми мы порой сталкиваемся.

Что касается того, снизят ли истории с deepfake доверие к певцам, актерам,  разного рода инфлюенсерам, которых привлекают рекламные агентства, то «девальвация звездности» — феномен, который неизбежно наберет популярность благодаря генеративным технология.