Skywaylab создала Animart, AI-продукт по генерации, автоматическому ригу и анимации персонажей

Использование нейросети в связке с собственной разработкой позволило студии Skywaylab сократить время производства креативов с 20 до 2 дней. Сейчас на базе нового пайплайна студия готовит к релизу собственный инструмент для создания 2D-анимации. Как он будет работать, — рассказал Алексей Емельянов, один из основателей Skywaylab.

Алексей Емельянов

С чего все началось?

Каждый, кто занимается анимацией, знает, что создание креатива — это большая и сложная задача, состоящая из множества итераций. На создание одного анимационного видео может уйти две-три недели.

Только на создание персонажа уходит от шести дней. Из них на разработку арта у художника тратится до трех дней. Далее, чтобы грамотно нарезать персонажа, создать кости и контроллеры управления и анимировать — нужно еще столько же, а порой и больше.

Учитывая поточный характер подобной работы (команды постоянно готовят новые креативы для тестов, экспериментируют с сюжетами, их подачей), мы на протяжении всей истории студии искали возможность упростить этот рутинный пайплайн.

Летом прошлого года, когда только-только началась шумиха вокруг генеративных нейросетей, мы сразу задались вопросом: а можно ли их обучить нашему ремеслу и на базе AI создать инструмент, который возьмет на себя всю техническую рутину (от отрисовки персонажей до их анимации), а заодно автоматизирует UI и постобработку?

Как быстро выяснилось в ходе нескольких экспериментов — да, можно!

В результате мы запустили внутри Skywaylab два новых подразделения — отдел исследования нейросетей и отдел разработки инструментов на базе AI. Мы поставили перед ними четыре задачи:

• научить нейросеть создавать арт в точно заданном стиле;
• научить нейросеть рисовать персонажей по частям (отдельно голову, шею, руки и ноги, а также, если есть, крылья, хвост и т.д.);
• научить нейросеть самостоятельно ригать персонажа;
• научить нейросеть анимировать персонажа по заданному сценарию.

За несколько месяцев нам удалось создать продукт, который решает все эти задачи. Уже первая тестовая версия сократила время производства креативов на 20%. В настоящий момент прирост эффективности с использованием нашего инструмента достиг 1000%: раньше мы тратили на производство одного ролика 20 дней, сейчас — максимум два дня.

Как это работает?

Наш продукт называется Animart. Он построен на базе искусственного интеллекта и является расширением для Adobe After Effects (далее — AE). Мы постарались органично интегрировать его в среду АЕ, чтобы сохранить привычную логику продуктов Adobe.

Пользовательский сценарий работы выглядит так:

• дизайнер устанавливает расширение в AE;
• используя конструктор, дизайнер задает пропорции будущего персонажа;

• для дальнейшей визуализации пользователь описывает персонажа, например, дает следующий промт: «большой мохнатый зеленый медведь в желтом пуховике»;

• запрос улетает на сервер Skywaylab, где находится нейросеть, обученная на нашем арте;
• через несколько секунд пользователь получает сгенерированного и сразу разобранного на части персонажа (можно получить несколько вариантов визуализации одновременно и после выбрать наиболее подходящий результат);

пользователь жмет на кнопку «авториг» и получает готовую к анимации модель;

• дальше остается только выбрать подходящую анимацию из библиотеки Animart (можно также пополнить библиотеку собственной анимацией);

• все анимации применяются к персонажу мгновенно, независимо от его разрешения, строения или формы;
• финальный этап — анимации отправляются на рендер.

Но это только начало.

Что дальше?

В обозримом будущем мы планируем добавить в Animart:

• 3D-манекен, который позволит указывать нейросети, с какого ракурса следует генерить 2D-изображение персонажа;
• псевдо 3D-камеру, которая позволит динамически менять ракурс визуализации персонажа (можно будет выставлять ключи и изменять ракурс персонажа, так, словно камера движется относительно персонажа по заданной траектории и в заданном темпе);
• функцию, имитирующую многокамерную съемку с несколькими взаимодействующими персонажами в одной сцене;
• функцию анимации фонов и окружения;
• магазин анимаций, в рамках которого дизайнеры смогут размещать и продавать собственных персонажей и пресеты анимации, последние будут категоризироваться по ключевым словам, рейтингам и популярности.

Что будет с командой?

Ранее, чтобы успевать реализовывать по 500 креативов в месяц, нам пришлось увеличить производственную команду до 200 человек.

Но это не значит, что после внедрения во внутренние процессы Animart мы сократили количество дизайнеров.

Объем заказов стремительно растет, и наша краткосрочная задача — выйти на производство от 6000 креативов в месяц.

С Animart для нас это сегодня не выглядит фантастикой.