NVIDIA Omniverse Audio2Face

Бета-версия

Omniverse Audio2Face

Простое и быстрое создание выразительной лицевой анимации 3D-персонажа на основе звуковой дорожки с технологией глубокого обучения NVIDIA.

Лицевая анимация — это легко!

Omniverse Audio2Face (бета-версия) — это референсное приложение, которое на основе анализа аудиодорожки позволяет легко анимировать 3D-персонажа для игры, фильма, виртуальных цифровых ассистентов или просто для развлечения. Используйте Audio2Face для интерактивных приложений в реальном времени или в качестве традиционного инструмента для создания лицевой анимации. Редактируйте готовую анимацию или оставьте исходный вариант.

Принцип работы

Чтобы вам было легко начать работу с Audio2Face, мы предварительно загрузили готовую модель персонажа Digital Mark. Просто выберите нужную звуковую дорожку и импортируйте ее в приложение. Затем эти аудиоданные поступают в предварительно обученную глубокую нейронную сеть, а выходные данные управляют набором 3D-вершин mesh-объекта, в результате чего создается анимация. На этапе постобработки вы также можете изменить некоторые параметры вашего персонажа. На этой странице представлены в основном необработанные выходные данные Audio2Face без постобработки (или с минимальными изменениями).

Приложение Omniverse Audio2Face
 
Audio2Face генерирует лицевую анимацию с помощью аудиоданных.

Аудоданные

В реальном времени или на основе готовой записи

Просто запишите звуковую дорожку, загрузите ее в приложение и посмотрите, как оживает ваша 3D-модель. Для создания лицевой анимации в реальном времени используйте микрофон.

В будущем Audio2Face сможет обрабатывать любые языки. Количество поддерживаемых языков будет постоянно расти.  

Перенос персонажа

Мгновенная замена лиц

Audio2Face позволяет перенести лицевые анимации, предназначенные для одного персонажа, на другого: как реалистичного, так и стилизованного. Посмотрите, как мы переносим анимацию с персонажа Digital Mark на носорога.

 
Анимация любого персонажа с Audio2Face
 
Используйте разные инстансы для создания анимации нескольких персонажей.

Масштабирование результатов

Анимация одного или нескольких персонажей

Можно с легкостью запускать несколько инстансов Audio2Face для анимации множества персонажей в сцене на основе как одной, так и разных звуковых дорожек. Соло, дуэт, трио, квартет... Анимируйте столько героев, сколько вам хочется. Играйте с выразительностью мимики каждого персонажа или получайте за раз сразу несколько файлов с анимацией, используя несколько аудиоисточников.

Преобразование данных

Импорт и трансформация

Последнее обновление Omniverse Audio2Face позволяет изменять формы смешивания (blendshape), а также экспортировать значения blendweight. Кроме того, приложение теперь поддерживает экспорт и импорт в Epic Games Unreal Engine 4 через коннектор Omniverse. Импортируйте персонажей, созданных с помощью MetaHuman, в Epic Games Unreal Engine 4 и анимируйте их.

 
Добавьте эмоции.
Добавьте эмоции.

Контроль эмоций

Немного драматичности

Audio2Face позволяет управлять эмоциями персонажа: нейронная сеть автоматически строит корректные движения лица, глаз, рта, языка и головы в соответствии с выбранным эмоциональным диапазоном или автоматически, посредством инференса, определяет эмоциональность аудиотрека.

Примеры анимации в Audio2Face

Анимация существ

Создавайте лицевую анимацию фантастических существ и пришельцев. В основе анимации персонажа Alien лежит Digital Mark.

Анимированный чат-бот Misty

Весной 2020 на GTC была представлена Misty — анимированный чат-бот на базе Audio2Face, который показывает прогноз погоды. Мы продемонстрировали ретаргетинг mesh-объекта человека в mesh-объект стилизованного персонажа — интерактивного помощника.

Omniverse Machinima

Технология Audio2Face использована в демо-ролике Omniverse Machinima, представленном при запуске GeForce 30. Анимация лица — это сложный и дорогостоящий процесс. Audio2Face автоматизирует анимацию лица, что позволяет демократизировать работу с 3D.    

NVIDIA Omniverse помогает быстрее добиваться естественно выглядящих цифровых персонажей, поэтому я могу посвятить больше времени творческому процессу.

— Андерсон Рор (Anderson Rohr), 3D-художник

Испытайте NVIDIA Omniverse уже сегодня

Найдите подходящую для ваших рабочих процессов лицензию и начните исследовать возможности платформы Omniverse прямо сейчас.

nvidia-omniverse-creators-3c33-D

Авторам контента

Скачивайте и творите — бесплатно!

Omniverse выступает единым центром для совместного использования 3D-приложений для работы с графикой. В этой платформе объединены ресурсы, библиотеки и инструменты, необходимые для организации бесперебойного рабочего процесса, что позволяет художникам достигать новых высот творческой свободы.

Разработчикам

Разработчикам

Разрабатывайте и распространяйте — бесплатно!

Платформа Omniverse создана с учетом пожеланий разработчиков и позволяет легко персонализировать процесс работы с 3D-контентом на каждом этапе путем создания коннекторов, расширений, приложений и микросервисов Omniverse.

nvidia-omniverse-enterprise-3c33-D

Предприятиям

Бесплатная пробная версия | Годичная лицензия

Omniverse Enterprise поможет компаниям любого размера трансформировать сложные процессы проектирования. Эта платформа позволяет многим пользователям работать совместно из разных местоположений, используя разные приложения и общие проектные данные.

Как установить Omniverse Audio2Face

Скачайте NVIDIA Omniverse

1

Скачайте NVIDIA Omniverse и начните установку.

Откройте Omniverse Launcher

2

После установки запустите Omniverse Launcher.

Найдите Audio2Face в разделе «Приложения» и нажмите «Установить»

3

Найдите Omniverse Audio2Face в разделе «Приложения» и нажмите «Установить», а затем «Запустить».

Системные требования
Параметр Минимальные спецификации
Поддержка ОС 64-разрядная Windows 10 версия 1909 и выше
Процессор Intel I7, AMD Ryzen
2,5 ГГц или больше
Ядра процессора 4 или больше
ОЗУ 16 ГБ или больше
Место на диске 500 ГБ SSD или больше
Графический процессор Любой графический процессор RTX
Видеопамять 6 ГБ или больше
Минимальная версия драйвера Последние версии драйверов можно скачать здесь.
Примечание. Платформа Omniverse предназначена для работы на любом устройстве RTX. Для оптимальной производительности мы рекомендуем использовать GeForce RTX 3070, NVIDIA RTX A4000 с объемом видеопамяти от 8 ГБ.

Смотрите пошаговые руководства

Узнайте больше о приложениях Omniverse

Откройте для себя полный набор приложений и коннекторов NVIDIA Omniverse или воспользуйтесь нашими рекомендациями ниже.

Create

Создавайте, моделируйте и рендерите сцены в реальном времени в Pixar USD.

Code

Интегрированная среда разработки для разработчиков и продвинутых пользователей, которая позволяет легко создавать расширения, приложения и микросервисы Omniverse.

Machinima

Переделывайте, воссоздавайте и переосмысливайте анимированные сюжеты видеоигр с помощью инструментов на базе ИИ для авторов контента.

View

Совместно оценивайте проекты с помощью этого мощного инструмента для физически точной и фотореалистичной визуализации.

Станьте частью нашего сообщества

Получить доступ к руководствам

Воспользуйтесь сотнями бесплатных учебных курсов и сессий или пройдите курс для начинающих, чтобы начать работу с USD

Вливайтесь в Omniverse

Присоединяйтесь к нашему сообществу! Смотрите наши еженедельные стримы в Twitch и общайтесь с нами в Discord и на наших форумах.

Техническая поддержка

Возникли проблемы? Опубликуйте свои вопросы на форумах, чтобы быстро получить рекомендации от экспертов Omniverse, или обратитесь к документации по платформе.

Покажите свою работу!

Создали шедевр в Omniverse? Отправьте его в Галерею Omniverse, чтобы вдохновить других.

Свяжитесь с нами

Получайте новостную рассылку по NVIDIA Omniverse.