NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face — это приложение на базе ИИ, которое создает выразительную анимацию лица, используя лишь аудиоисточник.

Лицевая анимация на базе ИИ

Audio2Face упрощает синхронизацию анимации 3D-персонажа с имеющейся голосовой дорожкой в играх, фильмах, для виртуальных ассистентов или просто для развлечения. Инструмент может быть использован как для интерактивных приложений в реальном времени, так и для классических программ для создания анимации. Редактируйте готовую анимацию или оставьте все, как есть.

Как это работает

Приложение Omniverse Audio2Face разработано на основе исследований NVIDIA. Смело приступайте к анимации: на Audio2Face уже предустановлена готовая 3D-модель Digital Mark, которая может быть синхронизирована с вашей звуковой дорожкой. Просто выберите подходящую голосовую дорожку и загрузите ее в приложение. Технология передает входные параметры предварительно обученным моделям глубокой нейронной сети, на основе которых формируется анимация лица персонажа в реальном времени. На стадии постобработки пользователи имеют возможность редактировать различные параметры анимации персонажа. Выходные данные нейросети настраивают сетку лица вашего персонажа для создания анимации. Представленные на этой странице результаты анимации в Audio2Face не были редактированы, либо включают только небольшую постобработку.

(Примечание: поддержка Direct blendshape будет доступна позже)

Omniverse Audio2Face App
 
Audio2Face генерирует лицевую анимацию с помощью аудио.

АУДИОВХОД

В реальном времени или на основе аудиофайла

Просто запишите звуковую дорожку, загрузите ее в приложение и посмотрите, как оживает 3D-модель вашего лица. Для создания лицевой анимации в реальном времени используйте микрофон

В будущем Audio2Face сможет обрабатывать любые языки. Количество поддерживаемых языков будет постоянно расти. Пока вы можете посмотреть результаты тестирования приложения на английском, французском, итальянском и русском.

РЕТАРГЕТИНГ АНИМАЦИЙ

Анимация любого персонажа

Audio2Face позволяет перенести лицевые анимации, предназначенные для одного персонажа, на другого: как реалистичного, так и стилизованного. Посмотрите видеоролик, в котором мы переназначаем анимацию с персонажа Digital Mark на Rain.

 
Omniverse View включает в себя рендерер RTX Image Right
 
Используйте разные аудио для создания анимации нескольких персонажей.

НЕСКОЛЬКО АУДИО

Один или много персонажей

Простая анимация неограниченного количества персонажей на основе как одного, так и разных аудио в Audio2Face. Соло, дуэт, трио, квартет... Анимируйте столько героев, сколько вам хочется.

КОНТРОЛЬ ЭМОЦИЙ

Немного драматичности

Audio2Face дает возможность управлять эмоциями персонажа: нейронная сеть автоматически строит корректные движения лица, глаз, рта, языка и головы в соответствии с выбранным эмоциональным диапазоном.

Добавьте эмоции

Посмотрите, как работает Audio2Face

Анимация существ

Лицевая анимация фантастических существ и пришельцев. Здесь показано, как в основе анимации персонажа Alien лежит Digital Mark.

Анимированный чат-бот Misty

На GTC весной 2020 года была представлена Misty — анимированный чат-бот на базе Audio2Face, который показывает прогноз погоды. Мы продемонстрировали перенастройку сетку для человека в сетку для стилизованного персонажа, который может быть использован в качестве интерактивного помощника.

Omniverse Machinima

Технология Audio2Face использована в демо-ролике Omniverse Machinima , представленном при запуске GeForce 30. Анимация лица — это сложный и дорогостоящий процесс. Audio2Face автоматизирует анимацию лица для упрощения создания 3D-графики.

Начните работу с Omniverse AUDIO2FACE

Omniverse Create работает на любом устройстве NVIDIA RTX: от ноутбука до дата-центра. Скачать Omniverse и начать работу.

Download NVIDIA Omniverse

1

Скачать NVIDIA Omniverse и начать установку.

Open the Omniverse Launcher

2

После установки запустите программу Omniverse.

Find Audio2Face in the Apps section and click Install

3

Найдите Audio2Face в разделе Приложения и нажмите Установить, затем Запустить.

Узнайте больше о Audio2Face

Смотрите технический обзор на GTC 2020.

СИСТЕМНЫЕ ТРЕБОВАНИЯ
Element Минимальные спецификации
Поддержка ОС 64-разрядная Windows 10 версия 1909 и выше
Процессор Intel I7, AMD Ryzen
2,5 ГГц или больше
Ядра процессора 4 или больше
ОЗУ 16 ГБ или больше
Флэш-память 500 ГБ или больше
Графический процессор Любой GPU RTX
Видеопамять 6 ГБ или больше
Мин. Версия драйвера 455.28 (Linux), 456.71 (Windows)
Примечание: Omniverse предназначен для работы на любом устройстве RTX. Для оптимальной производительности мы рекомендуем использовать GeForce RTX 2080, Quadro RTX 5000 или выше. Последние версии драйверов можно скачать здесь.

Техническая поддержка

ИЗОБРЕТЕМ
БУДУЩЕЕ ВМЕСТЕ

Узнайте, как совместная работа и моделирование обеспечивают новые возможности для творчества, внедрения инноваций и развития компании во всех отраслях.

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

Другие приложения Omniverse

Приложения Omniverse специально разработаны для улучшения конкретных рабочих процессов. Посмотрите, как они работают.

nvidia-omniverse-view-64

Смотреть

Совместное проектирование, иммерсивная визуализация и фотореалистичный рендеринг для архитектуры, проектирования и строительства

nvidia-omniverse-create-64

Создать

Приблизьте мир будущего, смоделируйте и сделайте рендеринг сцен в Pixar USD в реальном времени.

nvidia-omniverse-kaolin-icon-64

Kaolin

Упростите и ускорьте исследования глубокого обучения 3D, используя библиотеку NVIDIA Kaolin PyTorch с помощью этого мощного инструмента для визуализации.

Machinima

Machinima

Переделывайте, воссоздавайте и переосмысливайте анимированные сюжеты видеоигр с помощью инструментов для геймеровна базе ИИ.

Isaac Sim

Isaac Sim

Импортируйте, собирайте и тестируйте роботов в фотореалистичном физическом 3D-окружении высокой точности.

Drive Sim

DRIVE Sim

Используйте возможности моделирования для создания беспилотного виртуального автомобиля, неотличимого от реального.