NVIDIA Omniverse Audio2Face

БЕТА-ВЕРСИЯ

Omniverse Audio2Face

Простое и быстрое создание выразительной лицевой анимации 3D персонажа на основе звуковой дорожки с технологией глубокого обучения NVIDIA.

СКАЧАТЬ

Лицевая анимация с помощью ИИ

Omniverse Audio2Face работает через анализ аудиодорожки и позволяет анимировать 3D персонажа для игры, фильма, виртуальных ассистентов или просто для развлечения. Используйте Audio2Face для интерактивных приложений в реальном времени или в качестве традиционного инструмента для создания лицевой анимации. Редактируйте готовую анимацию или оставьте исходный вариант.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

Принцип работы

Чтобы вам было легко начать работу с Audio2Face, мы предварительно загрузили готовую модель персонажа Digital Mark. Просто выберите нужный звук и импортируйте его в приложение. Затем эти аудиоданные поступают в предварительно обученную глубокую нейронную сеть, а выходные данные управляют набором вершин меша, в результате чего создается анимация. На этапе постобработки вы также можете изменить некоторые параметры вашего персонажа. На этой странице представлены в основном необработанные выходные данные Audio2Face без постредактирования (или с минимальными изменениями).

Приложение Omniverse Audio2Face
 
Audio2Face генерирует лицевую анимацию с помощью аудиоданных.

АУДИОДАННЫЕ

В реальном времени или на основе готового файла

Просто запишите звуковую дорожку, загрузите ее в приложение и посмотрите, как оживает ваша 3D модель. Для создания лицевой анимации в реальном времени используйте микрофон.

В будущем Audio2Face сможет обрабатывать любые языки. Количество поддерживаемых языков будет постоянно расти. Пока вы можете посмотреть результаты тестирования приложения на английском, французском, итальянском и русском языках.

РЕТАРГЕТИНГ АНИМАЦИЙ

Мгновенная замена лиц

Audio2Face позволяет перенести лицевые анимации, предназначенные для одного персонажа, на другого:  как реалистичного, так и стилизованного. Посмотрите, как мы переназначаем анимацию с персонажа Digital Mark на  поющего носорога Rhino.

 
Анимация любого персонажа с Audio2Face
 
Используйте разные аудио для создания анимации нескольких персонажей.

НЕСКОЛЬКО ИНСТАНСОВ

Анимация одного или нескольких персонажей

Простая анимация неограниченного количества персонажей на основе как одного, так и разных аудио в Audio2Face. Соло, дуэт, трио, квартет... Анимируйте столько героев, сколько вам хочется. Играйте с выразительностью мимики каждого персонажа.

ПРЕОБРАЗОВАНИЕ ДАННЫХ

Импорт и трансформация

Последнее обновление Omniverse Audio2Face позволяет изменять формы смешивания (blendshape), а также экспортировать значения blendweight. Кроме того, приложение теперь поддерживает экспорт и импорт в Epic Games Unreal Engine 4 через коннектор Omniverse. Импортируйте персонажей, созданных с помощью MetaHuman, в Epic Games Unreal Engine 4 и анимируйте их.

 
Add emotions to your animation.
Добавьте эмоции.

КОНТРОЛЬ ЭМОЦИЙ

Немного драматичности

Audio2Face позволяет управлять эмоциями персонажа: нейронная сеть автоматически строит корректные движения лица, глаз, рта, языка и головы в соответствии с выбранным эмоциональным диапазоном.

Функция станет доступна в ближайшем будущем.

Примеры анимации

Анимация любого персонажа или существа с Audio2Face

Анимация существ

Создавайте лицевую анимацию фантастических существ и пришельцев. В основе анимации персонажа Alien лежит Digital Mark.

Audio2Face и разговорный ИИ для работы чат-ботов.

Анимированный чат-бот Misty

Весной 2020 на GTC была представлена Misty — анимированный чат-бот на базе Audio2Face, который показывает прогноз погоды. Мы продемонстрировали ретаргетинг меша человека в меш стилизованного персонажа — интерактивного помощника.

Audio2Face работает с Omniverse Machinima.

Omniverse Machinima

Технология Audio2Face использована в демо-ролике Omniverse Machinima, представленном при запуске GeForce 30. Анимация лица — это сложный и дорогостоящий процесс. Audio2Face автоматизирует анимацию лица, что позволяет демократизировать работу с 3D.    

Omniverse для простой работы с 3D

Художники-аниматоры и дизайнеры могут быстрее работать с 3D, используя одновременно несколько приложений в единой среде Omniverse и визуализируя сцены в реальном времени без необходимости постоянного импорта-экспорта между приложениями.

Подробнее

БИБЛИОТЕКА МАТЕРИАЛОВ OMNIVERSE

НАЧАЛО РАБОТЫ С OMNIVERSE AUDIO2FACE

Omniverse Machinima работает на любом устройстве NVIDIA RTX: от ноутбука до дата-центра. Скачайте Omniverse и откройте возможности Audio2Face.

Скачайте NVIDIA Omniverse

1

Скачайте NVIDIA Omniverse и начните установку.

Откройте Omniverse Launcher

2

После установки запустите Omniverse Launcher.

Найдите Audio2Face в разделе Приложения и нажмите «Установить»

3

Найдите Audio2Face в разделе Приложения и нажмите «Установить», а затем «Запустить».

Обзор Audio2Face

Посмотрите этот обзор решения, представленный на GTC 2020.

СМОТРЕТЬ
Системные требования
Параметр Минимальные спецификации
Поддержка ОС 64-разрядная Windows 10 версия 1909 и выше
Процессор Intel I7, AMD Ryzen
2,5 ГГц или больше
Ядра процессора 4 или больше
ОЗУ 16 ГБ или больше
Место на диске 500 ГБ SSD или больше
Графический процессор Любой GPU RTX
Видеопамять 6 ГБ или больше
Минимальная версия драйвера Последние версии драйверов можно скачать здесь.
Примечание: Omniverse предназначен для работы на любом устройстве RTX. Для оптимальной производительности мы рекомендуем использовать GeForce RTX 3070, NVIDIA RTX A4000; объем видеопамяти от 8 ГБ.

Техническая поддержка

Join the Omniverse Forums
See the support documentation and guides
Watch Omniverse video tutorials and trainings
DLI TRAININGS

Мир Omniverse

Узнайте больше о платформе благодаря серии вебинаров GTC от экспертов Omniverse в различных отраслях промышленности.

ПОДРОБНЕЕ

Другие приложения Omniverse

Приложения Omniverse специально разработаны для улучшения конкретных рабочих процессов. Посмотрите, как они работают.

View

View

Совместно оценивайте проекты с помощью этого мощного инструмента для физически корректной и фотореалистичной визуализации.

ПОДРОБНЕЕ
Create

Create

Создавайте, моделируйте и рендерите сцены в реальном времени в Pixar USD.

ПОДРОБНЕЕ
Kaolin

Kaolin

Упростите и ускорьте исследования глубокого обучения 3D, используя библиотеку NVIDIA Kaolin PyTorch.

ПОДРОБНЕЕ
Machinima

Machinima

Переделывайте, воссоздавайте и переосмысливайте анимированные сюжеты видеоигр с помощью инструментов для работы с графикой на графических процессорах RTX.

ПОДРОБНЕЕ
Isaac Sim

Isaac Sim

Импортируйте, собирайте и тестируйте роботов в фотореалистичном физическом 3D окружении высокой точности.

ПОДРОБНЕЕ
DRIVE Sim

DRIVE Sim

Используйте возможности моделирования для создания беспилотного виртуального автомобиля, неотличимого от реального.

ПОДРОБНЕЕ
Корпоративная информация
Участвовать
Новости и события

ДЛЯ СКАЧИВАНИЯ НЕОБХОДИМА РЕГИСТРАЦИЯ

Продукты

Материалы

Сообщество