NVIDIA Omniverse Audio2Face

Бета-версия

Omniverse Audio2Face

Мгновенно создавайте выразительную лицевую анимацию на основе только аудио-источников с помощью генеративного искусственного интеллекта.

Преобразование аудио в анимацию стало проще благодаря генеративному ИИ

Omniverse Audio2Face (бета-версия) — это референсное приложение, которое на основе анализа аудиодорожки позволяет легко анимировать 3D-персонажа для игры, фильма, виртуальных цифровых ассистентов или просто для развлечения. Используйте Audio2Face для интерактивных приложений в реальном времени или в качестве традиционного инструмента для создания лицевой анимации. Редактируйте готовую анимацию или оставьте исходный вариант.

Принцип работы

Чтобы вам было легко начать работу с Audio2Face, мы предварительно загрузили готовую модель 3D-персонажа Digital Mark. Просто выберите нужную звуковую дорожку и импортируйте ее в приложение. Затем эти аудиоданные поступают в предварительно обученную глубокую нейронную сеть, а выходные данные управляют набором 3D-вершин mesh-объекта, в результате чего создается анимация. На этапе постобработки вы также можете изменить некоторые параметры вашего персонажа. На этой странице представлены в основном необработанные выходные данные Audio2Face без постобработки (или с минимальными изменениями).

Приложение Omniverse Audio2Face
 
Audio2Face генерирует лицевую анимацию с помощью аудиоданных.

Аудиоданные

В реальном времени или на основе готовой записи

Просто запишите звуковую дорожку, загрузите ее в приложение и посмотрите, как оживает ваша 3D-модель. Для создания лицевой анимации в реальном времени используйте микрофон.

В будущем Audio2Face сможет обрабатывать любые языки. Количество поддерживаемых языков будет постоянно расти.  

Перенос персонажа

Мгновенная замена лиц

Audio2Face дает возможность переносить лицевые анимации, предназначенные для одного 3D-персонажа, на другого: как реалистичного, так и стилизованного.  Это позволяет всего в несколько кликов менять персонажей «на лету» — будь то человек или животное.

 
Анимация любого персонажа с Audio2Face
 
Используйте разные инстансы для создания анимации нескольких персонажей.

Масштабирование результатов

Анимация одного или нескольких персонажей

Можно с легкостью запускать несколько инстансов Audio2Face для анимации множества персонажей в сцене на основе как одной, так и разных звуковых дорожек. Соло, дуэт, трио, квартет... Анимируйте столько героев, сколько вам хочется. Играйте с выразительностью мимики каждого персонажа или получайте за раз сразу несколько файлов с анимацией, используя несколько аудиоисточников.

Контроль эмоций

Немного драматичности

Audio2Face позволяет выбирать эмоции персонажа и управлять ими по щелчку пальцев: нейронная сеть автоматически строит корректные движения лица, глаз, рта, языка и головы в соответствии с выбранным эмоциональным диапазоном и настроенным уровнем интенсивности или автоматически, посредством инференса, определяет эмоциональность аудиотрека.

 
Добавьте эмоции.
 
Добавьте эмоции.

Преобразование данных

Импорт и трансформация

Последнее обновление Omniverse Audio2Face позволяет изменять формы смешивания (blendshape), а также экспортировать значения blendweight. Кроме того, приложение теперь поддерживает экспорт и импорт с использованием форм Blendshape в Blender и Epic Games Unreal Engine через соответствующие коннекторы Omniverse для генерации движений персонажей.

Примеры анимации в Audio2Face

Анимация существ

Создавайте лицевую анимацию фантастических существ и пришельцев. В основе анимации персонажа Alien лежит Digital Mark.

Анимированный чат-бот Misty

Весной 2020 на GTC была представлена Misty — анимированный чат-бот на базе Audio2Face, который показывает прогноз погоды. Мы продемонстрировали ретаргетинг mesh-объекта человека в mesh-объект стилизованного персонажа — интерактивного помощника.

Omniverse Machinima

Технология Audio2Face использована в демо-ролике Omniverse Machinima, представленном при запуске GeForce 30. Анимация лица — это сложный и дорогостоящий процесс. Audio2Face автоматизирует анимацию лица, что позволяет демократизировать работу с 3D.    

NVIDIA Omniverse помогает быстрее добиваться естественно выглядящих цифровых персонажей, поэтому я могу посвятить больше времени творческому процессу.

— Андерсон Рор (Anderson Rohr), 3D-художник

Испытайте NVIDIA Omniverse уже сегодня

Найдите подходящую для ваших рабочих процессов в 3D лицензию и начните исследовать возможности платформы Omniverse прямо сейчас.

nvidia-omniverse-creators-3c33-D

Авторам контента

Скачивайте и творите — бесплатно!

Omniverse выступает единым центром для совместного использования 3D-приложений для работы с графикой. В этой платформе объединены ресурсы, библиотеки и инструменты, необходимые для организации бесперебойного рабочего процесса, что позволяет художникам достигать новых высот творческой свободы.

Разработчикам

Разработчикам

Разрабатывайте и распространяйте — бесплатно!

Платформа Omniverse создана с учетом пожеланий разработчиков и позволяет легко персонализировать процесс работы с 3D-контентом на каждом этапе путем создания коннекторов, расширений, приложений и микросервисов Omniverse.

nvidia-omniverse-enterprise-3c33-D

Предприятиям

Бесплатная пробная версия | Годичная лицензия

Omniverse Enterprise поможет компаниям любого размера трансформировать сложные процессы проектирования. Эта платформа позволяет многим пользователям работать совместно из разных местоположений, используя разные приложения и общие проектные данные.

Как установить Omniverse Audio2Face

Скачать NVIDIA Omniverse

Шаг 1

Скачайте NVIDIA Omniverse и начните установку.

Откройте Omniverse Launcher

Шаг 2

После установки запустите Omniverse Launcher.

Найдите Audio2Face в разделе «Приложения» и нажмите «Установить»

Шаг 3

Найдите Omniverse Audio2Face в разделе «Приложения» и нажмите «Установить», а затем «Запустить».

Системные требования
Параметр Минимальные спецификации Минимальные спецификации
Поддержка ОС Windows 10 (версия 1903 и выше) Windows 10 (версия 1903 и выше)
Процессор Intel Core i5 10-й серии
AMD Ryzen 5 5-й серии
Intel Core i7 13-й серии
AMD Ryzen 7 7-й серии
ОЗУ 16 ГБ 32 ГБ
Накопитель 250 ГБ SSD 500 ГБ SSD
Графический процессор Любой графический процессор RTX с 8 ГБ видеопамяти GeForce RTX 4070 Ti, NVIDIA RTX A4500 или выше
Минимальная версия драйвера Последние версии драйверов можно скачать здесь. Последние версии драйверов можно скачать здесь.

Смотрите пошаговые руководства

Узнайте больше о приложениях Omniverse

Откройте для себя полный набор приложений и коннекторов NVIDIA Omniverse или воспользуйтесь нашими рекомендациями ниже.

Create

Создавайте, моделируйте и рендерите сцены в реальном времени в Pixar USD.

Code

Интегрированная среда разработки для разработчиков и продвинутых пользователей, которая позволяет легко создавать расширения, приложения и микросервисы Omniverse.

Machinima

Переделывайте, воссоздавайте и переосмысливайте анимированные сюжеты видеоигр с помощью инструментов на базе ИИ для авторов контента.

View

Совместно оценивайте проекты с помощью этого мощного инструмента для физически точной и фотореалистичной визуализации.

Станьте частью нашего сообщества

Получить доступ к руководствам

Воспользуйтесь сотнями бесплатных учебных курсов и сессий или пройдите курс для начинающих, чтобы начать работу с USD

Вливайтесь в Omniverse

Присоединяйтесь к нашему сообществу! Смотрите наши еженедельные стримы в Twitch и общайтесь с нами в Discord и на наших форумах.

Техническая поддержка

Возникли проблемы? Опубликуйте свои вопросы на форумах, чтобы быстро получить рекомендации от экспертов Omniverse, или обратитесь к документации по платформе.

Покажите свою работу!

Создали шедевр в Omniverse? Отправьте его в Галерею Omniverse, чтобы вдохновить других.

Конференция по проектированию и моделированию в эру ИИ и метавселенной

Конференция по проектированию и моделированию
в эру ИИ и метавселенной

Единая среда возможностей с NVIDIA Omniverse.

  • Omniverse для художников: создание крупномасштабных фотореалистичных виртуальных миров

    • Габриэле Леоне (Gabriele Leone), старший арт-директор, NVIDIA

    Послушайте мнение экспертов-художников по окружению NVIDIA и узнайте, как 30 художников создали легендарную демонстрацию с несколькими мирами за три месяца. Погрузитесь в рабочий процесс с Adobe Substance 3D Painter, Photoshop, Autodesk 3ds Max, Maya, Blender, Modo, Maxon Zbrush, SideFX Houdini и NVIDIA Omniverse Create и посмотрите, как художники справились с созданием масштабной сцены, демонстрирующей новейшие технологии NVIDIA RTX, ИИ и моделирования физических свойств.

    Подробнее >

  • Следующая эволюция Universal Scene Description (USD) для создания виртуальных миров

    • Аарон Лук (Aaron Luk), главный инженер, Omniverse, NVIDIA

    Universal Scene Description — не просто формат файла. Этот открытый, многофункциональный, легко расширяемый фреймворк для композиции миров включает API-интерфейсы для создания, редактирования, запросов, рендеринга, моделирования и совместной работы в виртуальных мирах. NVIDIA продолжает инвестировать в развитие USD для рабочих процессов не только в области медиа и развлечений, но и в других сферах, чтобы поддержать промышленную метавселенную и наступление следующей волны искусственного интеллекта. Присоединяйтесь к этой сессии, чтобы узнать, почему мы вкладываем столько усилий в USD, о планах развития этого формата и о последних проектах и инициативах NVIDIA и нашей экосистеме партнеров.

    Подробнее >

  • Основы метавселенной: HTML для виртуальных 3D-миров

    • Майкл Касс (Michael Kass), старший заслуженный инженер, NVIDIA
    • Рев Лебаредян (Rev Lebaredian), вице-президент по технологиям моделирования и проектирования в Omniverse, NVIDIA
    • Гвидо Кварони (Guido Quaroni), старший директор по инжинирингу (3D и иммерсивные технологии), Adobe
    • Стив Мэй (Steve May), вице-президент и технический директор, Pixar
    • Мейсон Шеффилд (Mason Sheffield), директор Creative Technology, Lowe's Innovation Labs, Lowe's
    • Наталья Татарчук (Natalya Tatarchuk), заслуженный технический сотрудник и главный архитектор, Professional Artistry & Graphics Innovation
    • Мэтт Сивертсон (Matt Sivertson), вице-президент и главный архитектор, медиа и развлечения, Autodesk
    • Маттиас Викенмальм (Mattias Wikenmalm), старший эксперт, Volvo Cars

    Примите участие в этой сессии, чтобы услышать мнение выдающихся технических специалистов о формате Universal Scene Description (USD) как стандарте для 3D-эволюции Интернета — возникновении метавселенной. Эти светила отрасли обсудят, почему они инвестируют в формат USD или внедряют его, и какие дальнейшие технологические достижения необходимы, чтобы раскрыть его истинный потенциал.

    Подробнее >

  • Создание готовых к моделированию 3D-ассетов в формате USD

    • Ренато Гасото (Renato Gasoto), инженер по робототехнике и искусственному интеллекту, NVIDIA 
    • Бо Першалл (Beau Perschall), директор, Omniverse Sim Data Ops, NVIDIA

    Новая волна развития отраслей и искусственного интеллекта потребует от нас создания физически точных виртуальных миров, неотличимых от реальности. Создавать виртуальные миры сложно, и существующие сегодня многочисленные 3D-ассеты мало предназначены для этого, поскольку являются лишь визуальным представлением объектов. Независимо от того, создаете ли вы цифровые двойники или виртуальные миры для обучения и тестирования автономных транспортных средств или роботов, для 3D-ассетов требуется гораздо больше технических свойств. А для этого необходимо разработать и внедрить новые процессы, методы и инструменты. NVIDIA представляет новый класс 3D-ассетов под названием SimReady — строительные блоки виртуальных миров. Ассеты SimReady — это не просто 3D-объекты. Они охватывают точные физические свойства, поведение и связанные потоки данных, созданные в формате Universal Scene Description (USD). Мы покажем вам, как начать работу с ассетами SimReady USD, и представим инструменты и методы, необходимые для их разработки и тестирования.

    Подробнее >

  • Пространственные вычисления становятся гипермасштабируемыми

    • Омер Шапира (Omer Shapira), старший инженер по Omniverse, NVIDIA

    Недавние достижения в области вычислительных конвейеров позволили совершить прорыв в пространственно центрированных технологиях, таких как виртуальная реальность (VR) с полной трассировкой лучей. В то же время сетевые ограничения сократились до такой степени, что стала возможной потоковая передача пикселей напрямую из дата-центров в шлемы виртуальной реальности. Смотрите это выступление, чтобы узнать о потенциале пространственно ориентированных вычислений в масштабе дата-центра, а также о том, какие приложения, функции и новые научные открытия становятся возможными благодаря им.

    Подробнее >

Три снимка с различным фоном от темно-серого до темно-фиолетового. На левом снимке изображен мужчина в серой рубашке с золотым баннером с надписью Stephen Jones, NVIDIA. На среднем снимке изображена женщина в красной рубашке с золотым баннером с надписью Anima Anandkumar, NVIDIA. На правом снимке изображен мужчина в черной рубашке с серым воротником и золотым баннером с надписью Ian Buck, NVIDIA.

Свяжитесь с нами

Получайте новостную рассылку по NVIDIA Omniverse.