NVIDIA Omniverse Audio2Face

Beta

Omniverse Audio2Face

Créez instantanément des animations faciales expressives à partir d’une simple source audio grâce à l’IA générative.

L’IA générative facilite l’animation par l’audio

La version beta d’Omniverse Audio2Face est une application de référence qui simplifie l’animation des personnages 3D et s’adapte à tous les types de pistes vocales dans des champs d’application comme la création de jeux vidéo, la production cinématographique, les assistants numériques en temps réel et bien d’autres domaines du divertissement. Vous pouvez utiliser Audio2Face pour des applications interactives en temps réel ou en tant qu’outil traditionnel pour l’animation faciale. Générez les résultats immédiatement sur un modèle brut ou appliquez-les librement à vos propres créations.

Fonctionnement

Audio2Face est préchargée avec "Digital Mark", un modèle de personnage 3D que vous pouvez animer avec votre propre piste audio, c’est pourquoi sa mise en œuvre est très simple. Sélectionnez simplement votre piste audio puis chargez-la dans l’application. La technologie de NVIDIA diffuse la piste d’entrée au sein d’un réseau de neurones profonds pré-entraîné, puis les données de sortie du réseau contribuent à générer l’animation faciale de votre personnage en temps réel. Vous pouvez éditer divers paramètres de post-traitement afin d’influer sur les performances de votre personnage. Les résultats que vous voyez sur cette page sont essentiellement le résultat brut d’Audio2Face, sans option de post-traitement appliquée ou presque.

Application Omniverse Audio2Face
 
Audio2Face génère des animations faciales via une entrée audio.

Entrée audio

Utilisez un enregistrement ou animez vos modèles en temps réel

Enregistrez simplement une piste vocale, exportez-la dans l’application puis regardez le visage de votre personnage prendre vie sous vos yeux en 3D. Vous pouvez même générer des animations faciales en direct via un micro.

Audio2Face est en mesure de traiter facilement une grande variété de langues. De nouvelles langues sont régulièrement ajoutées.  

Transfert de personnages

Changez de visage en un instant

Audio2Face vous permet d’adopter n’importe quel visage 3D humain ou humanoïde, réaliste ou stylisé. Vous pouvez ainsi changer de personnage à la volée, humain ou animal, en quelques clics seulement.

 
Animez n’importe quel visage de personnage avec Audio2Face
 
Utilisez des instances multiples afin de générer des animations faciales pour plusieurs personnages.

Instances multiples

Exprimez-vous, en solo ou en groupe

Vous pouvez exécuter très facilement plusieurs instances d’Audio2Face en intégrant au sein d’une même scène autant de personnages que vous le souhaitez, animés à partir de pistes audio analogues ou différentes. Intégrez de la vie et du son à un dialogue entre deux personnages, à une conversation entre trois protagonistes, à une formation de quatre musiciens... et bien plus encore. Vous pouvez également augmenter ou réduire le niveau d’expressions faciales sur chaque visage pour mettre en œuvre des fichiers d’animation multiples à partir de sources audio multiples.

Contrôle des émotions

Jouez la carte de l’émotion

Audio2Face vous permet de choisir et d’animer les émotions de votre personnage en un clin d’œil. Le réseau d’IA manipule automatiquement le visage, les yeux, la bouche, la langue et les mouvements de la tête en conséquence et avec différents degrés d’intensité, et peut même déduire les émotions directement à partir du clip audio.

 
Insufflez des émotions à votre animation.
 
Insufflez des émotions à votre animation.

Conversion de données

Connexion et conversion

La dernière mise à jour d’Omniverse Audio2Face vous permet de convertir des Blend Shapes ou d’exporter des Blend Weights. L’application prend désormais en charge l’import et l’export de Blend Shapes pour Blender et l’Unreal Engine d’Epic Games, et vous permet ainsi de générer des mouvements pour vos personnages à l’aide de leurs connecteurs Omniverse respectifs.

Découvrez Audio2Face à l’œuvre

Créatures et extraterrestres

Profitez d’une fonctionnalité avancée vous permettant de gérer les animations faciales relatives à des créatures fantastiques et à des extraterrestres. Cette vidéo illustre la façon dont Digital Mark peut contribuer à générer les animations d’une entité extraterrestre.

Découvrez notre chatbot Misty

Présenté à la conférence GTC du printemps 2020, Misty est un chatbot météorologique à haut degré d’interactivité alimenté en temps réel par Audio2Face. Nous avons optimisé puis converti cet agent conversationnel intelligent pour faire passer son apparence d’un modèle humain réaliste à un modèle synthétique à l’animation de pointe.

Omniverse Machinima

Présentée à l’occasion du lancement des cartes graphiques GeForce RTX série 30, les capacités de l’application Audio2Face sont mises en exergue dans la vidéo de démonstration d’Omniverse Machinima. Les techniques d’animation faciale ont toujours été aussi complexes que coûteuses. Audio2Face automatise et modernise l’animation faciale de manière à démocratiser le processus de création de contenus 3D.   

NVIDIA Omniverse m’aide à obtenir des résultats plus naturels pour mes personnages numériques, mais aussi à accélérer mon workflow pour me permettre de consacrer plus de temps au processus de création.

— Anderson Rohr, Infographiste 3D

Expérimentez NVIDIA Omniverse dès aujourd’hui

Trouvez la licence adaptée à votre workflow 3D et commencez à utiliser Omniverse immédiatement.

nvidia-omniverse-creators-3c33-D

Créateurs

Accès gratuit au téléchargement et à la création

Omniverse est un hub central qui vous permet de connecter et d’optimiser en toute transparence vos applications de création 3D en unifiant différentes ressources, bibliothèques et outils pour mettre en œuvre un workflow ininterrompu, ce qui aide les infographistes à exprimer toute l’étendue de leur créativité.

Développeurs

Développeurs

Accès gratuit au développement et à la distribution

Spécialement conçue pour les développeurs, la plateforme Omniverse permet de personnaliser chaque couche des workflows 3D afin de créer facilement de nouveaux connecteurs, extensions, applications et microservices dédiés.

nvidia-omniverse-enterprise-3c33-D

Entreprises

Essai gratuit I Licence annuelle

Omniverse Enterprise transforme les workflows de conception les plus complexes pour les entreprises de toutes les tailles. Cette solution de pointe, qui facilite la collaboration en temps réel avec plusieurs utilisateurs et différents sites, permet d’exécuter de multiples applications simultanément grâce à la centralisation des données de projet.

Installation d’Omniverse Audio2Face

Téléchargez NVIDIA Omniverse

Étape 1

Téléchargez NVIDIA Omniverse et lancez l’installation.

Exécutez le lanceur d’Omniverse

Étape 2

Une fois l’installation terminée, exécutez le lanceur d’Omniverse.

Recherchez Audio2Face dans la section Applications puis cliquez sur l’option d’installation.

Étape 3

Recherchez Omniverse Audio2Face dans la section Applications puis cliquez successivement sur les options d’installation et de lancement.

Configuration requise
Élément Spécifications minimales Spécifications minimales
Systèmes d’exploitation compatibles Windows 10 (version 1903 et plus) Windows 10 (version 1903 et plus)
CPU Intel Core i5 série 10
AMD Ryzen 5 série 5
Intel Core i7 série 13
AMD Ryzen 7 série 7
RAM 16 Go 32 Go
Stockage SSD 250 Go SSD 500 Go
GPU Tout GPU RTX avec 8 Go GeForce RTX 4070 Ti, NVIDIA RTX A4500 or plus.
Version minimale des pilotes d’affichage Accédez aux derniers pilotes ici Accédez aux derniers pilotes ici

Accédez à nos didacticiels détaillés

Découvrez d’autres applications Omniverse

Prenez connaissance de l’ensemble des applications et connecteurs de NVIDIA Omniverse ou testez nos recommandations ci-dessous.

Create

Accélérez vos procédures de conception et configurez, simulez puis générez des scènes d’infographie en temps réel avec le plus haut degré d’interactivité dans Pixar USD.

Code

Environnement de développement intégré permettant aux développeurs et aux utilisateurs intensifs de concevoir plus facilement des extensions, des applications ou des microservices via Omniverse.

Machinima

Servez-vous d’outils optimisés par l’IA dédiés aux créateurs pour créer, assembler et raconter des histoires captivantes issues de vos jeux vidéo favoris

Consulter

Accomplissez vos projets de conception de manière collaborative avec ce puissant outil de visualisation photoréaliste d’une grande précision physique.

Rejoignez notre communauté

Accédez aux didacticiels

Découvrez gratuitement des centaines de didacticiels et de sessions, ou suivez notre formation pour apprendre à utiliser la technologie USD

Devenez Omnivore

Rejoignez notre communauté ! Suivez nos livestreams hebdomadaires sur Twitch et connectez-vous à Discord et à nos forums.

Obtenez de l’assistance technique

Vous rencontrez des difficultés ? Publiez vos questions sur les forums pour obtenir rapidement des conseils auprès des experts d’Omniverse ou référez-vous à notre documentation.

Présentez votre travail

Vous avez créé un chef-d’œuvre avec Omniverse ? Publiez-le dans la Galerie NVIDIA Omniverse, où vous pourrez trouver l’inspiration et communiquer votre passion.

Contactez-nous

Suivez toute l’actualité de NVIDIA Omniverse