NVIDIA Omniverse Audio2Face

BETA

Omniverse Audio2Face

Générez des animations faciales hautement expressives à partir d’une simple source audio grâce aux technologies d’IA et de Deep Learning de NVIDIA.

TÉLÉCHARGER

Animations faciales optimisées par l’IA

La version beta d’Omniverse Audio2Face simplifie l’animation des personnages 3D et s’adapte à tous les types de pistes vocales dans des champs d’application comme la création de jeux vidéo, la production cinématographique, les assistants numériques en temps réel et bien d’autres domaines du divertissement. Vous pouvez utiliser Audio2Face pour des applications interactives en temps réel ou en tant qu’outil traditionnel pour l’animation faciale. Vous pouvez générer les résultats immédiatement sur un modèle brut ou les appliquer librement à vos propres créations.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

Fonctionnement

Audio2Face est préchargée avec "Digital Mark", un modèle de personnage 3D que vous pouvez animer avec votre propre piste audio, c’est pourquoi sa mise en œuvre est très simple. Sélectionnez simplement votre piste audio puis chargez-la dans l’application. La technologie de NVIDIA diffuse la piste d’entrée au sein d’un réseau de neurones profonds pré-entraîné, puis les données de sortie du réseau contribuent à générer l’animation faciale de votre personnage en temps réel. Vous pouvez éditer divers paramètres de post-traitement afin d’influer sur les performances de votre personnage. Les résultats que vous voyez sur cette page correspondent aux résultats bruts d’Audio2Face, sans aucun (sinon très peu de) paramètres de post-traitement.

Application Omniverse Audio2Face
 
Audio2Face génère des animations faciales via une entrée audio.

ENTRÉE AUDIO

Utilisez un enregistrement ou animez vos modèles en temps réel

Enregistrez simplement une piste vocale, exportez-la dans l’application puis regardez le visage de votre personnage prendre vie sous vos yeux en 3D. Vous pouvez même générer des animations faciales via un micro.

Audio2Face est en mesure de traiter facilement une grande variété de langues. De nouvelles langues sont régulièrement ajoutées. Nous vous invitons à découvrir les résultats de nos tests en anglais, en français, en italien ou en russe.

TRANSFERT DE PERSONNAGES

Changez de visage en un instant

Audio2Face vous permet de recalibrer des visages 3D humains ou d’apparence humaine, qu’ils soient réalistes ou stylisés. Regardez ce test de recalibrage entre deux modèles (de Digital Mark à un rhinocéros qui chante).

 
Animez n’importe quel visage de personnage avec Audio2Face
 
Utilisez des instances multiples afin de générer des animations faciales pour plusieurs personnages.

INSTANCES MULTIPLES

Exprimez-vous, en solo ou en groupe

Vous pouvez exécuter très facilement plusieurs instances d’Audio2Face en intégrant au sein d’une même scène autant de personnages que vous le souhaitez, animés à partir de pistes audio analogues ou différentes. Intégrez de la vie et du son à un dialogue entre deux personnages, à une conversation entre trois protagonistes, à une formation de quatre musiciens... et bien plus encore. Vous pouvez augmenter ou réduire librement le niveau d’expressions faciales sur chaque visage.

CONVERSION DE DONNÉES

Connectez des logiciels et convertissez vos données

La dernière mise à jour d’Omniverse Audio2Face vous permet de convertir des Blend Shapes ou d’exporter des Blend Weights. L’application prend désormais en charge l’import et l’export de données avec le moteur Unreal Engine 4 d’Epic Games, ce qui vous permet de générer des mouvements sur vos personnages MetaHuman à l’aide du connecteur Unreal Engine 4 d’Omniverse.

 
Add emotions to your animation.
Insufflez des émotions à votre animation.

CONTRÔLE DES ÉMOTIONS

Jouez la carte de l’émotion

Audio2Face vous permet de choisir et d’animer librement en un rien de temps les émotions de votre personnage, étant donné que le réseau intégré à l’application peut manipuler automatiquement le visage, les yeux, la bouche, la langue et les mouvements de la tête en conséquence et avec différents degrés d’intensité.

Fonctionnalité prochainement disponible.

Découvrez Audio2Face en action

Animez tous vos personnage et créatures avec Audio2Face

Créatures et extraterrestres

Profitez d’une fonctionnalité avancée vous permettant de gérer les animations faciales relatives à des créatures fantastiques et à des extraterrestres. Cette vidéo illustre la façon dont Digital Mark peut contribuer à générer les animations d’une entité extraterrestre.

Combinez Audio2Face à l’IA conversationnelle pour une expérience avancée de chatbot.

Découvrez notre chatbot Misty

Présenté à la conférence GTC du printemps 2020, Misty est un chatbot météorologique à haut degré d’interactivité alimenté en temps réel par Audio2Face. Nous avons optimisé puis converti cet agent conversationnel intelligent pour faire passer son apparence d’un modèle humain réaliste à un modèle synthétique à l’animation de pointe.

Audio2Face est compatible avec Omniverse Machinima.

Omniverse Machinima

Présentée à l’occasion du lancement des cartes graphiques GeForce RTX série 30, les capacités de l’application Audio2Face sont mises en exergue dans la vidéo de démonstration d’Omniverse Machinima. Les techniques d’animation faciale ont toujours été aussi complexes que coûteuses. Audio2Face automatise et modernise l’animation faciale de manière à démocratiser le processus de création de contenus 3D.   

Omniverse pour les créateurs

Les infographistes, animateurs et concepteurs peuvent désormais mettre en œuvre des workflows nettement plus rapides et efficaces en utilisant plusieurs applications 3D simultanément dans Omniverse et en procédant au rendu de leurs scènes en temps réel et en toute fidélité, sans jamais devoir passer par des procédures d’import ou d’export chronophages entre les applications.

En savoir plus

PLONGEZ DANS LE NOUVEAU CONTENU OMNIVERSE

COMMENCEZ À UTILISER OMNIVERSE AUDIO2FACE

Omniverse Machinima fonctionne sur n’importe quel appareil équipé d’une carte graphique NVIDIA RTX, des PC portables jusqu’aux Data Centers. Téléchargez Omniverse pour commencer.

Téléchargez NVIDIA Omniverse

1

Téléchargez NVIDIA Omniverse et lancez l’installation.

Exécutez le lanceur d’Omniverse

2

Une fois l’installation terminée, exécutez le lanceur d’Omniverse.

Recherchez Audio2Face dans la section Applications puis cliquez sur l’option d’installation.

3

Recherchez Audio2Face dans la section Applications puis cliquez successivement sur les options d’installation et de lancement.

Présentation avancée d’Audio2Face

Regardez cet aperçu technique présenté à la GTC 2020.

VOIR À LA DEMANDE
Configuration requise
Élément Spécifications minimales
Systèmes d’exploitation compatibles Windows 10 64 bits (version 1909 et plus)
CPU Intel i7, AMD Ryzen
2,5 GHz ou plus
Cœurs CPU 4 ou plus
RAM 16 Go ou plus
Stockage SSD de 500 Go ou plus
GPU N’importe quel GPU RTX
VRAM 6 Go ou plus
Version minimale des pilotes d’affichage Accédez aux derniers pilotes ici.
Remarque : la plateforme Omniverse a été conçue pour fonctionner sur n’importe quelle machine équipée d’une carte graphique RTX. Pour des performances idéales, nous vous recommandons néanmoins d’utiliser une GeForce RTX 3070, une NVIDIA RTX A4000 ou un modèle ultérieur avec 8 Go de mémoire ou plus.

Assistance

Join the Omniverse Forums
See the support documentation and guides
Watch Omniverse video tutorials and trainings
DLI TRAININGS

Entrez dans l'univers d'Omniverse

Plongez au cœur de notre écosystème grâce à une série de webinaires de la GTC 2021 présentés par des experts d’Omniverse issus de différentes industries.

EN SAVOIR PLUS

Autres applications Omniverse

Les applications Omniverse ont toutes été conçues pour enrichir des workflows spécifiques. Découvrez-les en action.

Omniverse View

Omniverse View

Accomplissez vos projets de conception de manière collaborative avec ce puissant outil de visualisation photoréaliste d'une grande précision physique.

EN SAVOIR PLUS
Omniverse Create

Omniverse Create

Accélérez vos procédures de conception et configurez, simulez puis générez des scènes d’infographie en temps réel avec le plus haut degré d’interactivité dans Pixar USD.

EN SAVOIR PLUS
Kaolin

Kaolin

Ce puissant outil de visualisation vous permet de simplifier et d’accélérer vos projets de recherche 3D basés sur le Deep Learning grâce à la bibliothèque logicielle Kaolin PyTorch de NVIDIA.

EN SAVOIR PLUS
Machinima

Machinima

Servez-vous d’outils optimisés par l’IA dédiés à la communauté RTX pour créer, assembler et raconter des histoires captivantes issues de vos jeux vidéo favoris

EN SAVOIR PLUS
Isaac Sim

Isaac Sim

Importez, configurez et testez des robots dans un environnement 3D physique photoréaliste à haute fidélité.

EN SAVOIR PLUS
DRIVE Sim

DRIVE Sim

Profitez d’une expérience de simulation à hautes performances, virtuellement indissociable de la réalité, pour le développement de véhicules autonomes.

EN SAVOIR PLUS
Entreprise
Participez
Infos et événements

S'INSCRIRE POUR TÉLÉCHARGER

Produits

Ressources

Communauté