NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face est une application qui tire profit de la puissance incomparable de l’IA pour générer des animations faciales hautement expressives à partir d’une simple source audio.

Aperçu des fonctionnalités d’Audio2Face (accès anticipé)

Audio2Face simplifie l’animation des personnages 3D et s’adapte à tous les types de pistes vocales dans des champs d’application comme la création de jeux vidéo, la production cinématographique, les assistants numériques en temps réel et bien d’autres domaines du divertissement. Vous pouvez utiliser l’application pour des applications interactives en temps réel ou en tant qu’outil traditionnel pour l’animation faciale. Vous pouvez générer les résultats immédiatement sur un modèle brut ou les appliquer librement à vos propres créations.

L’application Omniverse Audio2Face sera prochainement disponible en accès anticipé.

Fonctionnement d’Audio2Face

L’application Omniverse Audio2Face est basée sur un concept original du programme NVIDIA Research. Audio2Face est préchargée avec "Digital Mark", un modèle de personnage 3D que vous pouvez animer avec votre propre piste audio, c’est pourquoi sa mise en œuvre est très simple. Sélectionnez simplement votre piste audio puis chargez-la dans l’application.  La technologie diffuse la piste d’entrée au sein d’un réseau de neurones profonds pré-entraîné, puis les données de sortie du réseau contribuent à générer l’animation faciale de votre personnage en temps réel.  Vous pouvez éditer divers paramètres de post-traitement afin d’influer sur les performances de votre personnage. Les données de sortie du réseau sont ensuite appliquées à votre modèle de personnage pour créer son animation faciale. Les résultats que vous voyez sur cette page correspondent aux résultats bruts d’Audio2Face, sans aucun (sinon très peu de) paramètres de post-traitement.

(Remarque : la prise en charge directe des Blend Shapes sera communiquée à une date ultérieure.)

Omniverse Audio2Face App

Découvrez Audio2Face en action

Langues

Audio2Face est en mesure de traiter facilement une grande variété de langues. De nouvelles langues sont régulièrement ajoutées. Nous vous invitons à découvrir les résultats de nos tests en anglais, en français, en italien ou en russe.

Découvrez notre chatbot Misty

Présenté à la conférence GTC 2020 au printemps dernier, Misty est un chatbot météorologique à haut degré d’interactivité alimenté en temps réel par Audio2Face. Nous avons optimisé puis converti cet agent conversationnel intelligent pour faire passer son apparence d’un modèle humain réaliste à un modèle synthétique à l’animation de pointe.

Omniverse Machinima

Présentée à l’occasion du lancement des cartes graphiques GeForce RTX série 30, les capacités de l’application Audio2Face sont mises en exergue dans la vidéo de démonstration Omniverse Machinima. Les techniques d’animation faciale ont toujours été aussi complexes que coûteuses. Audio2Face automatise et modernise l’animation faciale de manière à démocratiser le processus de création de contenus 3D.

Fonctionnalités en développement - Transfert de personnages

Visages humains

Audio2Face peut utiliser n’importe quelle piste audio incluant des dialogues et la recalibrer pour l’appliquer à n’importe quel modèle 3D de visage humain, qu’il soit réaliste ou stylisé. Regardez ce test de recalibrage entre deux modèles (de Digital Mark à Rain).

Créatures et extraterrestres

Cette fonctionnalité vous permet de recalibrer et de mettre à jour les animations faciales relatives à des créatures fantastiques et à des extraterrestres. Cette vidéo illustre la façon dont Digital Mark peut contribuer à générer les animations d’une entité extraterrestre.

Présentation approfondie d’Audio2Face

Consultez notre présentation technique réalisée à l’occasion de la GTC 2020.

Configuration requise
Élément Spécifications minimales
Systèmes d’exploitation compatibles Windows 10 64 bits, 1909 ou plus
CPU Intel i7, AMD Ryzen
Cœurs CPU 4 ou plus
RAM 16 Go ou plus
Stockage 500 Go ou plus
GPU N’importe quel GPU RTX
VRAM 6 Go ou plus
Version minimale des pilotes d’affichage 455.28 (Linux), 456.71 (Windows)
Remarque : la plateforme Omniverse a été conçue pour fonctionner sur n’importe quelle machine équipée d’une carte graphique RTX. Pour des performances idéales, nous vous recommandons néanmoins d’utiliser une GeForce RTX 2080, une Quadro RTX 5000 ou un modèle ultérieur. Pour télécharger la dernière version des pilotes d’affichage, rendez-vous sur la page Téléchargements de pilotes NVIDIA. Pour Quadro, veuillez sélectionner "Quadro New Feature Driver (QNF)".

Assistance

INVENTONS
LE FUTUR ENSEMBLE

Découvrez comment la collaboration et la simulation de nouvelle génération favorisent les synergies entre les créateurs, les innovateurs et les entreprises de nombreuses industries.

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

Autres applications Omniverse

Les applications Omniverse ont toutes été conçues pour enrichir des workflows spécifiques. Découvrez-les en action !

nvidia-omniverse-view-64

Visualisation

Conception collaborative, visualisation immersive et rendu photoréaliste pour l’architecture, l’ingénierie et la construction.

nvidia-omniverse-create-64

Création

Accélérez vos procédures de conception et configurez, simulez et générez des scènes d’infographie en temps réel avec le plus haut degré d’interactivité dans Pixar USD.

nvidia-omniverse-kaolin-icon-64

Kaolin

Ce puissant outil de visualisation vous permet de simplifier et d’accélérer vos projets de recherche 3D basés sur le Deep Learning grâce à la bibliothèque logicielle Kaolin PyTorch de NVIDIA.

nvidia-omniverse-machinima-64

Machinima

Servez-vous d’outils optimisés par l’IA pour créer, assembler et raconter des histoires captivantes issues de vos jeux vidéo favoris

nvidia-omniverse-isaac-sim-icon-64

Isaac Sim

Importez, configurez et testez des robots dans un environnement 3D physique photoréaliste à haute fidélité.