NVIDIA propulse l’IA générative vers de nouveaux sommets

SIGGRAPH 2023, la conférence internationale de premier plan sur l’infographie et les techniques interactives, accueillera un nombre record de 18 articles de NVIDIA Research. Ces articles, fruits de collaborations avec des universités du monde entier, traitent de l’IA générative et du graphisme neuronal.

Des avancées majeures pour les développeurs et les créateurs

Ces avancées permettront aux développeurs et aux entreprises de générer rapidement des données synthétiques pour alimenter les mondes virtuels utilisés dans la robotique et la formation des véhicules autonomes. Elles bénéficieront aussi aux créateurs d’art, d’architecture, de conception graphique, de développement de jeux et de films, leur permettant de produire plus rapidement des visuels de haute qualité.

Modèles de synthèse d’image personnalisés

L’IA générative de NVIDIA peut transformer une invite textuelle comme “jouets pour enfants” en une infinité de visuels, générant par exemple des images d’animaux en peluche, de blocs ou de puzzles. Deux articles SIGGRAPH présentent des techniques permettant aux utilisateurs de personnaliser la sortie d’un modèle d’IA générative en fournissant des exemples d’images. Ces avancées accélèrent le processus de personnalisation de quelques minutes à environ 11 secondes sur un seul GPU NVIDIA A100 Tensor Core.

Transformation 2D vers 3D et mouvements réalistes

NVIDIA a développé des techniques d’IA pour transformer automatiquement les images et vidéos 2D en représentations 3D. Un des articles présente une méthode pour générer un modèle 3D photoréaliste de la tête et des épaules à partir d’un seul portrait 2D. Cette avancée rend la création d’avatars 3D et la vidéoconférence 3D accessibles avec l’IA. En outre, un système d’IA a été créé pour apprendre une gamme de compétences de tennis à partir de vidéos 2D et appliquer ce mouvement à des personnages 3D.

Des cheveux plus vrais que nature

Simuler des détails réalistes tels que les cheveux sur un personnage 3D est un défi complexe. NVIDIA a présenté une méthode capable de simuler des dizaines de milliers de cheveux en haute résolution et en temps réel en utilisant la physique neuronale, une technique d’IA qui prédit le mouvement d’un objet dans le monde réel.

Qualité cinématographique en temps réel

NVIDIA a également montré comment les modèles d’IA peuvent fournir des visuels photoréalistes de qualité cinématographique en temps réel pour les jeux vidéo et les jumeaux numériques. Une technique de compression de texture neuronale offre jusqu’à 16 fois plus de détails de texture sans prendre de mémoire GPU supplémentaire. En outre, une méthode basée sur l’IA diminue de 100 fois la mémoire nécessaire pour représenter les données volumétriques, comme la fumée, le feu, les nuages et l’eau.

Personnalisation des modèles d’IA générative

Dans leur quête de l’innovation, NVIDIA et ses chercheurs universitaires alliés ont produit deux articles pour SIGGRAPH qui ouvrent de nouvelles voies pour l’IA générative. Ces articles décrivent des techniques permettant une personnalisation accrue du rendu des modèles, y compris la possibilité de fournir un unique exemple d’image pour personnaliser le rendu. Un autre modèle, nommé Perfusion, utilise plusieurs images conceptuelles pour créer des visuels uniques générés par l’IA, combinant divers éléments personnalisés.

Evolution de la représentation en 3D

Des progrès significatifs ont également été réalisés dans le domaine de la représentation en 3D. Des techniques d’IA ont été développées pour transformer automatiquement les images et vidéos 2D en représentations 3D utilisables dans des applications graphiques. Un système d’IA a été créé pour apprendre une gamme de compétences à partir de vidéos 2D, comme le tennis, et appliquer ces mouvements à des personnages 3D.

La physique neuronale pour une simulation plus réaliste

Un autre domaine clé de recherche est la simulation réaliste, où la physique neuronale est utilisée pour prédire comment un objet se déplacerait dans le monde réel. Ce travail a permis de simuler des cheveux en haute résolution et en temps réel, ajoutant une nouvelle dimension de réalisme aux personnages 3D.

Le rendu neuronal pour des détails de qualité cinématographique

Enfin, le rendu neuronal permet d’obtenir des détails de qualité cinématographique en temps réel pour les jeux vidéo et les jumeaux numériques. La compression de texture neuronale, présentée dans un sixième article SIGGRAPH, offre plus de détails de texture sans prendre de mémoire GPU supplémentaire. En parallèle, un système d’IA a été développé pour apprendre comment la lumière se reflète à partir de matériaux photoréalistes à plusieurs couches, permettant un ombrage jusqu’à 10 fois plus rapide.

Pour conclure, NVIDIA continue d’innover et de repousser les limites de ce que l’IA générative peut accomplir, offrant aux créateurs et aux développeurs des outils toujours plus puissants pour créer des mondes virtuels de plus en plus réalistes.

Résumé :

1. 👥 Personnalisation des modèles d’IA générative : NVIDIA a présenté de nouvelles techniques pour personnaliser le rendu des modèles d’IA générative.
2. 🎾 Evolution de la représentation en 3D : Des techniques d’IA ont été développées pour transformer les images et vidéos 2D en représentations 3D, et pour apprendre des compétences à partir de vidéos 2D et les appliquer à des personnages 3D.
3. 💇‍♀️ Physique neuronale pour une simulation plus réaliste : La physique neuronale est utilisée pour simuler des cheveux en haute résolution et en temps réel.
4. 🎬 Rendu neuronal pour des détails de qualité cinématographique : Le rendu neuronal offre des détails de qualité cinématographique en temps réel pour les jeux vidéo et les jumeaux numériques, tandis que la compression de texture neuronale préserve la mémoire GPU.
5. 🎨 L’IA comme collaborateur créatif : L’IA devient un outil essentiel pour les artistes et les développeurs, offrant une gamme de possibilités plus large que jamais auparavant.