GET3D : un modèle génératif de formes texturées 3D de haute qualité apprises à partir d’images

La création de contenu 3D est importante pour des industries telles que les jeux, la robotique ou les plateformes sociales. Comme la création manuelle d’assets 3D nécessite des connaissances spécifiques et beaucoup de temps, les chercheurs essaient de créer des réseaux 3D génératifs qui pourraient produire des assets 3D diversifiés et de haute qualité.

Formes générées par GET3D rendues dans Blender. Crédit image : arXiv : 2209.11163 [cs.CV]

Un article récent sur arXiv.org présente une nouvelle approche qui répond à toutes les exigences d’une 3D pratiquement utile génératif maquette.

Premièrement, il peut générer des formes avec une géométrie détaillée et une topologie arbitraire. Deuxièmement, la sortie est un maillage texturé – une représentation principale utilisée par les progiciels graphiques standard. De plus, les images 2D peuvent être exploitées pour la supervision car elles sont plus largement accessibles.

Le modèle démontre les performances de pointe pour la génération de formes 3D inconditionnelles sur plusieurs catégories telles que les voitures, les personnages humains et les bâtiments.

Alors que plusieurs industries s’orientent vers la modélisation de mondes virtuels 3D massifs, le besoin d’outils de création de contenu capables d’évoluer en termes de quantité, de qualité et de diversité de contenu 3D devient évident. Dans notre travail, nous visons à former des modèles génératifs 3D performants qui synthétisent des maillages texturés qui peuvent être directement consommés par les moteurs de rendu 3D, donc immédiatement utilisables dans des applications en aval. Les travaux antérieurs sur la modélisation générative 3D manquent de détails géométriques, sont limités dans la topologie de maillage qu’ils peuvent produire, ne prennent généralement pas en charge les textures ou utilisent des moteurs de rendu neuronaux dans le processus de synthèse, ce qui rend leur utilisation dans les logiciels 3D courants non triviale. Dans ce travail, nous introduisons GET3D, un modèle génératif qui génère directement des maillages 3D texturés explicites avec une topologie complexe, des détails géométriques riches et des textures haute fidélité. Nous combinons les succès récents dans la modélisation de surface différentiable, le rendu différentiable ainsi que les réseaux antagonistes génératifs 2D pour former notre modèle à partir de collections d’images 2D. GET3D est capable de générer des maillages texturés 3D de haute qualité, allant des voitures, des chaises, des animaux, des motos et des personnages humains aux bâtiments, réalisant des améliorations significatives par rapport aux méthodes précédentes.

Article de recherche: Gao, J., « GET3D : un modèle génératif de formes texturées 3D de haute qualité apprises à partir d’images », 2022. Lien : https://arxiv.org/abs/2209.11163
Page du projet : https://nv-tlabs.github.io/GET3D/

Tu peux offrez votre lien vers une page en rapport avec le sujet de cet article.