Apprendre à générer des formes 3D à partir d’un seul exemple

La création par l’utilisateur de nouvelles formes numériques 3D est un processus laborieux qui nécessite un savoir-faire technique. Par conséquent, des algorithmes informatiques qui créent des formes sont nécessaires. Cependant, les méthodes actuelles nécessitent de grands ensembles de données de formation.

Exemples de formes générées aléatoirement. Crédit image : arXiv : 2208.02946 [cs.GR]

Un article récent sur arXiv.org propose une analyse approfondie modèle génératif qui apprend à partir d’une seule forme 3D sans avoir besoin d’annotation manuelle ou de données externes.

Le modèle peut produire diverses variations de forme tout en préservant la structure globale présentée dans la forme d’entrée. L’approche est basée sur les avancées des réseaux antagonistes générateurs d’images uniques (GAN), dont le but est d’apprendre la distribution des patchs d’image sur une seule image d’entrée.

De même, le modèle génératif proposé est basé sur une architecture GAN hiérarchique multi-échelle formée sur une pyramide de voxels du shaper 3D d’entrée. Les chercheurs effectuent des évaluations qualitatives et quantitatives et démontrent les résultats de génération sur diverses formes 3D de différentes catégories.

Les modèles génératifs existants pour les formes 3D sont généralement formés sur un grand ensemble de données 3D, souvent d’une catégorie d’objets spécifique. Dans cet article, nous étudions le modèle génératif profond qui apprend à partir d’une seule forme 3D de référence. Plus précisément, nous présentons un modèle GAN multi-échelle conçu pour capturer les caractéristiques géométriques de la forme d’entrée sur une gamme d’échelles spatiales. Pour éviter une mémoire importante et des coûts de calcul induits par le fonctionnement sur le volume 3D, nous construisons notre générateur au-dessus de la représentation hybride tri-plan, qui ne nécessite que des convolutions 2D. Nous entraînons notre modèle génératif sur une pyramide de voxels de la forme de référence, sans avoir besoin de supervision externe ou d’annotation manuelle. Une fois formé, notre modèle peut générer des formes 3D diverses et de haute qualité, éventuellement de tailles et de rapports d’aspect différents. Les formes résultantes présentent des variations à différentes échelles, tout en conservant la structure globale de la forme de référence. Grâce à une évaluation approfondie, à la fois qualitative et quantitative, nous démontrons que notre modèle peut générer des formes 3D de différents types.

Article de recherche: Wu, R. et Zheng, C., « Apprendre à générer des formes 3D à partir d’un seul exemple », 2022. Lien : https://arxiv.org/abs/2208.02946
Page du projet : https://www.cs.columbia.edu/cg/SingleShapeGen/

Tu peux offrez votre lien vers une page en rapport avec le sujet de cet article.