Les sociétés de recherche et d'édition sur l'intelligence artificielle (IA), telles qu'OpenAI, publient constamment des fonctionnalités pour améliorer divers aspects de la vie et faciliter les tâches banales. En plus de ChatGPT, DALL-E, Point-E et d'autres outils performants, OpenAI a publié un nouveau modèle innovant.
Alors, qu'est-ce que Shap-E d'OpenAI et que peut-il faire pour vous ?
Liens rapides
Qu'est-ce que le Shap-E d'OpenAI ?
En mai 2023, Alex Nichol et Heewon Jun, chercheurs et contributeurs à OpenAI, ont publié papier annoncé À propos de Shap-E, la dernière innovation de l'entreprise. Shap-E est un nouveau modèle formé sur un ensemble massif de données d'images 2D et de textes appariés qui peut générer des modèles XNUMXD à partir de texte ou d'images. Il est similaire à DALL-E, qui peut générer des images XNUMXD à partir d'invites de texte, mais Shap-E produit des ressources XNUMXD.
Shap-E est formé sur un modèle de diffusion conditionnelle et une cartographie d'actifs 3D. La cartographie des ressources 3D signifie que Shap-E apprend à associer du texte ou des images à des modèles 3D correspondants à partir d'un grand ensemble de données d'objets 3D existants. Un modèle de diffusion conditionnelle est un modèle génératif qui part d'une version chaotique de la sortie cible et l'affine progressivement en supprimant le bruit et en ajoutant des détails.
En combinant ces deux composants, Shap-E peut créer des modèles 3D réalistes et diversifiés qui correspondent à la saisie de texte ou d'image et peuvent être visualisés sous différents angles et dans plusieurs conditions d'éclairage. vérifier Comment convertir votre voix en texte avec OpenAI's Whisper pour Windows.
Comment utilisez-vous le Shap-E d'OpenAI ?
Shap-E n'est pas aussi médiatisé que les autres outils OpenAI, mais le modèle, le code d'inférence et les exemples sont disponibles en téléchargement sur la page Shap-E. Shap-E GitHub.
Vous pouvez télécharger gratuitement le code source de Shap-E et l'installer à l'aide de la commande Python pip sur votre ordinateur. Vous avez également besoin d'un GPU NVIDIA et d'un processeur hautes performances, car Shap-E est gourmand en ressources.
Après l’installation, ouvrez les images 3D que vous créez dans Microsoft Paint XNUMXD. De même, vous pouvez convertir des images en fichiers STL si vous souhaitez les imprimer avec une imprimante XNUMXD.
Vous pouvez également signaler des problèmes et trouver des solutions aux problèmes déjà soulevés par d'autres sur la page Shap-E GitHub. Vérifier Facteurs importants à prendre en compte lors du choix d'une imprimante XNUMXD.
Ce que vous pouvez faire avec le Shap-E d'OpenAI
Shap-E vous permet de décrire des idées complexes en utilisant une représentation visuelle des idées. Les utilisations potentielles de cette technologie sont illimitées, d'autant plus que les visuels ont généralement des effets beaucoup plus importants que les revendications textuelles.
En tant qu'architecte, vous pouvez utiliser Shap-E pour créer des modèles 60D de bâtiments et de structures basés sur des descriptions écrites. Vous pouvez spécifier les dimensions, les matériaux, les couleurs et les motifs des structures à l’aide de phrases simples. Par exemple, vous pouvez le revendiquer en disant : « Créez un gratte-ciel de XNUMX étages avec une balustrade en verre » et exporter le(s) résultat(s) vers d’autres applications pour des modifications ultérieures si vous souhaitez bénéficier des résultats obtenus.
Les animateurs peuvent améliorer les environnements virtuels et les expériences visuelles en créant des objets et des personnages 3D détaillés. En ingénierie, vous pouvez décrire les composants, les spécifications et les fonctions des machines et des équipements et obtenir les résultats dans des modèles 3D avant de créer des prototypes réels.
De plus, même dans des domaines comme l'éducation, Shap-E peut aider les enseignants à communiquer des idées complexes et abstraites à leurs élèves dans des matières comme la biologie, l'ingénierie et la physique.
Bien qu'il s'agisse toujours d'un travail en cours, Shap-E a une longueur d'avance POINT-E D'OpenAI, qui génère des nuages de points 3D basés sur des invites textuelles. Les nuages de points sont limités dans leur expressivité et leur résolution, produisant souvent des formes floues ou incomplètes. vérifier Qu'est-ce que DALL-E et comment les images sont-elles générées à partir de descriptions textuelles ?
Créez des modèles 3D avec Shap-E d'OpenAI
Shap-E est une démonstration impressionnante de la capacité de l'IA à générer du contenu 3D à partir de langage naturel ou d'images standard. Avec lui, vous pouvez créer des objets 3D pour des jeux informatiques, des expériences de réalité virtuelle interactives, des prototypes et d'autres fins. Bien qu'il n'y ait aucune garantie concernant la qualité de sortie, le modèle d'IA vous offre un moyen rapide et efficace de créer un modèle XNUMXD de n'importe quoi.
En outre, ce modèle d'IA est une contribution importante dans le domaine de l'apprentissage en profondeur et est susceptible de conduire à des innovations et des créations avancées à l'avenir. Vous pouvez voir maintenant Qu'est-ce que l'apprentissage automatique ? Expliquer les algorithmes intelligents.
