DALL-E est un développé par OpenAI et est connu pour sa compréhension et son exécution de haute précision de descriptions de texte complexes. DALL-E 3 a été intégré à ChatGPT, permettant aux utilisateurs de générer des images directement dans les conversations sans abonnement séparé. La version API est destinée aux développeurs et prend en charge la génération à la demande, l'édition d'images et le filtrage de sécurité de contenu intégré. Il s'agit d'un élément essentiel des capacités de création visuelle de l'écosystème OpenAI.

DALL-E — Modèle texte-image OpenAI, comprend avec précision les mots d'invite complexes

Paramètres et statistiques de base

Paramètres	Détails
Développeur	OpenAI
Dernière version	DALL-E 3 (octobre 2023)
Canaux d'intégration	ChatGPT (Plus/Équipe/Entreprise), API OpenAI
Résolution de soutien	1024×1024, 1024×1792, 1792×1024 (DALL-E3)
Prix ​​API	Standard 1024×1024 : 0,040 $/pièce ; HD 0,080 $/pièce
Accès ChatGPT	Plus limite d'utilisateurs d'environ 50 générations d'images par heure
Sécurité du contenu	Filtrage de sécurité de contenu intégré pour refuser de générer du contenu illégal
Réécriture rapide de mots	La version intégrée de ChatGPT réécrit et optimise automatiquement les mots d'invite de l'utilisateur
Points forts	Compréhension extrêmement précise des descriptions complexes et du rendu du texte
Société créée	2015, dont le siège est à San Francisco

La différence la plus significative entre DALL-E 3 et les produits concurrents tels que Midjourney est la « précision du suivi du mot rapide » : l'utilisateur saisit une description détaillée de la scène, et le DALL-E 3 peut présenter tous les détails de l'image avec une précision extrêmement élevée, sans qu'il soit nécessaire de se spécialiser dans « l'ingénierie des mots rapides » comme Midjourney.

Reconnaissance des utilisateurs et du marché

Après avoir été intégré à ChatGPT, DALL-E 3 est devenu l'un des outils de génération d'images d'IA les plus utilisés au monde, s'appuyant sur la base de ChatGPT de plus de 100 millions d'utilisateurs actifs. Il n'est pas nécessaire d'acquérir spécifiquement des compétences en mots rapides, et les images peuvent être générées directement dans l'interface de conversation familière de ChatGPT, ce qui abaisse considérablement le seuil pour les utilisateurs ordinaires.

L'influence technique de DALL-E a été largement reconnue dans l'industrie : le DALL-E de première génération (2021) a été le pionnier de la faisabilité de la conversion de texte en image à grande échelle, DALL-E 2 (2022) a établi la norme de qualité dans ce domaine et DALL-E 3 (2023) a établi une nouvelle référence en matière de précision de suivi rapide des mots et a été reconnu par plusieurs évaluations indépendantes comme supérieur aux produits concurrents en matière de rendu de texte (génération de texte dans les images) et de compréhension de scènes complexes. Microsoft étend encore davantage la portée de ses utilisateurs en déployant DALL-E 3 auprès de centaines de millions d'utilisateurs d'Office et de Windows via ses produits Bing Image Creator et Designer.

Avantage de coût

Comment utiliser	Prix ​​	Principaux avantages	Personnes concernées
Version gratuite de ChatGPT	0 $ (limité)	Génération d'images de base, restrictions d'utilisation	Expérience lumière
ChatGPT Plus	20$/mois	Limite de génération d'images plus élevée, GPT-4 + DALL-E 3	Utilisateurs individuels
API OpenAI (standard)	0,040 $/photo (1024×1024)	Paiement à l'utilisation, intégration programmatique	Développeur
API OpenAI (HD)	0,080 $/photo (1024×1024)	Meilleure qualité, plus de détails	Exigences de qualité élevées
Créateur d'images Bing	Gratuit	Microsoft offre un accès gratuit avec une limite quotidienne	Utilisateurs réguliers

Comparé à Midjourney (à partir de 10 $/mois, environ 200 générations) ou à Adobe Firefly (facturé par points), le prix de l'API de DALL-E est très compétitif dans les scénarios d'utilisation programmatique à haute fréquence et est particulièrement adapté au développement d'applications qui nécessitent une génération dynamique d'images à la demande.

Fonctions principales

• Génération de texte en image (Text-to-Image) : fonction principale, saisie d'une description en langage naturel, l'IA génère des images correspondantes de haute qualité, DALL-E 3 a une compréhension et une précision d'exécution extrêmement élevées des descriptions complexes et détaillées.
• Génération intégrée ChatGPT : Générez des images directement dans l'interface de conversation ChatGPT. ChatGPT optimisera automatiquement les mots d'invite de l'utilisateur et prendra en charge les modifications d'image en fonction du contexte de la conversation (comme « changer l'arrière-plan en une scène de nuit »).
• Rendu de texte dans l'image : une avancée importante de DALL-E 3 est la capacité de restituer avec précision le contenu du texte (tel que les slogans, le texte sur les panneaux) dans les images, ce qui constitue une faiblesse historique d'outils tels que Midjourney.
• Inpainting : prend en charge le redessinage partiel d'une certaine zone de l'image sélectionnée via l'API, laissant les autres zones inchangées. Il convient aux scénarios d’édition d’images nécessitant une modification locale.
• Rapports de tailles multiples : prend en charge trois rapports : carré (1024×1024), version verticale (1024×1792) et version horizontale (1792×1024), couvrant les exigences de taille de différents scénarios d'utilisation.
• Optimisation automatique des mots d'invite (version ChatGPT) : lorsqu'il est utilisé via ChatGPT, GPT-4 analyse et réécrit automatiquement la description simple de l'utilisateur pour générer des mots d'invite pour des images plus détaillées, améliorant ainsi la qualité de génération pour les utilisateurs novices.
• Sécurité du contenu intégrée : OpenAI a intégré un mécanisme de filtrage de sécurité de contenu multicouche dans le modèle DALL-E pour rejeter la génération de contenu illégal tel que la violence, la pornographie et les personnages portant atteinte aux droits d'auteur, garantissant ainsi la sécurité d'une utilisation commerciale et conforme.

Evolution du modèle et de la version

Version	Temps	Descriptif
DALL-E1	2021-01	Version de première génération, créant une direction de recherche dans la conversion texte-image
DALL-E2	2022-04	Amélioration de la résolution 4x, fonction Inpainting/Outpainting
API DALL-E 2 ouverte	2022-11	Accès API ouvert aux développeurs
DALL-E 3	2023-10	ChatGPT intégré, précision du suivi des mots rapides grandement améliorée
API DALL-E3	2023-11	DALL-E 3 ouvert aux développeurs via API

Avantages techniques

Intégration profonde avec GPT-4 (compréhension rapide des mots) : La plus grande avancée technique de DALL-E 3 vient de la collaboration avec de grands modèles de langage pendant le processus de formation : les données de formation sont réannotées avec des descriptions détaillées des images à l'aide de GPT-4, permettant au modèle d'apprendre à comprendre des descriptions de texte beaucoup plus complexes que les modèles de génération d'images traditionnels, y compris des sémantiques complexes telles que les relations spatiales ("A est à gauche de B"), la liaison d'attributs ("boules rouges et cubes bleus") et le rendu du contenu du texte.

Capacité de génération de texte dans l'image : DALL-E 3 a réalisé une avancée significative dans le rendu du texte (génération de texte correct dans les images, comme le texte sur les panneaux et les affiches). Cela nécessite que le modèle comprenne la forme et la disposition des caractères au niveau des pixels, ce qui constitue une faiblesse commune à tous les modèles de génération d'images traditionnels précédents. Cette fonctionnalité confère à DALL-E 3 un avantage unique dans les scénarios de génération d'affiches et de projets de conception qui nécessitent une combinaison de graphiques et de texte.

OpenAI Content Security Framework : le système de sécurité de contenu de DALL-E adopte une architecture de défense multicouche, comprenant le filtrage des mots rapides, les contraintes lors de la génération et la détection du post-traitement des images. Il répond aux exigences de sécurité du déploiement commercial tout en conservant autant que possible la liberté de création. C'est la principale garantie pour OpenAI d'investir une grande quantité de ressources d'ingénierie dans le déploiement commercial de DALL-E.

Comment utiliser

Entrée	Descriptif
ChatGPT (recommandé)	Visitez https://chat.openai.com et décrivez l'image à générer directement dans la conversation
API OpenAI	Reportez-vous à https://platform.openai.com/docs/api-reference/images, utilisez la clé API pour appeler
Créateur d'images Bing	Visitez https://www.bing.com/images/create et utilisez un compte Microsoft pour le générer gratuitement
Concepteur Microsoft	Accessible via designer.microsoft.com, un outil de conception optimisé par DALL-E 3

Étapes d'utilisation typiques (génération d'images via ChatGPT) :

1. Visitez https://chat.openai.com pour vous connecter à votre compte (les utilisateurs de plus bénéficient d'un quota de génération plus élevé).
2. Décrivez directement l'image à générer dans la boîte de dialogue, par exemple "Générer une scène nocturne urbaine de style cyberpunk, avec des néons reflétés dans la rue après la pluie et un piéton portant un imperméable qui passe."
3. ChatGPT traite automatiquement le mot d'invite et appelle DALL-E 3 pour générer l'image (généralement 10 à 30 secondes).
4. Affichez les résultats générés et continuez à indiquer les modifications dans la conversation (telles que « Changer le style en aquarelle » ou « Ajouter un chat »).
5. Une fois satisfait, cliquez avec le bouton droit pour enregistrer l'image ou cliquez sur le bouton de téléchargement.
6. Développeurs : utilisez le SDK OpenAI Python, appelez la méthode client.images.generate() et transmettez model="dall-e-3" et les paramètres de mot d'invite.

Prix des produits

• ChatGPT Free Edition : fonction de génération d'images de base, durées limitées par jour, accessible via l'interface ChatGPT.
• ChatGPT Plus (20 $/mois) : limite de génération d'images DALL-E 3 plus élevée (environ 50 fois par heure), tout en bénéficiant de toutes les fonctionnalités GPT-4, adaptées aux utilisateurs individuels.
• API OpenAI, paiement à l'utilisation :
  • DALL-E 3 Standard 1024×1024 : 0,040 $/pièce
  • DALL-E 3 Standard 1024×1792 ou 1792×1024 : 0,080 $/pièce
  • DALL-E 3 HD 1024×1024 : 0,080 $/photo
  • DALL-E 3 HD non carré : 0,120$/pièce
  • DALL-E 2 1024×1024 : 0,020 $/pièce (option à faible coût)
• Bing Image Creator (gratuit) : une entrée en accès gratuit fournie par Microsoft. Il existe une limite quotidienne de points d’accélération. Une fois épuisé, la vitesse ralentira mais il pourra toujours être utilisé gratuitement.

Scénarios d'application

1. Génération de visuels créatifs pour le marketing et la publicité L'équipe marketing utilise DALL-E 3 pour générer rapidement les premières ébauches de dessins conceptuels d'affiches d'événements, de visuels pour les réseaux sociaux et de matériel publicitaire. Il permet de vérifier rapidement les orientations créatives à un coût très faible et de réduire les coûts de communication avec les concepteurs. En particulier, la capacité de DALL-E 3 à restituer du texte sur des affiches réduit considérablement la charge de travail liée à l'ajout de texte dans le post-PS.

2. Génération d'illustrations de produits et de contenus Les blogueurs, les médias d'information et les équipes de marketing de contenu utilisent DALL-E 3 pour générer des images pour les articles afin d'éviter les risques de droits d'auteur. Les images générées par DALL-E 3 appartiennent à l'utilisateur et il n'y a aucun problème de droit d'auteur pour une utilisation commerciale. L'intégration de ChatGPT permet de réaliser l'écriture et l'illustration en douceur dans la même interface.

3. Les développeurs intègrent des capacités d'image IA Les développeurs d'applications intègrent DALL-E 3 dans les plates-formes de contenu généré par l'utilisateur (UGC), les outils de conception, les jeux et les applications via des API pour fournir aux utilisateurs finaux des fonctions de génération d'images IA. Le modèle de facturation à l'utilisation de l'API convient aux scénarios d'application avec une utilisation instable.

4. Prototypage rapide de concepts de conception Les concepteurs de produits et les concepteurs UX utilisent DALL-E 3 pour générer rapidement des diagrammes de concept d'interface, des directions visuelles de marque et des prototypes d'apparence de produit, en effectuant une vérification de concept visuel multidirectionnel au moindre coût et en moins de temps avant d'affiner la conception avec des outils tels que Figma.

Personnes concernées

• Créateurs de marketing et de contenu : besoin de générer rapidement des illustrations et des éléments visuels personnalisés, la précision des mots rapides de DALL-E 3 et l'intégration de ChatGPT rendent le processus de génération extrêmement simple.
• Développeurs et équipes techniques : nécessité d'intégrer des capacités de génération d'images IA dans les applications, et l'API DALL-E est l'une des options les plus matures et les mieux documentées.
• Designers et créatifs : utilisé pour l'exploration de concepts et le prototypage créatif, générant rapidement plusieurs directions visuelles parmi lesquelles choisir avant d'affiner la conception.
• Éducation et chercheurs : générez rapidement des images illustratives pour le matériel pédagogique, les présentations et les rapports de recherche sans frais d'apprentissage supplémentaires grâce à l'intégration ChatGPT.
• Ne convient pas aux scènes : des images photographiques très réalistes des personnages sont requises (la génération de personnages réalistes est plus restreinte par les politiques de contenu OpenAI) ; une sortie ultra haute résolution (maximum 1 792 × 1 024) est requise ; il existe une forte demande pour des styles d'image hautement contrôlables (par exemple, Midjourney a un paramètre de style plus riche).

Résumé et Outlook

DALL-E représente la disposition importante d'OpenAI dans le domaine de l'IA multimodale. Son intégration profonde avec ChatGPT permet une expérience collaborative transparente de « génération de texte + génération d'images ». Cet avantage combiné ne peut être reproduit par aucun outil de génération d’images indépendant. Les avancées technologiques de DALL-E 3 en matière de précision du suivi des mots et de rendu du texte ont établi sa valeur unique dans la génération précise de descriptions de produits et la combinaison de graphiques et de texte pour créer des scénarios de contenu.

Les limitations actuelles sont les suivantes : la génération d'images de personnages de style réaliste est limitée par la politique de contenu stricte d'OpenAI ; les options de contrôle du style d'image (voir LoRA, etc.) sont limitées par rapport aux outils qui se concentrent davantage sur les images créatives telles que Midjourney et Stable Diffusion ; le prix de l'API est très différent de celui de l'auto-hébergement Stable Diffusion et le coût d'un déploiement commercial à grande échelle est relativement élevé.

En regardant vers l'avenir, avec l'évolution continue des capacités multimodales d'OpenAI (telles que la compréhension des images et la génération de GPT-4V et GPT-4o), DALL-E devrait atteindre un cycle de « compréhension-génération » plus étroit - non seulement capable de comprendre et de décrire les images générées, mais également de comprendre les images existantes et de générer du contenu pertinent basé sur elles, élargissant ainsi les limites des applications des flux de travail créatifs.

Outils associés : midjourney, stable-diffusion

Informations de version

• ：DALL-E 3 est officiellement intégré à ChatGPT, permettant aux utilisateurs de ChatGPT Plus et Team de générer des images directement dans les conversations sans avoir besoin d'un accès séparé. Par rapport au DALL-E 2, le DALL-E 3 a considérablement amélioré la précision de la compréhension rapide des mots. Il peut comprendre et restituer avec précision des textes complexes, des relations multi-objets et des descriptions détaillées dans des images. Il est également ouvert aux développeurs via l’API OpenAI. （2023-10-01）
• DALL-E2 ：DALL-E 2 a été rendu public. Par rapport au DALL-E original, la résolution a été multipliée par 4. La qualité et le réalisme de l'image ont été considérablement améliorés. Il prenait en charge les fonctions d'inpainting d'image (Inpainting) et d'extension d'image (Outpainting). Il était ouvert aux développeurs via l'API et a posé une étape importante dans le domaine de la génération d'images IA. （2022-04-06）
• DALL-E (première génération) ：OpenAI a publié la première génération de DALL-E, qui a démontré pour la première fois la capacité des réseaux neuronaux à grande échelle à générer des images via des descriptions textuelles. Il s’agit d’un résultat de recherche pionnier dans le domaine de la génération d’images IA. Il a été nommé en hommage à Salvador Dali (Dalí) et au personnage animé de Pixar WALL-E. Il a été publié sous la forme d'un document de recherche et n'est pas encore ouvert au public. （2021-01-05）