Fin juillet, OpenAI annonçait la disponibilité de son IA de génération d’images, DALL-E 2, en version bêta. Un million de personnes s’étaient déjà inscrites sur la liste d’attente, elles vont pouvoir bénéficier d’Outpainting, la dernière fonctionnalité pour DALL-E 2 annoncée par Open AI.
En 2021, Open AI lançait DALL-E, un modèle d’IA text-to-image, une version de 12 milliards de paramètres de GPT-3 entraînée à générer des images à partir de descriptions textuelles, en utilisant un ensemble de données de paires texte-image.
La nouvelle version, DALL-E 2, génère des images plus réalistes et plus précises avec une résolution 4 fois supérieure. Comme la précédente, elle peut créer des images et des illustrations originales à partir d’une description textuelle et combiner des concepts, des attributs et des styles.
La fonction Outpainting
Lorsqu’on utilise DALL-E 2, il est possible d’apporter des modifications aux images générées ou téléchargées à partir d’une légende en langage naturel, ajouter et supprimer des éléments tout en tenant compte des ombres, des reflets et des textures, une fonctionnalité connue sous le nom d’inpainting.
Outpainting, la nouvelle fonctionnalité, va permettre d’agrandir une image existante en tenant compte des éléments visuels existants de l’image, y compris les ombres, les reflets et les textures, pour maintenir le contexte de l’image d’origine. Les utilisateurs sélectionnent une zone carrée de 1 024 pixels sur 1024 où ils souhaitent étendre l’image et laissent parler leur imagination pour créer une nouvelle image en guidant l’IA.
La Jeune fille à la perle, œuvre étendue par August Kamp
Pour illustrer la présentation d’Outpainting, Open AI a choisi une version revisitée avec Outpainting du célèbre tableau « La Jeune Fille à la perle » de Johannes Vermeer. Cette peinture à l’huile de dimension moyenne est un portrait en buste d’une jeune femme anonyme sur fond très sombre.
August Kamp est parti de cette huile, a ajouté un corps à la jeune fille, puis créé un décor de cuisine rustique très encombrée en ajoutant des cadres. On doit bien reconnaître que le résultat est cohérent et plutôt réussi. De nombreux autres utilisateurs se sont emparés d’Outpainting, certains résultats sont eux-aussi très réussis, d’autres beaucoup moins…
Outpainting fonctionne avec le même système de crédit que les invites normales. Chaque utilisateur obtient 50 crédits gratuits au cours du premier mois d’utilisation de DALL·E 2 puis 15 crédits gratuits les mois suivants. Des blocs de 115 crédits supplémentaires peuvent être achetés pour 15 $.
La génération d’une image initiale prend un crédit, tout comme chaque section supplémentaire surpeinte. avec une invite générant 4 images à utiliser avec les cadres de Outpainting.
Tout comme l’utilisation de MidJourney par Jason Allen pour l’œuvre « Théâtre d’Opéra Spatial » qui a remporté un 1er prix à la Colorado State Fair, celle de DALL-E 2 peut interroger mais il est indéniable que l’art généré par l’IA n’en est qu’à ses débuts…
