Modèles de diffusion : comment l'IA génère une image à partir de bruit

Quatrième famille du dossier sur IA : LLM, VLM, OCR... le panorama des familles de modèles : les modèles de diffusion, la brique derrière Midjourney, Stable Diffusion ou les générateurs d’image intégrés à Gemini et GPT. Contrairement aux familles précédentes, ici on ne lit ni ne comprend une image : on la fabrique de toutes pièces.

Le principe, contre-intuitif au premier abord

Un modèle de diffusion ne dessine pas, il débruite¹. Le processus part d’un bruit aléatoire pur, un peu comme la neige d’un vieux téléviseur mal réglé, et l’affine étape par étape jusqu’à obtenir une image cohérente avec le prompt¹. À chaque étape, le modèle résout la même question : quelle petite modification du bruit me rapproche le plus de ce que décrit le prompt ?

Le modèle a appris ce mouvement inverse pendant l’entraînement, en observant le processus contraire : on part d’une vraie image, on lui ajoute du bruit petit à petit jusqu’à obtenir n’importe quoi, et le réseau apprend à prédire, à chaque étape, quel bruit vient d’être ajouté³. Une fois cette compétence acquise, il suffit d’inverser le processus pour transformer du bruit pur en image.

flowchart LR
    A[Bruit aléatoire] --> B[Débruitage étape 1]
    B --> C[Débruitage étape 2]
    C --> D[...]
    D --> E[Image finale]
    F[Prompt texte] -.guide chaque étape.-> B
    F -.-> C
    F -.-> D

Pourquoi ça prend plusieurs secondes

C’est aussi ce qui explique pourquoi la génération d’image prend du temps par rapport à une réponse texte : le modèle répète l’opération de débruitage sur de nombreuses itérations, typiquement de quelques dizaines à mille étapes, avant d’obtenir un résultat net.

Une astuce a considérablement accéléré le processus : la diffusion latente. Plutôt que de débruiter directement sur les pixels bruts, le modèle travaille sur une version compressée de l’image (un espace latent, beaucoup plus petit), et ne reconstitue l’image en haute résolution qu’à la toute fin². C’est l’approche popularisée par Stable Diffusion, avec un gain de vitesse d’environ 2,7x par rapport à une diffusion pixel par pixel, à qualité équivalente².

Les architectures récentes

Les modèles les plus récents combinent la diffusion avec l’architecture transformer (les “Diffusion Transformers” ou DiT), la même famille que celle qui fait tourner les LLM. C’est ce qui permet à des modèles comme Stable Diffusion 3 ou Imagen de gagner encore en détail et en cohérence³.

Les limites qui restent

• Le texte dans l’image : générer du texte lisible à l’intérieur d’une image reste un point faible classique. Les progrès sont réels depuis 2024, mais les erreurs persistent (caractères manquants, mélange de langues), parce que le modèle traite les lettres comme des formes visuelles, pas comme des symboles porteurs de sens¹.
• La cohérence entre plusieurs images : un générateur d’image classique produit chaque image indépendamment, ce qui devient un problème dès qu’on veut enchaîner des frames cohérentes, par exemple pour de la vidéo. C’est un des défis que les modèles vidéo (voir l’article sur les Modèles vidéo et world models : générer une séquence, simuler un monde) doivent résoudre en plus.
• Le droit d’auteur : le débat le plus structurant et le moins tranché du secteur porte sur l’entraînement de ces modèles sur des œuvres protégées sans licence, une question toujours en discussion devant les tribunaux¹.