Diffusionsmodeller er den teknologi der ligger bag nutidens mest kendte billedgenererende AI-værktøjer: Stable Diffusion, DALL-E og Midjourney. Selvom de matematiske fundamenter går tilbage til termodynamik og blev formaliseret i machine learning-litteraturen allerede i 2015, var det først med Denoising Diffusion Probabilistic Models (DDPM) i 2020 og de efterfølgende forbedringer, at teknikken for alvor overhalede Generative Adversarial Networks (GANs) som den foretrukne metode til billedgenerering.
Grundidéen er inspireret af fysisk diffusion, hvor partikler spredes fra høj til lav koncentration. I maskinlæringssammenhæng trænes modellen i to modsatrettede processer. Forward-processen tilføjer gradvist Gaussisk støj til et billede over mange trin, typisk et par tusind, indtil billedet er ren, tilfældig statisk. Reverse-processen - den del modellen faktisk lærer - forsøger at forudsige og fjerne støjen ét trin ad gangen, og starter fra ren statisk for gradvist at "afsløre" et sammenhængende billede.
Modellen trænes til at forudsige den støj der blev tilføjet ved hvert trin i forward-processen, givet det støjede billede og tidstrinet. Denne opgave - forudsig støjen - er markant simplere at optimere end at generere et helt billede på én gang, hvilket er en central grund til diffusionsmodellers stabilitet under træning sammenlignet med GANs, der er berygtede for ustabil træning og mode collapse (hvor generatoren kun producerer en snæver delmængde af mulige output).
Arkitekturen bag den støj-forudsigende model er typisk et U-Net, den samme arkitektur der oprindeligt blev udviklet til medicinsk billedsegmentering. U-Net'et bruger skip connections mellem tilsvarende lag i encoder og decoder, hvilket bevarer både lokale detaljer og global struktur under støjfjernelsen. Nyere modeller som Stable Diffusion 3 og Sora fra OpenAI erstatter dele af U-Net'et med Transformer-baserede arkitekturer (Diffusion Transformers, DiT), hvilket skalerer bedre til meget store modeller.
Text-to-image generering, den mest udbredte anvendelse, kombinerer diffusionsmodellen med en tekst-encoder. CLIP, udviklet af OpenAI, konverterer en tekstprompt til et embedding der guider hele denoising-processen, så det genererede billede matcher beskrivelsen. Classifier-free guidance er en teknik der forstærker denne styring ved at sammenligne modellens output med og uden tekstbetingelse, og forstærke forskellen for at gøre output mere trofast mod prompten.
Latent diffusion, introduceret med Stable Diffusion i 2022, er en central optimering. I stedet for at udføre diffusionsprocessen direkte på pixel-niveau, hvor et 512x512-billede har over 260.000 dimensioner, komprimeres billedet først til et langt mindre latent rum via en autoencoder. Diffusionsprocessen kører i dette komprimerede rum, hvilket reducerer beregningsomkostningerne dramatisk og gjorde det muligt at køre Stable Diffusion på forbruger-GPU'er i stedet for datacenter-hardware.
Samplings-hastighed var oprindeligt diffusionsmodellernes svaghed. De første DDPM-modeller krævede op mod 1000 sekventielle trin for at generere et enkelt billede, hvilket tog flere minutter. DDIM (Denoising Diffusion Implicit Models) og senere teknikker som konsistensmodeller har reduceret dette til under 20-50 trin uden markant tab af kvalitet, og enkelte moderne varianter kan generere billeder i et enkelt trin.
Anvendelser rækker langt ud over statiske billeder. Video-diffusion, som i Sora og Runway Gen-3, udvider teknikken til at generere sammenhængende video-sekvenser over tid. Audio-diffusion genererer musik og talesyntese. Inden for videnskab bruges diffusionsmodeller til at generere nye proteinstrukturer (RFdiffusion) og molekylære forbindelser i lægemiddeludvikling, hvor teknikken kan foreslå kandidater der aldrig er observeret i naturen.
Inpainting og outpainting - hvor dele af et eksisterende billede fjernes og genereres på ny, eller hvor billedet udvides ud over sine oprindelige grænser - udnytter samme underliggende mekanisme ved at fastholde de kendte pixler under denoising-processen og kun lade modellen generere de manglende områder. ControlNet tilføjer yderligere styring ved at lade brugeren angive struktur via skitser, dybdekort eller poseringer, som modellen så følger under generering.
Etiske og juridiske spørgsmål fylder meget i debatten om diffusionsmodeller. Træningsdataen stammer typisk fra milliarder af billeder skrabet fra internettet, hvilket har udløst retssager om ophavsret fra kunstnere og billedbureauer som Getty Images. Deepfakes - realistiske men falske billeder eller videoer af virkelige personer - er en direkte konsekvens af teknologiens modenhed, og har fået lovgivere i EU og USA til at overveje mærkningskrav for AI-genereret indhold.
Sammenlignet med GANs har diffusionsmodeller vundet terræn fordi de er lettere at træne stabilt, producerer mere varierede output og skalerer bedre med mere data og beregningskraft. Prisen er langsommere generering, selv med de nyeste optimeringer, og et højere beregningsbehov under selve træningen. I 2026 er diffusionsmodeller den dominerende arkitektur inden for generativ billed- og videokunst, mens GANs primært lever videre i nichenormer som real-time ansigtsfiltre, hvor hastighed vejer tungere end den absolutte kvalitet.