Billedmodeller

Hvorfor billedmodeller har svært ved julestjerner med mange spidser

AI kan tegne fotorealistiske juleborde, men fejler ofte på en stjerne med 25 spidser. Forklaringen siger meget om, hvordan modellerne lærer.

Moderne billedmodeller kan lave overbevisende billeder af næsten alt. Alligevel er der en lille gruppe motiver, de igen og igen fejler på: hænder med det rigtige antal fingre, ure med rigtige tal og symmetriske genstande med mange ens dele. En rumlig julestjerne med 25 spidser er et fint eksempel at lære af, fordi den samler flere af modellernes svage punkter i ét motiv.

Modellerne tæller ikke

En diffusionsmodel bygger et billede op ved gradvist at fjerne støj, styret af mønstre, den har lært fra millioner af billeder. Den har ikke et begreb om, at en stjerne skal have et bestemt antal spidser. Den har lært, at "stjerne" typisk ser ud på en bestemt måde, og den genskaber det udtryk. Antallet bliver et biprodukt, ikke et krav. Derfor kan den samme prompt give en stjerne med 18 spidser i ét forsøg og 30 i det næste.

Symmetri i tre dimensioner

En Herrnhuter stjerne, som i Danmark også kaldes Christiansfeld-stjernen, er en tredimensionel form, hvor spidserne peger i mange retninger. Fra hver vinkel ser den forskellig ud. For en model, der arbejder i to dimensioner, er det svært at holde styr på, hvilke spidser der vender mod beskueren, og hvilke der er skjult. Resultatet bliver ofte en flad stjerne eller en uregelmæssig klump.

Træningsdata præger resultatet

Hvor ofte et motiv optræder i træningsdataene, betyder meget. Femtakkede stjerner findes overalt, så modellen trækker mod dem. Mere specifikke former er sjældnere og ofte fotograferet i dårligt lys eller i baggrunden af et billede. Billedteksterne nævner sjældent, hvor mange spidser stjernen har. Modellen får altså få og upræcise eksempler at lære af.

Det samme gælder genkendelse

Problemet findes også den anden vej. En klassifikationsmodel, der skal genkende produkter på billeder, kan have svært ved at skelne mellem stjerner af forskellig størrelse, fordi størrelse ikke kan ses på et billede uden reference. Webshops løser det ved at skrive målene i produktdataene. På easy-light.dk står stjernerne for eksempel opført med diameter, og det er netop den slags strukturerede oplysninger, en model ikke kan udlede af pixels alene.

Hvad man kan gøre

  • Brug et rigtigt foto som udgangspunkt og lad modellen kun ændre omgivelserne.
  • Kombinér billedgenerering med 3D-værktøjer, hvis formen skal være præcis.
  • Lad mennesker kontrollere resultatet, når et billede skal vise et konkret produkt.
  • Gem metadata som størrelse og antal ved siden af billedet i stedet for at lade modellen gætte.

Hvad forskningen arbejder på

Der arbejdes på modeller, der kombinerer billedgenerering med en eksplicit forståelse af geometri, for eksempel ved at generere en 3D-form først og først derefter et billede. Andre metoder lader en sprogmodel planlægge billedets indhold, inden det tegnes. Fremskridtene er tydelige, men præcis optælling er stadig et kendt svagt punkt.

En nyttig påmindelse

Julestjernen er et uskyldigt eksempel, men pointen er alvorlig. Billedmodeller er gode til helhedsindtryk og dårlige til præcise detaljer. Når detaljerne betyder noget, som i produktbilleder, tekniske tegninger eller dokumentation, skal de komme fra en kilde, der kender dem.