Large Language Models (LLM'er) er neurale netværk med milliarder af parametre trænet på gigantiske tekstkorpora fra internettet, bøger og videnskabelige artikler. De repræsenterer det mest markante paradigmeskift i naturlig sprogbehandling siden Transformer-arkitekturen blev introduceret i 2017.
Grundprincippet i LLM'er er bemærkelsesværdigt enkelt: modellen trænes til at forudsige næste token (et ord eller en delordsenhed) baseret på de foregående. Ved at gøre dette milliarder af gange på hundredvis af gigabyte tekst udvikler modellen dyb forståelse af sprog, kontekst, faktuel viden og til en vis grad ræsonnement. Denne next-token prediction er den eneste træningsopgave for basemodeller, men den viser sig at være tilstrækkelig til at fremkalde overraskende komplekse evner.
Arkitekturen bag moderne LLM'er er næsten udelukkende Transformer-baseret. Self-attention mekanismen lader modellen fokusere på relevante dele af input uanset afstanden mellem dem, hvilket er kritisk for at forstå lange tekststykker. Decoder-only Transformers dominerer moderne LLM'er, hvor GPT-familien, Claude, Llama og Mistral alle bruger denne arkitektur.
Størrelsen på moderne LLM'er er ekstrem. GPT-3 introducerede skalaen med 175 milliarder parametre i 2020. GPT-4 og Claude Opus antages at være væsentligt større, dog rapporteres præcise tal ikke af de kommercielle udbydere. Llama 3.1 fra Meta findes i versioner med 8B, 70B og 405B parametre. Træningen af en model i 100B+ klassen koster typisk 10-100 millioner dollars og kræver tusindvis af GPU'er.
Træningen består af tre faser. Pre-training bruger enorme mængder ustruktureret tekst til at lære grundlæggende sprogkompetencer og verdensviden. Supervised fine-tuning bruger mindre, kurateret datasæt af instruktion-svar-par til at gøre modellen brugbar til dialog og opgaver. RLHF (Reinforcement Learning from Human Feedback) eller DPO (Direct Preference Optimization) justerer modellen efter menneskelige præferencer for hjælpsomhed, sikkerhed og korrekthed.
Emergent abilities er et centralt fænomen i LLM-forskning. Ved en vis skala begynder modeller pludselig at kunne løse opgaver de ikke direkte er trænet på: aritmetik, kodning, ræsonnement og oversættelse mellem sprog de næppe har set. Denne emergens er ikke fuldt forstået og gør skalering til en aktiv forskningsretning.
Context window er en kritisk parameter. Tidlige modeller kunne kun håndtere 2.048 tokens ad gangen. Moderne modeller som Claude 3.5 Sonnet og GPT-4 Turbo håndterer 200.000 tokens eller mere, hvilket svarer til en hel bog. Gemini 1.5 Pro pushede grænsen til 1-2 millioner tokens gennem effektive attention-mekanismer.
Alignment og sikkerhed er centrale bekymringer. LLM'er kan generere skadeligt indhold, misinformation eller reproducere bias fra træningsdata. Constitutional AI (Anthropic), RLHF (OpenAI) og red teaming er teknikker der bruges til at gøre modeller mere sikre. Alignment-forskning er et voksende felt med selvstændige forskningsgrupper hos alle større AI-laboratorier.
Kommercielle LLM'er inkluderer OpenAI's GPT-serien, Anthropic's Claude-familie, Google's Gemini og xAI's Grok. Alle tilbydes via API og bruges bredt i produktion. Open source-modeller som Llama (Meta), Mistral og Qwen (Alibaba) har gjort avancerede LLM'er tilgængelige for enhver med tilstrækkelig hardware.
Retrieval-Augmented Generation (RAG) er en central teknik der udvider LLM'er med opdaterede eller virksomhedsspecifikke data. Et RAG-system henter relevante dokumenter fra en vektordatabase og inkluderer dem i modellens kontekst før generering. Dette adresserer LLM'ers manglende viden om nyere begivenheder og reducerer hallucinationer.
Agentic AI er den næste bølge. LLM'er kombineres med værktøjer (websøgning, kode-udførelse, API-kald) og kan udføre flertrins-opgaver autonomt. Anthropic's Claude med tool use, OpenAI's Assistants API og open source-frameworks som LangChain og LlamaIndex driver denne udvikling.
Danske virksomheder anvender LLM'er bredt i 2026. Kundeservice-automatisering med dansksprogede modeller, kodegenerering via GitHub Copilot, dokumentanalyse og content generation er dagligdags anvendelser. Danish Foundation Models og lignende initiativer arbejder på at bygge dansksprogede LLM'er der matcher engelske modeller i kvalitet på danske opgaver.
Begrænsninger inkluderer hallucinationer (opfundne fakta præsenteret med selvsikkerhed), computationelle omkostninger ved inferens, latens ved store modeller, og etiske spørgsmål omkring ophavsret på træningsdata. Regulering som EU's AI Act stiller nye krav til transparens og risikohåndtering.
Prompt engineering er blevet en central kompetence i arbejdet med LLM'er. Zero-shot prompting beder modellen løse en opgave uden eksempler. Few-shot prompting inkluderer 2-10 eksempler i prompten for at demonstrere ønsket adfærd. Chain-of-thought prompting instruerer modellen til at ræsonnere trin for trin, hvilket dramatisk forbedrer præstationen på matematiske og logiske opgaver. Systemprompt-teknik definerer modellens rolle, tone og constraints for hele samtalen.
Fine-tuning strategier har udviklet sig hurtigt. Full fine-tuning opdaterer alle modellens parametre men kræver enorme mængder GPU-hukommelse. Parameter-Efficient Fine-Tuning (PEFT) opdaterer kun små, tilføjede lag: LoRA (Low-Rank Adaptation) tilføjer trænbare rank-decomposition matricer der reducerer trænbare parametre med 10.000x, mens QLoRA kombinerer LoRA med 4-bit kvantisering og gør fine-tuning af 65B modeller mulig på en enkelt consumer GPU. Disse teknikker har demokratiseret adgang til custom LLM'er.
Evalueringsmetodikker for LLM'er er stadig et åbent forskningsområde. Klassiske NLP-metrikker som BLEU og ROUGE fungerer dårligt for generativ tekst. Benchmark-suiter som MMLU (massiv multitask forståelse), HumanEval (kodning), GSM8K (matematik) og MT-Bench (dialog-kvalitet) er blevet standard. LLM-as-judge, hvor en stærk model evaluerer output fra andre modeller, er en pragmatisk løsning men risikerer at reproducere den evaluerende models biases. Menneskelig evaluering forbliver guldstandard men er dyrt og langsomt at skalere.
Åbne LLM'er har lukket gap'et til proprietære modeller markant. Llama 3.1 405B, DeepSeek V3 og Qwen 2.5 72B præsterer på niveau med GPT-4-klasse modeller på mange benchmarks. Open weights giver virksomheder frihed til at fine-tune, deployere on-premise og undgå vendor lock-in. Kombineret med teknikker som quantization og distillation kan åbne modeller køres på almindeligt hardware med acceptabel latens.
Fremtidsvisionen for LLM'er inkluderer flere retninger. Small Language Models (SLM'er) med 1-10B parametre optimerer for specifikke domæner. Multimodale modeller kombinerer sprog med billeder, video og audio i én arkitektur. World models forsøger at bygge modeller der forstår fysik og kausalitet ud over sprogmønstre. Agentic AI kombinerer LLM'er med værktøjer, hukommelse og planlægning til autonome systemer. Den overordnede retning peger mod modeller der ikke bare genererer tekst, men aktivt kan handle i digitale og fysiske miljøer.