Logistisk regression er en af de mest udbredte klassifikationsalgoritmer inden for machine learning, på trods af at navnet antyder regression. Algoritmen blev udviklet af statistikeren David Cox i 1958 og har siden været et fast holdepunkt i både statistik og machine learning, fordi den kombinerer matematisk gennemsigtighed med praktisk nytte.
Grundproblemet logistisk regression løser er binær klassifikation: skal et datapunkt placeres i den ene eller den anden kategori. Almindelig lineær regression er uegnet til dette, fordi den kan producere forudsigelser under 0 eller over 1, hvilket ikke giver mening som sandsynlighed. Logistisk regression løser det ved at sende den lineære kombination af features gennem en sigmoid-funktion (også kaldet logistisk funktion), der presser output ind i intervallet mellem 0 og 1.
Den matematiske formel er: p(y=1) = 1 / (1 + e^-(b₀ + b₁x₁ + b₂x₂ + ... + bₙxₙ)). Udtrykket i eksponenten - den lineære kombination af features og koefficienter - kaldes log-odds eller logit. Sigmoid-funktionen omdanner denne log-odds til en sandsynlighed. Er sandsynligheden over en tærskel, typisk 0,5, klassificeres datapunktet som positivt.
Træningen bruger maximum likelihood estimation frem for OLS. Algoritmen finder de koefficienter der maksimerer sandsynligheden for at observere de faktiske labels i træningsdataen, typisk via gradient descent eller mere avancerede optimeringsmetoder som L-BFGS. Loss-funktionen er log loss (også kaldet binary cross-entropy), der straffer selvsikre, forkerte forudsigelser hårdere end usikre forudsigelser tæt på 0,5.
En af logistisk regressions store styrker er fortolkelighed. Hver koefficient kan omregnes til en odds ratio ved at tage e^b. En odds ratio på 2 betyder at en enheds stigning i den pågældende feature fordobler oddsene for det positive udfald, alt andet lige. Denne egenskab gør algoritmen populær i medicin, forsikring og finans, hvor beslutninger skal kunne begrundes over for tilsynsmyndigheder og patienter.
Regularisering forhindrer overfitting på samme måde som ved lineær regression. L2-regularisering (Ridge) holder koefficienterne små og jævnt fordelte, mens L1-regularisering (Lasso) kan drive koefficienter helt til nul og dermed fungere som automatisk feature selection. Elastic Net kombinerer begge. Regulariseringsstyrken styres af hyperparameteren C i scikit-learns implementering, hvor lavere C betyder stærkere regularisering.
Multinomial logistisk regression udvider algoritmen til klassifikation med mere end to klasser ved at bruge softmax-funktionen i stedet for sigmoid. Hver klasse får sin egen sæt koefficienter, og softmax normaliserer sandsynlighederne på tværs af alle klasser, så de summer til 1. One-vs-rest er et alternativ, hvor der trænes én binær klassifikator per klasse.
Antagelser bag logistisk regression skal kendes for at bruge den korrekt. Algoritmen antager en lineær sammenhæng mellem features og log-odds, ikke mellem features og selve sandsynligheden. Den kræver rimelig uafhængighed mellem observationer og er følsom over for multikollinearitet, hvor to eller flere features er stærkt korrelerede. Variance Inflation Factor (VIF) bruges til at diagnosticere multikollinearitet før modellen trænes.
I praksis fungerer logistisk regression som en stærk baseline der næsten altid bør trænes først, før mere komplekse modeller som Random Forest eller XGBoost overvejes. Er datasættet lille, er features nogenlunde lineært relaterede til target, og kræves der en fortolkelig model, er logistisk regression ofte tilstrækkelig i sig selv. Sammenlignet med beslutningstræer og ensemble-metoder er logistisk regression hurtigere at træne, kræver mindre data for at undgå overfitting, men kan ikke naturligt fange komplekse, ikke-lineære interaktioner mellem features uden manuel feature engineering.
Anvendelser i industrien inkluderer kreditvurdering (vil en låntager misligholde sit lån), medicinsk diagnose (er en tumor godartet eller ondartet), churn-forudsigelse (forlader en kunde abonnementet), e-mail spamfiltrering og klikforudsigelse i online reklame. Bankers kreditscoring-modeller er ofte lovmæssigt forpligtet til at være fortolkelige, hvilket gør logistisk regression til et vedvarende valg selv i en tidsalder domineret af gradient boosting og neurale netværk.