Lys, der blinker i takt med musikken, er en klassiker til fester og spilleaftener. Mange LED-løsninger har en lille controller med mikrofon, der får farverne til at skifte i rytmen. Det ser enkelt ud, men det er et godt eksempel på realtidsanalyse af et signal, og på hvor langt man kan komme med klassiske metoder, før maskinlæring bliver relevant.
Trin et: lyd bliver til tal
Mikrofonen opfanger lydtryk, som bliver omsat til en lang række tal i sekundet. I den rå form siger tallene ikke meget om musikken. Derfor bruger man typisk en frekvensanalyse, hvor signalet deles op i bas, mellemtone og diskant. Den mest udbredte metode er Fourier-transformationen, som i en hurtig udgave kan køre på selv små mikrocontrollere.
Trin to: find rytmen
Når signalet er delt op, kan man lede efter pludselige stigninger i energien, især i bassen. En stortromme giver et tydeligt spring, og det kan bruges som signal til at skifte farve eller blinke. Det kaldes beat-detektion. De enkleste algoritmer sammenligner den aktuelle energi med et glidende gennemsnit og reagerer, når forskellen er stor nok.
Hvor de enkle metoder kommer til kort
- Støj: Tale og klirrende glas kan forveksles med musik.
- Genrer: Musik uden tydelig bas giver få klare signaler.
- Stemning: En rolig ballade og et hurtigt dansenummer kan have samme lydstyrke.
Her kommer maskinlæring ind
Med maskinlæring kan man træne en model til at genkende mere end lydstyrke. En lille klassifikationsmodel kan lære at skelne musik fra tale, vurdere tempo eller placere et nummer på en skala fra roligt til energisk. Det kan bruges til at vælge farvepalet: varme, langsomme overgange til de rolige numre og hurtige skift til de energiske. Modellerne skal være små og hurtige, fordi lyset skal reagere med det samme. Derfor bruger man ofte kompakte netværk, der er optimeret til at køre lokalt på enheden.
Fra algoritme til lys
Til sidst skal resultatet oversættes til farver. Her er fleksible LED strips et oplagt valg, fordi de kan placeres bag skærme, under møbler eller langs væggen. RGB-strips blander rød, grøn og blå til forskellige farver, og med en kompatibel controller kan de skifte farve og effekt. Forhandlere sælger også egne musikcontrollere, der styrer lysbåndet ud fra lyden i rummet.
Latens er alt
Lyset skal reagere inden for en brøkdel af et sekund, ellers opleves det som ude af takt. Derfor handler meget af arbejdet om at gøre analysen hurtig nok. Mindre analysevinduer giver hurtigere reaktion, men mindre præcis frekvensopløsning. Den afvejning er et klassisk ingeniørvalg i al realtidsbehandling.
Et godt hobbyprojekt
For den, der vil lære signalbehandling og maskinlæring, er musikstyret lys et taknemmeligt projekt. Resultatet kan ses med det samme, og der er plads til at starte simpelt og bygge på. Begynd med frekvensanalyse og en enkel beat-detektion, og prøv derefter at træne en lille model på dine egne optagelser.
Bag de blinkende farver ligger de samme principper, som bruges i musiktjenester og lydgenkendelse. Det er bare sjovere at se resultatet på væggen.