Parameters en gewichten: wat zit er in een AI-model?

Als we praten over moderne kunstmatige intelligentie en grote taalmodellen (LLM's), vallen termen als parameters en gewichten continu. Maar wat betekenen deze begrippen concreet onder de motorkap van een AI-model?

Eenvoudig gezegd zijn parameters de instelbare knoppen of variabelen van een neuraal netwerk. Je kunt ze beschouwen als de geheugenplaatsen waarin het model patronen opslaat die het tijdens de leerfase heeft ontdekt. De gewichten (weights) vormen de numerieke waarden van die parameters; zij bepalen hoe sterk de invloed is van het ene knooppunt (neuron) op het andere.

De analogie: Een gigantisch mengpaneel

Stel je een enorm audio-mengpaneel voor in een geluidsstudio, met niet tien maar miljoenen of miljarden schuifregelaars (faders). Elke schuifregelaar staat voor een gewicht. Wanneer je muziek produceert, zet je al deze schuiven zo dat het eindresultaat precies goed klinkt.

Bij AI werkt het net zo. Elk stukje invoer (een woord, een zin of een pixel) reist door dit digitale netwerk van knooppunten. Bij elke stap wordt de data vermenigvuldigd met het specifieke gewicht van die parameter. Staat een gewicht heel hoog, dan weegt dat signaal zwaar mee in de uiteindelijke beslissing of voorspelling van het model.

Training versus Inferentie

Het is cruciaal om onderscheid te maken tussen de twee fasen waarin deze gewichten een rol spelen:

• Training: Dit is de fase waarin het model wordt gevormd. Gigantische hoeveelheden data worden door het netwerk gestuurd. Na elke poging berekent het model de foutmarge en worden de gewichten millimeter voor millimeter bijgesteld via optimalisatiealgoritmen (zoals backpropagation). Dit kost enorm veel rekenkracht.
• Inferentie (Inference): Dit is de gebruiksfase. De gewichten zijn nu bevroren en veranderen niet meer. Het model gebruikt de opgeslagen kennis om op basis van nieuwe invoer direct een antwoord of voorspelling te genereren.

Waarom doen aantallen ertoe?

Het aantal parameters geeft doorgaans de capaciteit van een model aan. Modellen met meer parameters hebben meer 'ruimte' om subtiele nuances, grammatica, feiten en complexe redeneerlijnen op te slaan. Toch is meer niet altijd beter: slimme architectuur, datakwaliteit en efficiëntie zijn minstens zo belangrijk als brute modelgrootte.