Scaling laws: hoe rekenkracht en datagrootte prestaties voorspellen

Bij het ontwikkelen van grote taalmodellen is gokken op goed geluk geen optie. Het trainen van een modern neuraal netwerk kost miljoenen euro's aan hardwaretijd en elektriciteit. Om die investeringen vooraf te verantwoorden, vertrouwen onderzoekers op empirische wiskundige formules: de zogeheten scaling laws (schaalwetten). Deze wetten beschrijven hoe het verlies (de test loss of cross-entropy) voorspelbaar afneemt wanneer drie cruciale knoppen worden opengedraaid: de hoeveelheid parameters in het netwerk, het aantal verwerkte tokens aan trainingsdata, en het totale rekenbudget uitgedrukt in floating-point operations (FLOPs).

De ontdekking dat modelprestaties geen grillig toeval zijn, maar strakke machtswetten (power laws) volgen over vele ordegroottes, vormt de theoretische motor achter de huidige AI-golf. In dit artikel ontleden we hoe deze wiskundige relaties tot stand komen, welke historische verschuivingen er zijn geweest tussen vroege aannames en hedendaagse trainingsstrategieën, waar de fysieke grenzen liggen, en waarom de focus verschuift naar inferentie-tijd.

De fundamenten: de wiskundige formulering van machtswetten

Scaling laws bij autoregressieve taalmodellen worden wiskundig gemodelleerd als machtswetten. In plaats van een lineair verband tussen rekenkracht en prestaties, geldt dat elke extra stap in kwaliteitsverbetering exponentieel meer middelen vereist. Wanneer we het testverlies $L$ uitzetten tegen het aantal niet-inbeddingsparameters $N$, de datasetomvang in tokens $D$, of het totale trainingsbudget $C$, vertoont de grafiek op een dubbele logaritmische schaal (log-log plot) een opvallend rechte lijn.

In de praktijk wordt het prestatieverlies gemodelleerd met een formule die rekening houdt met een onvermijdelijk minimum aan ruis in natuurlijke taal, het zogeheten onherleidbare verlies ($L_\infty$ of Bayes-fout):

L(N) = (N_c / N)^(alpha_N) + L_infinity
L(D) = (D_c / D)^(alpha_D) + L_infinity
L(C) = (C_c / C)^(alpha_C) + L_infinity

Hierin representeren $N_c$, $D_c$ en $C_c$ schaalfactoren die afhangen van de architectuur, optimalisator en dataverdeling. De exponenten $\alpha_N$, $\alpha_D$ en $\alpha_C$ bepalen hoe snel het verlies daalt naarmate de respectievelijke factor toeneemt. Omdat natuurlijke taal inherente ambiguïteit bevat (op basis van eerdere woorden is het volgende woord nooit honderd procent zeker te voorspellen), kan het verlies nooit dalen tot nul. De waarde $L_\infty$ vangt deze inherente entropie van de menselijke taal op.

Cruciaal om te begrijpen is dat deze machtswetten pas betrouwbaar gelden wanneer de dataset schoon is en de representatie uniform verloopt. Als je wilt weten hoe ruwe tekst precies wordt omgezet naar de discrete eenheden waar deze formules mee rekenen, lees dan de handleiding over hoe tokenisatie tekst opknipt voor AI. Een foutieve aanname over tokenverdelingen kan de empirische exponenten in een schaalexperiment namelijk aanzienlijk vertekenen.

De Kaplan-periode: focus op modelomvang (2020)

In 2020 publiceerde een onderzoeksteam onder leiding van Jared Kaplan bij OpenAI een baanbrekend paper dat het veld jarenlang zou domineren. Hun centrale conclusie luidde dat de omvang van het model ($N$) een veel sterkere invloed had op de uiteindelijke prestaties dan de hoeveelheid trainingsdata ($D$). Volgens de empirische fit van Kaplan moesten modelbouwers bij een groeiend rekenbudget vooral investeren in grotere netwerken, terwijl de datasetomvang slechts marginaal hoefde mee te groeien.

Concreet stelde de Kaplan-wet dat bij een toename van het rekenbudget met een factor $X$, het aantal parameters $N$ met ongeveer $X^{0.73}$ moest toenemen, terwijl het aantal tokens $D$ slechts met $X^{0.27}$ hoefde te groeien. Dit leidde tot een duidelijke consensus in de AI-industrie: bouw gigantische modellen, zelfs als je niet over voldoende data beschikt om ze langdurig te trainen.

Het bekendste resultaat van deze filosofie was GPT-3, een netwerk met 175 miljard parameters dat werd getraind op slechts 300 miljard tokens. Achteraf bleek deze verhouding zwaar uit balans. Het model was capacitair enorm groot, maar had tijdens zijn trainingsfase relatief weinig data gezien, waardoor een groot deel van het representatieve vermogen van de gewichten onbenut bleef.

De Chinchilla-correctie van DeepMind (Hoffmann et al., 2022)

In 2022 toonde het team van DeepMind (onder leiding van Jordan Hoffmann) aan dat de eerdere conclusies van Kaplan berustten op een methodologische weeffout. Kaplan en zijn collega's hadden de leersnelheidsschema's (learning rate schedules) niet voor elk afzonderlijk compute-budget opnieuw geoptimaliseerd, maar een vast schema gebruikt met een variërende trainingsduur. Hierdoor leken modellen die lang op data trainden slechter te presteren dan mathematisch mogelijk was.

DeepMind trainde meer dan 400 modellen met uiteenlopende combinaties van 70 miljoen tot 16 miljard parameters op 5 tot 500 miljard tokens. Uit deze rigoureuze experimenten bleek een fundamenteel ander optimum: modelomvang en dataomvang moeten nagenoeg gelijk opgaan in een verhouding van 1:1. Wanneer het rekenbudget met een factor $X$ toeneemt, moeten zowel het aantal parameters als het aantal tokens met ongeveer $X^{0.5}$ groeien.

De Chinchilla-wet toonde aan dat een model van 70 miljard parameters, getraind op 1,4 biljoen tokens, consistent beter presteerde dan het ruim twee keer zo grote model van 175 miljard parameters dat op slechts 300 miljard tokens had gedraaid. De zogeheten Chinchilla-ratio dicteert een vuistregel: voor een compute-optimale pre-training zijn ruwweg 20 tokens per modelparameter vereist.

De verschuiving naar inferentie-optimaliteit

Hoewel de Chinchilla-formule mathematisch berekent hoe je met een vast trainingsbudget de laagste test loss behaalt, houdt deze formule geen rekening met operationele kosten na de training. In de praktijk wordt een model slechts één keer getraind, maar vervolgens miljarden keren geraadpleegd via API's en lokale systemen.

Hierdoor is de industrie doelbewust afgeweken van pure trainingscompute-optimaliteit en overgestapt op inference-optimal scaling. Het draaien van een model met 70 miljard parameters vergt aanzienlijk meer geheugenbandbreedte en rekenkracht per gegenereerd token dan een model van 8 miljard parameters. Om inferentiekosten te drukken, kiezen organisaties ervoor om kleinere modellen extreem lang te trainen (overtraining) op 15 biljoen tokens of meer. Dit kost aanzienlijk meer pre-training FLOPs dan Chinchilla voorschrijft, maar levert een compact netwerk op dat qua prestaties concurreert met veel grotere architecturen en drastisch goedkoper is in productie.

De enorme schaal waarop deze clusters draaien heeft echter een directe weerslag op de fysieke infrastructuur. Wie wil begrijpen welke ecologische en infrastructurele consequenties deze trainings- en serverfarms hebben, kan de analyse lezen over waarom AI-rekenkracht en stroomverbruik ertoe doen. Het continue stroom- en koelingsvraagstuk vormt tegenwoordig immers een even harde grens als de wiskundige limieten van het model.

Data walls: de fysieke limiet van pre-training data

Nu de wiskunde dicteert dat we tienduizenden miljarden hoogwaardige tokens nodig hebben om compacte architecturen maximaal te benutten, lopen labs tegen een harde fysieke grens aan: de zogeheten data wall. De totale hoeveelheid publiek beschikbare, hoogwaardige menselijke tekst op het internet (boeken, wetenschappelijke artikelen, Wikipedia, gecureerde codebases) is eindig en raakt nagenoeg uitgeput.

Wanneer een trainingsrun meerdere keren over dezelfde data itereert (multi-epoch training), treedt al snel overfitting op, waardoor de scaling law stagneert en de test loss niet langer de theoretische machtswet volgt. Om deze barrière te omzeilen, richten onderzoekers zich op synthetische datageneratie en geavanceerde filterpijplijnen. Het trainen op ongefilterde web-scrapes introduceert echter ruis, wat leidt tot een afname van de exponent $\alpha_D$. Kwaliteit weegt daardoor exponentieel zwaarder dan kwantiteit naarmate modellen groter worden.

Emergentie versus continue metrieken

Een veelbesproken fenomeen bij het opschalen van modellen is de zogeheten emergentie: het plotseling verschijnen van complexe vaardigheden (zoals wiskundig redeneren, vertalen of code genereren) die bij kleinere modellen schijnbaar volledig afwezig waren. Aanvankelijk werd gedacht dat dit wees op kwalitatieve fasesprongen binnen neurale netwerken.

Inmiddels heeft nader onderzoek aangetoond dat emergentie grotendeels een illusie is, veroorzaakt door niet-lineaire evaluatiemetrieken. Wanneer een taak wordt beoordeeld met een alles-of-niets metriek (zoals accuracy, waarbij een antwoord alleen 1 krijgt als het exact goed is en anders 0), lijkt de curve plotseling omhoog te schieten. Als men dezelfde prestaties echter meet via continue metrieken (zoals token-waarschijnlijkheid of bewerkingsafstand), blijkt de verbetering over opeenvolgende modelgroottes volstrekt vloeiend en conform de onderliggende scaling laws te verlopen.

Test-time compute: schalen tijdens de inferentiefase

Nu de baten van klassieke pre-training scaling wetten stuiten op data- en energielimieten, is het zwaartepunt van schaalbaarheid verschoven naar de inferentiefase: test-time compute scaling. In plaats van alle rekenkracht vooraf te verstoken in de gewichten van het basismodel, krijgt het model extra rekentijd toebedeeld op het moment dat het een vraag beantwoordt.

Door technieken zoals ketens van gedachten (chain-of-thought), boomstructuur-zoekalgoritmes (zoals Monte Carlo Tree Search) en zelfcorrectielussen kan een compacter model tijdens de inferentie verschillende redeneerpaden verkennen en verifiëren. Dit introduceert een geheel nieuwe scaling law: prestaties schalen logarithmisch met de hoeveelheid compute die per token tijdens de generatie wordt ingezet. Hierdoor kan een kleiner basismodel bij complexe wiskundige of logische taken grotere modellen overtreffen, puur door langer "na te denken" voordat het een definitief antwoord formuleert.

Methodologie: hoe onderzoekers schaalwetten meten

Het bepalen van de exacte exponenten ($\alpha$) voor een specifieke architectuur vereist een strikte experimentele opzet. Onderzoekers hanteren doorgaans een gestandaardiseerd stappenplan om te voorkomen dat ruis of suboptimale hyperparameters de meetresultaten vervuilen:

Allereerst traint men een familie van kleine modellen, variërend van 10 miljoen tot circa 1 miljard parameters, op verschillende subsets van data. Bij elk experiment wordt de leersnelheid (learning rate) via een grid search geoptimaliseerd en gekoppeld aan een cosinus-afvalschema dat exact eindigt op het geplande aantal tokens. Vervolgens worden de resulterende test losses uitgezet in een log-log diagram.

Met behulp van non-lineaire kleinste-kwadraten-optimalisatie (fitting) worden de parameters $\alpha_N$, $\alpha_D$, $N_c$ en $D_c$ geschat. Als de fit over drie of vier ordegroottes stabiel blijft, extrapoleren onderzoekers de lijn naar het beoogde productiemodel (bijvoorbeeld 70B of 400B parameters). Hiermee kan vooraf met grote precisie worden voorspeld welk verlies het uiteindelijke model zal bereiken en welk budget aan GPU-uren daarvoor moet worden gereserveerd.

Beperkingen en blinde vlekken van klassieke scaling laws

Hoewel schaalwetten een onmisbaar kompas vormen, kennen ze aanzienlijke beperkingen die engineers niet uit het oog mogen verliezen:

Ten eerste voorspelt een lage cross-entropy loss niet automatisch een veilig of bruikbaar model. Een neuraal netwerk kan een uitzonderlijk lage test loss behalen op algemene webtekst, maar toch hallucineren, vatbaar zijn voor prompt-injecties of falen op basale instructies. Schaalwetten meten puur het statistische voorspellend vermogen van het volgende token, niet de feitelijke accuratesse of het redeneervermogen na fine-tuning.

Ten tweede gaan standaard scaling laws uit van een uniforme verdeling van data. Zodra de datamix verandert (bijvoorbeeld door toevoeging van meer code of specialistische wiskundige bronnen), verschuiven de exponenten. Tot slot houden klassieke formules geen rekening met hardware-efficiëntie: netwerken die theoretisch optimaal schalen qua FLOPs kunnen in de praktijk stuiten op geheugenbandbreedte-knelpunten (memory-bound operaties) op specifieke GPU-clusters, waardoor de daadwerkelijke trainingstijd per token sterk afwijkt van de wiskundige projectie.