Hoe een LLM werkt: de 10-minuten-basiscursus

Door Ivo Donker — samengesteld met AI-ondersteuning (Claude & Gemini)

Lesmodule context: Dit artikel valt binnen Module 1: Oriëntatie & Fundamenten van het leeraanbod op llmnet.nl. Je leert hier de basismechanismen achter geavanceerde taalmodellen begrijpen.

Als je tegenwoordig een vraag stelt aan een AI-systeem zoals ChatGPT, Claude of Llama, verschijnt er binnen luttele seconden een vloeiend en schijnbaar intelligent antwoord op je scherm. Voor veel gebruikers voelt dit alsof er aan de andere kant van de lijn een digitale expert zit die de bibliotheek van de mensheid uit zijn hoofd kent en begrijpt wat je bedoelt. De werkelijkheid onder de motorkap is echter een fascinerend staaltje van grootschalige statistiek, geavanceerde wiskunde en enorme rekenkracht.

Een Large Language Model (LLM) is in de kern geen kennissysteem, geen zoekmachine en ook geen digitaal bewustzijn. Het is een geavanceerd statistisch patroonherkenningssysteem dat getraind is om één specifieke taak uit te voeren: het voorspellen van het meest waarschijnlijke volgende tekstfragment op basis van de tekst die eraan voorafgaat. In deze tien minuten durende gids ontrafelen we stapsgewijs hoe dit mechanisme werkt, vanaf het moment dat je een vraag intypt tot het uiteindelijke antwoord op je scherm verschijnt.

1. Wat is een Large Language Model fundamenteel?

Om te begrijpen hoe een LLM functioneert, moeten we eerst het idee loslaten dat het model feiten 'onthoudt' zoals een database dat doet. Wanneer een traditionele database informatie opslaat, bewaart deze exacte regels tekst, getallen en relaties in tabellen. Als je vraagt om het hoofdstad-gegeven van Nederland, zoekt de database in een vaste tabel en geeft 'Amsterdam' terug.

Een Large Language Model werkt fundamenteel anders. Het bewaart geen exacte tekstbestanden. In plaats daarvan heeft het tijdens zijn trainingsfase miljarden pagina's tekst geanalyseerd en daar statistische patronen uit afgeleid. Je kunt het vergelijken met de manier waarop een mens leert hoe een taal 'klinkt' of opgebouwd is. Het model leert welke woorden, zinsstructuren en concepten regelmatig in elkaars nabijheid voorkomen. Als je de vraag stel: "Wat is de hoofdstad van Nederland?", kijkt het model niet in een archiefkast, maar berekent het welke reeks tekens de meest logische en waarschijnlijke voortzetting is van die vraag.

Deze manier van werken verklaart direct zowel de enorme kracht als de ingebouwde valkuilen van de technologie. Omdat het model patronen snapt, kan het teksten samenvatten, programmeren, herformuleren en in verschillende stijlen schrijven. Maar omdat het op waarschijnlijkheden vertrouwt en niet op een harde feitencheck, kan het met evenveel overtuiging een onjuist antwoord genereren als het patroon dat toevallig suggereert.

2. De eerste stap: Van ruwe tekst naar tokens

Een neuraal netwerk en een computerprocessor kunnen niet rechtstreeks met letters, woorden of leestekens werken. Computers rekenen uitsluitend met getallen. De allereerste stap bij het verwerken van jouw invoer (de zogenaamde prompt) is daarom het omzetten van menselijke taal naar numerieke waarden. Dit proces noemen we tokenisatie.

Een token is een bouwsteen van taal. Het is niet altijd exact één woord. Bij veelgebruikte Nederlandse woorden kan één token overeenkomen met een heel woord, zoals kat of lopen. Bij zeldzamere woorden, lange samenstellingen of specifieke vervoegingen hakken zogenaamde subwoord-tokenizers het woord op in meerdere stukjes. Het Nederlandse woord zonnepaneelinstallatie wordt bijvoorbeeld opgedeeld in losse fragmenten zoals zonne, paneel en installatie. Ook spaties en leestekens worden als aparte tokens meegeteld.

Als je wil begrijpen hoe woorden door algoritmes worden opgedeeld in losse fragmenten, lees dan het verdiepende artikel over tokenisatie uitgelegd op leren.llmnet.nl. Daarin ontdek je hoe subwoord-splitsingen precies werken en waarom dit wiskundig zo efficiënt is.

Na het splitsen krijgt elk uniek token een vast nummer uit het 'woordenboek' (de woordenschat of vocabulary) van het model. Een model zoals GPT-4 of Llama beschikt over een vocabulaire van vaak 32.000 tot meer dan 100.000 unieke tokens. Jouw zin "De kat zit op de bank" verandert door de tokenizer in een reeks getallen, bijvoorbeeld [1452, 8931, 312, 410, 1452, 4521]. Vanaf dat moment rekent het model uitsluitend met deze reeks getallen.

3. Geheugen en gewichten: Waar zit de 'kennis' opgeslagen?

Nadat de tekst is omgezet in getallen, gaan deze waarden door het neurale netwerk van het model. Maar waar bevindt zich nu de kennis of het vermogen om een zinnig antwoord te geven? Dat zit opgeslagen in de zogenaamde 'parameters' of 'gewichten' van het model.

De gewichten zijn miljarden (en bij de grootste modellen honderden miljarden) wiskundige getallen die de sterkte van de verbindingen tussen de virtuele neuronen in het netwerk bepalen. Tijdens de trainingsfase beginnen al deze gewichten als willekeurige getallen. Het model gokt in het begin maar wat. Zodra het model tijdens de training een fout maakt bij het voorspellen van het volgende woord in een trainingszin, berekent een algoritme (backpropagation) hoe de gewichten lichtjes aangepast moeten worden om die fout de volgende keer niet meer te maken.

Door dit proces duizenden miljarden keren te herhalen op enorme datacenters, stellen de gewichten zich zo in dat ze patronen in taal, logica, feiten en zelfs programmeercode op een abstracte manier vastleggen. Voor een gedetailleerde duik in hoe deze getallen worden opgeslagen en aangepast tijdens de training, kun je de uitleg over parameters en gewichten bij AI-modellen op leren.llmnet.nl raadplegen. Dit artikel verduidelijkt hoe de interne rekenmatrix exact is opgebouwd.

Een belangrijk aspect hiervan is dat de kennis van het model 'bevroren' is na het trainen. Een standaard LLM leert niet bij tijdens het gesprek dat jij ermee voert. Zodra de training stopt, veranderen de gewichten niet meer. Alle context die jij in het huidige gesprek meegeeft, wordt puur gebruikt als tijdelijke invoer voor de wiskundige berekening van het volgende token.

4. De Transformer-architectuur: Attention en context

De grote doorbraak in moderne AI vond plaats in 2017 met de introductie van de Transformer-architectuur. Oudere taalmodellen lazen tekst strikt van links naar rechts, woord voor woord. Hierdoor vergaten ze snel het begin van een lange zin zodra ze bij het einde waren, of raakten ze de kluts kwijt bij ingewikkelde zinsstructuren.

De Transformer introduceerde het concept van 'Self-Attention' (zelf-aandacht). Dit stelt het model in staat om bij het verwerken van een specifiek token tegelijkertijd naar álle andere tokens in de context te kijken en te berekenen welke tokens het meest relevant voor elkaar zijn. Neem de volgende twee zinnen als voorbeeld:

• "De bank staat in het park en zit erg comfortabel."
• "De bank heeft de rente op de spaarrekening verhoogd."

In de eerste zin leert het attention-mechanisme dat het woord 'bank' een sterke wiskundige relatie heeft met 'park' en 'comfortabel' (een meubelstuk). In de tweede zin koppelt het mechanisme 'bank' aan 'rente' en 'spaarrekening' (een financiële instelling). Het model gebruikt deze onderlinge relaties om de exacte betekenis van een token binnen de specifieke context te bepalen.

Om dieper in te zoomen op de wiskunde van aandachtsmechanismen, kun je het artikel over wat een transformer is op leren.llmnet.nl raadplegen. Hierin wordt uitgelegd hoe deze neurale netwerkarchitectuur verbanden legt over lange afstanden in teksten.

5. Woord voor woord: Hoe het generatieproces verloopt

Wanneer de prompt door alle lagen van het netwerk is gestroomd, berekent de laatste laag een zogenaamde kansverdeling (probability distribution) over de gehele woordenschat. Het model roept niet meteen één definitief antwoord; het geeft voor élk mogelijk token uit zijn vocabulaire een percentage dat aangeeft hoe waarschijnlijk het is dat dit token de juiste opvolger is.

Stel dat de invoer is: "De kat drinkt een bakje". Het model berekent dan bijvoorbeeld de volgende kansen:

• melk: 65% kans
• water: 25% kans
• koffie: 2% kans
• auto: 0,0001% kans

Nu moet het model een keuze maken welk token het daadwerkelijk kiest. Dit proces noemen we 'sampling'. Als het model altijd puur het token met de hoogste kans kiest (greedy search), worden antwoorden vaak erg voorspelbaar, herhalend en rigide. Om de antwoorden natuurlijker, gevarieerder of creatiever te maken, voegen ontwikkelaars een lichte mate van willekeur toe via instellingen zoals Temperature en Top-p.

Wil je de knoppen begrijpen waarmee je deze willekeur en creativiteit kunt instellen, lees dan het gidsartikel over sampling-parameters zoals temperature en top-p op leren.llmnet.nl. Hiermee leer je hoe je de verdeling van kansen beïnvloedt voor strakkere of juist creatievere resultaten.

Zodra een token is gekozen — bijvoorbeeld melk — gebeurt er iets cruciaals: het gekozen token wordt achter aan de bestaande tekst geplakt. De nieuwe invoer wordt nu: "De kat drinkt een bakje melk". Vervolgens draait het volledige wiskundige proces opnieuw om het dáÁRNA volgende token te voorspellen. Dit stapsgewijze, herhalende proces noemen we 'autoregressieve generatie'. Een LLM genereert zijn antwoord dus letterlijk token voor token.

6. Waarom hardware cruciaal is en hoe we modellen kleiner maken

Omdat het genereren van elk afzonderlijk token vereist dat alle miljarden gewichten van het model uit het geheugen worden geladen en door de rekenkern worden gehaald, stellen LLM's extreem hoge eisen aan de computerhardware. Het is niet alleen de rekenkracht (het aantal teraflops) die de snelheid bepaalt, maar vooral de geheugenbandbreedte: hoe snel kunnen de gewichten vanuit het videogeheugen (VRAM) naar de grafische processor (GPU) worden verzonden.

Een model met 70 miljard parameters waarbij elk gewicht is opgeslagen in een 16-bit getal (2 bytes), vereist minimaal 140 Gigabyte aan VRAM puur om het model in het geheugen te houden. Dit overstijgt de capaciteit van vrijwel alle consumentengrafische kaarten. Om dit op te lossen maken onderzoekers en ontwikkelaars gebruik van slimme optimalisatietechnieken zoals kwantisatie.

Mocht je benieuwd zijn hoe je deze omvangrijke rekenmodellen efficiënt kunt laten draaien op consumentenhardware, bekijk dan het overzicht van kwantisatie uitgelegd op gids.llmnet.nl. Daar wordt toegelicht hoe getalprecisie wordt verlaagd van bijvoorbeeld 16-bit naar 4-bit om geheugenruimte te besparen zonder al te veel kwaliteit te verliezen.

7. De grenzen van een LLM: Hallucinaties, contextvenster en vertraging

Nu we begrijpen dat een LLM in feite een extreem complexe waarschijnlijkheidsmachine is, worden de fundamentele beperkingen van de technologie direct inzichtelijk. Het is belangrijk om deze zwakke punten te kennen als je AI professioneel of voor studie gebruikt:

1. Hallucinaties: Omdat het model tokens kiest op basis van waarschijnlijkheid en grammaticaal patroon, en niet op basis van een interne check op waarheid, kan het feiten verzinnen die heel aannemelijk klinken. Het model 'weet' niet wat waar is; het weet alleen wat tekstueel goed past.
2. Beperkt contextvenster: Een model kan niet onbeperkt veel tekst tegelijk verwerken. Het contextvenster (context window) bepaalt hoeveel tokens het model tegelijkertijd kan 'zien' (inclusief jouw vraag én het opgebouwde antwoord). Als een gesprek te lang wordt, vallen de oudste berichten buiten het venster en 'vergeet' het model wat eerder is besproken.
3. Hoge latentie en rekenkosten: Omdat het antwoord token voor token gegenereerd wordt, kost het genereren van een lange tekst veel tijd en stroom. Zeker bij complexe netwerken vereist dit aanzienlijke capaciteit in datacenters.
4. Gebrek aan realtime logica of actief redeneren: Een standaard LLM berekent het volgende token binnen een vast aantal wiskundige stappen. Het kan niet 'even pauzeren om diep na te denken' voordat het begint te typen, tenzij specifieke technieken (zoals chain-of-thought of redeneermodellen) worden toegepast.

8. Praktische samenvatting: De routekaart van prompt naar antwoord

Om het gehele proces helder voor ogen te houden, kun je de reis van een prompt naar een gegenereerde reactie samenvatten in de volgende vijf opeenvolgende stappen:

Stap	Fase	Wat er gebeurt onder de motorkap
1	Tokenisatie	De ingevoerde tekst wordt door een tokenizer opgesplitst in subwoord-tokens en omgezet in getallen.
2	Embedding & Attention	De getallen krijgen betekenis in een vectorruimte; het Transformer-netwerk berekent onderlinge relaties tussen alle tokens.
3	Kansberekening	De gewichten in het neurale netwerk berekenen voor elk mogelijk vervolgtoken in het vocabulaire een waarschijnlijkheidspercentage.
4	Sampling	Op basis van parameters zoals Temperature kiest het algoritme één specifiek token uit de kansverdeling.
5	Autoregressieve lus	Het gekozen token wordt toegevoegd aan de invoertekst en het hele proces herhaalt zich voor het volgende token.

Door deze stappen te begrijpen, zie je in dat een LLM een krachtig instrument is voor tekstverwerking, patroonherkenning en creatieve ondersteuning, maar dat de output altijd kritisch gecontroleerd moet worden op feitelijke juistheid.