Mixture-of-Experts (MoE) uitgelegd: Waarom moderne AI niet al zijn parameters tegelijk gebruikt

Wie de wereld van kunstmatige intelligentie volgt, wordt doodgegooid met indrukwekkende getallen. Modellen worden aangekondigd met honderden miljarden, soms zelfs meer dan een biljoen parameters. Je zou bijna denken dat een AI-model bij elke vraag die je stelt al die miljarden onderdelen tegelijk aan het werk zet. Toch is dat niet hoe de modernste en krachtigste systemen werken. Dankzij een slimme architectuur genaamd Mixture-of-Experts (MoE) wordt slechts een fractie van al die capaciteit gebruikt per individueel woord of token.

In dit artikel ontdek je wat Mixture-of-Experts precies is, waarom traditionele modellen tegen hun grenzen aanlopen, hoe een router functioneert als verkeersleider, en waarom het aantal parameters inmiddels een behoorlijk misleidende maatstaf is geworden.

Wat is een Mixture-of-Experts (MoE) precies?

De term Mixture-of-Experts (een mengsel van experts) klinkt misschien als een managementboek, maar in de AI-wereld is het een neurale netwerkarchitectuur. Om te begrijpen hoe het werkt, kun je het beste denken aan een groot ziekenhuis.

Stel je voor dat je met een complexe gezondheidsklacht binnenkomt. In plaats van dat één generalistische arts al je organen, bloedwaarden en röntgenfoto's tegelijk grondig onderzoekt, loop je een gebouw binnen met tientallen specialisten. Er is een cardioloog, een neuroloog, een orthopeed en een dermatoloog. Bij binnenkomst staat er een receptionist (de router) die direct ziet dat je knie pijn doet. Die receptionist stuurt je door naar exact één specialist: de orthopeed. De cardioloog en de dermatoloog blijven ondertussen lekker uitgerust in hun spreekkamer zitten.

Een MoE-model werkt precies zo. In plaats van één groot, homogeen neuraal netwerk waarin elk stukje informatie door elk deel van het model moet stromen, bestaat een MoE uit:

• Een router (of gating network): Het beslissingsorgaan dat bepaalt welke specialist nodig is.
• Verschillende 'experts': Kleinere, gespecialiseerde neurale netwerken (sub-netwerken) binnen dezelfde laag van het model die getraind zijn op specifieke soorten patronen, taken of domeinen.

Wanneer een AI-model een tekst verwerkt, knipt het die tekst eerst op in kleine stukjes, genaamd tokens. Elk stukje tekst wordt door de router beoordeeld. De router stuurt het token vervolgens door naar bijvoorbeeld de twee meest geschikte experts van de acht of zestien beschikbare experts in die laag. De andere experts doen even niets.

De traditionele AI-architectuur versus MoE

Om de waarde van MoE te begrijpen, moeten we kijken naar de traditionele benadering. Standaard taalmodellen gebruiken een zogenaamde Dense (dichte) architectuur. Dit betekent dat elk binnenkomend token door elke individuele parameter van het netwerk reist.

Dit leidt tot een fundamenteel schaalbaarheidsprobleem. Als je een traditioneel model twee keer zo slim wilt maken, moet je het model ook grofweg twee keer zo groot maken. Dat betekent dubbel zoveel geheugen en dubbel zoveel rekenkracht (compute) voor elke berekening. Op een gegeven moment wordt dit economisch en technisch onuitvoerbaar. Je kunt niet oneindig doorgaan met het belasten van alle parameters voor een simpele vraag als "Hoe laat is het?".

Dit concept hangt nauw samen met hoe de transformer-architectuur is opgebouwd en hoe parameters en gewichten de kern vormen van elke berekening. Bij een dense model groeien de kosten en de benodigde rekentijd lineair (of zelfs exponentieel) mee met de omvang. MoE doorbreekt deze harde wetmatigheid.

Hoe de router de juiste 'experts' kiest

Het kloppende hart van een MoE-systeem is het routeringsmechanisme. Zonder een slimme router zou het systeem willekeurig raden en stort de kwaliteit van de output in elkaar. Maar hoe werkt dat keuzeproces achter de schermen?

Wanneer een token arriveert bij een MoE-laag, berekent de router een set kansen of scores voor elke beschikbare expert in die laag. De router kijkt naar de specifieke eigenschappen van het token en vraagt zich af: "Welke specialist heeft de meeste affiniteit met dit onderwerp?"

Meestal wordt er gekozen voor een strategie genaamd Top-2 gating. Dit houdt in dat de router:

• Alle beschikbare experts scoort op basis van hun geschiktheid voor het huidige token.
• De twee experts selecteert met de hoogste score.
• De berekeningen van deze twee experts combineert (vaak met een gewogen gemiddelde) om de uiteindelijke output van die laag te vormen.
• Alle andere experts negeert voor deze specifieke berekening.

Dit proces gebeurt duizenden keren per seconde terwijl een zin wordt gegenereerd. De ene seconde is expert nummer 3 actief voor een stukje computerprogrammatuur, de volgende seconde kiest de router expert nummer 7 omdat het over historische jaartallen gaat. Het model past zich dynamisch aan op de inhoud van de vraag.

Waarom het aantal parameters een misleidende maatstaf is geworden

Wie tegenwoordig de specificaties van nieuwe AI-modellen leest, struikelt over de miljarden. Soms hoor je over modellen met wel 500 miljard of meer dan een biljoen parameters. Dit zorgt voor verwarring bij het grote publiek en zelfs bij tech-professionals.

Vroeger gold de vuistregel: hoe meer parameters, hoe beter het model, maar ook hoe trager en duurder het is om te draaien. Met de komst van MoE gaat die vlieger niet meer op. We moeten onderscheid maken tussen twee begrippen:

• Totale parameters (Total parameters): Het volledige aantal gewichten dat in het geheugen van de server moet worden opgeslagen. Dit bepaalt hoeveel opslagruimte (RAM of VRAM) het model nodig heeft.
• Actieve parameters (Active parameters): Het aantal parameters dat daadwerkelijk wordt gebruikt om één specifiek token te berekenen. Dit bepaalt hoe snel het model antwoord geeft (de inferentiesnelheid).

Neem bijvoorbeeld een hypothetisch model met een totaal van 600 miljard parameters, verdeeld over zestig experts per laag, waarbij de router telkens de twee beste experts kiest. Hoewel het model gigantisch veel kennis in huis heeft (dankzij al die opgeslagen experts), gebruikt het per token slechts een fractie van die capaciteit—bijvoorbeeld zo'n 50 tot 60 miljard actieve parameters.

Hierdoor kan een model dat qua opslag net zo groot is als een log en traag traditioneel model, toch razendsnel reageren omdat het rekenkundig veel lichter is. Het is alsof je de kennisbibliotheek van een universiteit in huis hebt, maar voor elke vraag slechts twee boeken openslaat in plaats de hele bibliotheek door te bladeren.

Wat betekent MoE voor snelheid en kosten?

Voor organisaties en ontwikkelaars die AI-toepassingen bouwen, brengt de opmars van Mixture-of-Experts grote voordelen met zich mee op het gebied van performance en budget.

Ten eerste zorgt de lagere hoeveelheid actieve parameters per token voor een hogere inferentiesnelheid (tokens per seconde). Snellere generatie betekent een betere gebruikerservaring, vooral bij interactieve toepassingen zoals chatbots of live vertalingen.

Ten tweede drukt het de operationele kosten. Rekentijd op dure grafische kaarten (GPU's) is de grootste kostenpost bij het draaien van geavanceerde taalmodellen. Omdat een MoE-model minder rekenoperaties per woord uitvoert dan een vergelijkbaar dicht model met dezelfde totale hoeveelheid kennis, dalen de energiekosten en de hostingkosten per gegenereerd antwoord aanzienlijk.

Dit alles sluit direct aan bij de bredere dynamiek van hoe AI-modellen worden getraind en geoptimaliseerd voor praktisch gebruik.

De nadelen en uitdagingen van Mixture-of-Experts

Zoals vrijwel elke technologische doorbraak kent ook Mixture-of-Experts zijn schaduwzijden en specifieke uitdagingen voor onderzoekers:

• Gigantisch geheugengebruik: Hoewel er per token maar weinig parameters actief zijn, moeten al die experts wel gelijktijdig in het geheugen (VRAM) van de server aanwezig zijn. Je hebt dus nog steeds krachtige hardware nodig met veel videogeheugen om het model überhaupt te kunnen laden.
• Trainingsinstabiliteit: Het trainen van een MoE-model is een stuk complexer dan het trainen van een traditioneel model. Routers kunnen soms 'lui' worden en al het werk naar dezelfde favoriete expert sturen, terwijl andere experts niets te doen hebben (het zogenaamde load-balancing probleem).
• Communicatiebottlenecks: Omdat verschillende experts vaak over verschillende GPU's verdeeld moeten worden vanwege hun omvang, moet er tijdens het berekenen constant data worden uitgewisseld tussen chips. Dit vereist supersnelle netwerkkabels tussen de servers in een datacenter.

Conclusie: De toekomst van efficiënte AI-modellen

Mixture-of-Experts heeft het landschap van kunstmatige intelligentie ingrijpend veranderd. Door het slim verdelen van taken over gespecialiseerde sub-netwerken hoeven we niet langer te kiezen tussen ongekende intelligentie óf hoge snelheid; we krijgen dankzij deze architectuur steeds vaker allebei.

De term 'aantal parameters' heeft zijn onschuld verloren. Wie vandaag de dag naar AI-modellen kijkt, moet verder kijken dan de marketingkreten en letten op de architectuur achter de schermen. MoE bewijst dat slim organiseren minstens net zo belangrijk is als brute rekenkracht.