# Multimodale tokenisatie van beelden en audio uitgelegd

Deel:[𝕏](https://twitter.com/intent/tweet?url=https%3A//leren.llmnet.nl/multimodale-tokenisatie-uitgelegd&text=Multimodale%20tokenisatie%20van%20beelden%20en%20audio%20uitgelegd)[LinkedIn](https://www.linkedin.com/sharing/share-offsite/?url=https%3A//leren.llmnet.nl/multimodale-tokenisatie-uitgelegd)[Reddit](https://www.reddit.com/submit?url=https%3A//leren.llmnet.nl/multimodale-tokenisatie-uitgelegd&title=Multimodale%20tokenisatie%20van%20beelden%20en%20audio%20uitgelegd)[Facebook](https://www.facebook.com/sharer/sharer.php?u=https%3A//leren.llmnet.nl/multimodale-tokenisatie-uitgelegd)[Kopieer link](#)

# Multimodale tokenisatie van beelden en audio uitgelegd

Door Ivo Donker - 6 augustus 2026

Grote taalmodellen zijn van oorsprong ontworpen om opeenvolgingen van teksttekens te verwerken. Om deze modellen te laten werken met visuele en auditieve informatie, moeten beelden en geluiden worden vertaald naar exact dezelfde abstractie: discrete of continue sequenties van tokens. Multimodale tokenisatie vormt de bridge tussen analoge of tweedimensionale data en de sequentiële verwerkingsarchitectuur van een neuraal netwerk.

Waar we in een ander artikel uitvoerig ingaan op de basis van [teksttokenisatie](https://leren.llmnet.nl/tokenisatie-uitgelegd) via algoritmes zoals Byte-Pair Encoding, richt deze gids zich specifiek op hoe ruwe pixels en akoestische golfvormen worden omgezet. Welke mechanismen maken het mogelijk dat een model tegelijkertijd tekst kan lezen, afbeeldingen kan analyseren en gesproken taal kan begrijpen?

## Waarom multimodale signaalomzetting noodzakelijk is

Een neuraal netwerk zoals de transformer verwerkt informatie in de vorm van vectoren die via een specifieke reeks stappen (zoals het aandachtsmagnetisme) informatie met elkaar uitwisselen. Textuele invoer leent zich hier goed voor omdat menselijke taal van nature discreet is: woorden en letters zijn op te delen in losse eenheden. Zodra je echter met afbeeldingen of audio werkt, krijg je te maken met een continue stroom van gegevens.

Een afbeelding bestaat uit een raster van pixels, waarbij elke pixel specifieke kleurwaarden (zoals rood, groen en blauw) heeft. Een audiobestand is een constante meting van luchtdrukveranderingen over de tijd, die duizenden keren per seconde wordt gemeten. Als een neuraal netwerk elke afzonderlijke pixel of elke individuele geluidssample als een los element zou moeten verwerken, raakt de rekencapaciteit direct overbelast. Een afbeelding van 1024 bij 1024 pixels bevat al meer dan een miljoen datapunten.

Om deze datastromen behapbaar te maken, moet de ruwe invoer gecomprimeerd en gestructureerd worden. Het doel van multimodale tokenisatie is niet alleen datareductie, maar ook het extraheren van betekenisvolle kenmerken. In plaats van te registreren dat pixel (100, 200) de kleurcode RGB(240, 120, 50) heeft, leert het systeem een groepje pixels te herkennen als een onderdeel van een rand, een tekstuur of een object.

Let op: Multimodale tokenisatie vervangt de onderliggende informatie niet door tekst. Het zet de brondata om in mathematische representaties die mathematisch gelijkwaardig zijn aan hoe tekens worden verwerkt. Het model "ziet" geen letters wanneer het een afbeelding leest, maar verwerkt vectoren die de visuele eigenschappen representeren.

## Beeldtokenisatie: van tweedimensionale pixels naar vectorsequenties

Het omzetten van een tweedimensionale afbeelding naar een eendimensionale reeks tokens volgt een gestructureerd proces. Waar traditionele computervisie gebruikmaakte van ingewikkelde handmatige filters, gebruiken moderne multimodale architecturen vaak een benadering die gebaseerd is op de vision transformer (ViT) of kwantisatienetwerken.

### Patch-embedding

De eerste stap bij het verwerken van een afbeelding is het opbreken van het gehele beeld in een raster van kleine, gelijkmatige blokjes, ook wel 'patches' genoemd. Een gangbaar formaat voor zo'n patch is bijvoorbeeld 14 bij 14 of 16 bij 16 pixels.

Nadat de afbeelding is opgedeeld in een reeks patches, worden deze onderdelen platgewalst tot een enkele vector van pixelwaarden. Deze vector wordt vervolgens door een lineaire projectielaag gehaald. Deze laag transformeert de ruwe pixelwaarden van de patch naar een hoogdimensionale embeddingvector die de visuele informatie van dat specifieke gebied samenvat. Omdat de ruimtelijke positie van de patches cruciaal is voor de context van het beeld (een patch van een oog moet boven de patch van een mond zitten), wordt er een positionele embedding aan elke patchvector toegevoegd.

### Kwantisatie en het codeboek (VQ-VAE)

In sommige architecturen, met name modellen die ook afbeeldingen moeten kunnen gegenereerd of zeer compact moeten kunnen opslaan, worden continue patch-embeddings omgezet in discrete tokens. Dit proces maakt vaak gebruik van een techniek genaamd Vector Quantized Variational Autoencoder (VQ-VAE).

- Encoder: Een neuraal netwerk zet de patches om in een reeks continue vectoren.

- Codeboek (Discrete Vocabulary): Het model heeft een vooraf getrainde verzameling van een vast aantal unieke 'visuele bouwstenen' (bijvoorbeeld 8192 unieke vectoren).

- Kwantisatie: Voor elke gegenereerde continue vector zoekt de kwantisator de dichtstbijzijnde overeenkomstige vector in het codeboek. De index van die codeboek-vector wordt het uiteindelijke token.

Op deze manier wordt een visueel fragment omgezet in een discreet getal, vergelijkbaar met hoe een woord in een tekstwoordenboek een specifiek getal toegewezen krijgt. Naast discrete tokens maken veel moderne [multimodale modellen](https://hub.llmnet.nl/multimodale-modellen-overzicht) tegenwoordig echter gebruik van continue embeddings, waarbij de kwantisatiestap wordt overgeslagen om informatieverlies te voorkomen. Dit hangt nauw samen met hoe [embeddings](https://leren.llmnet.nl/embeddings-uitgelegd) visuele relaties direct in een continue vectorruimte kunnen vastleggen.

## Audiotokenisatie: van geluidsgolf naar akoestische codes

Audio brengt een unieke uitdaging met zich mee voor tokenisatie: de factor tijd. Een standaard audiostroom op CD-kwaliteit bevat 44.100 samplings per seconde. Een audio-opname van slechts tien seconden levert zodoende al bijna een half miljoen datapunten op. Zonder doeltreffende compressie en tokenisatie is het onmogelijk om lange audiofragmenten binnen een contextvenster te verwerken.

### Van tijdsdomein naar frequentiedomein

Ruwe audio in het tijdsdomein (de golfvorm) wordt doorgaans eerst getransformeerd naar een representatie die beter aansluit bij de menselijke perceptie van geluid. Dit gebeurt vaak door het maken van een spectrogram via een Fourier-transformatie. Hierbij wordt het signaal opgesplitst in korte tijdsframes (bijvoorbeeld van 25 milliseconden) en wordt per frame geanalyseerd welke frequenties aanwezig zijn.

Dit spectrogram is in feite een tweedimensionale afbeelding van geluid (met tijd op de x-as en frequentie op de y-as). Vanaf dat punt kan een soortgelijke patch-gebaseerde aanpak worden toegepast als bij beeldtokenisatie.

### Neurale audiocodecs en spraak-encoders

Voor directe verwerking van spraak en muziek maken moderne systemen gebruik van neurale audiocodecs of speciaal getrainde spraak-encoders. Deze netwerken brengen de omvang van de gegevens drastisch terug:

- Framing: De continuous audiostroom wordt opgedeeld in zeer korte tijdsblokjes.

- Kenmerkextractie: Een convolutioneel netwerk leert belangrijke patronen zoals toonhoogte, timbrale kenmerken en phonemen te filteren uit de ruwe audio.

- Residual Vector Quantization (RVQ): Om audiokwaliteit en spraakhelderheid te behouden zonder enorme hoeveelheden data te gebruiken, passen neurale codecs vaak hiërarchische kwantisatie toe. Een eerste token vangt de grove structuur van het geluid op, terwijl opeenvolgende tokens steeds fijnere details toevoegen.

Door deze stappen terug te brengen, kan een seconde aan complexe audio worden gereduceerd tot enkele tientallen tokens, afhankelijk van de gekozen compressiegraad. Dit is van groot belang voor toepassingen in [lokale spraak-naar-tekst verwerking](https://gids.llmnet.nl/spraak-naar-tekst-lokaal) en realtime gesproken interactie.

## Vergelijking van tokenisatiemethoden per modaliteit

De onderstaande tabel geeft een overzicht van hoe de verschillende modaliteiten zich verhouden qua brondata, het type omzetting en de uiteindelijke representatie voor het model.

Modaliteit | 
Brondata | 
Omzettingsmechanisme | 
Uiteindelijke representatie | 

Tekst | 
Karakterketens / Subwoorden | 
Byte-Pair Encoding (BPE) / WordPiece | 
Discreet vocabulaire-index | 

Beeld | 
Pixelraster (RGB) | 
Patch-extraction + Lineaire projectie of VQ-VAE | 
Continue patch-embedding of codeboek-index | 

Audio | 
Golfvorm / Spectrogram | 
Neurale Codecs / Fourier + RVQ | 
Reeks akoestische/semantische frametokens | 

## Hoe verschillende modaliteiten samenkomen in één model

Een transformer-model verwerkt in de kern enkel vectoren van een vaste dimensie. Zodra beelden en audio zijn omgezet in tokens, moeten deze op een uniforme manier aan het neurale netwerk worden aangeboden.

### Projectielagen en Alignment

Omdat de encoder van een vision-systeem of een audionetwerk vaak met een andere interne dimensie werkt dan de centrale taal-transformer, worden er projectielagen ingezet. Deze lagen (vaak eenvoudige lineaire transformaties of kleine neurale netwerken) projecteren de tokens van het beeld of geluid direct naar dezelfde vectorruimte als de teksttokens.

Om te zorgen dat het model begrijpt dat de geschreven tekst "hond" en een visueel patch-token van een hond naar hetzelfde concept verwijzen, vindt er afstemming (alignment) plaats tijdens het trainingsproces. Modellen leren door middel van contrastief leren of gezamenlijke taalmodellering om betekenisvolle verbanden tussen de vectoren van verschillende modaliteiten te leggen. Raadpleeg onze uitleg over [hoe een transformer werkt](https://leren.llmnet.nl/wat-is-een-transformer) voor meer achtergrond over hoe deze interne attentielagen informatie verwerken.

### Gedeeld versus gescheiden vocabulaire

Er zijn twee hoofdarchitecturen om dit in te richten:

Bij een gescheiden vocabulaire heeft het tekstmodel zijn eigen tokens, terwijl een externe visual- of audio-encoder de brondata omzet in continue vectoren. Deze vectoren worden direct als 'soft tokens' aan het contextvenster toegevoegd, zonder dat ze de vorm van een discreet getal uit het tekstwoordenboek aannemen.

Bij een geïntegreerd (gedeeld) vocabulaire gebruikt het model één grote tabel met tokens waarin zowel tekstuele subwoorden als visuele en auditieve codeboek-indices zijn opgenomen. Dit stelt het model in staat om op exact dezelfde manier beeld en audio te genereren als tekst, door simpelweg de volgende token-index in de reeks te voorspellen.

## Impact op het contextvenster en de efficiëntie

Het omzetten van beelden en geluid naar tokens brengt een belangrijke praktische consequentie met zich mee: de omvang van de benodigde contextruimte groeit enorm snel in vergelijking met tekst.

Een geschreven alinea beslaat over het algemeen enkele tientallen tot honderden teksttokens. Een enkele afbeelding die via vaste patches wordt verwerkt, kan daarentegen honderden tot zelfs duizenden tokens in beslag nemen, ongeacht de hoeveelheid informatie die het beeld daadwerkelijk bevat. Een egale blauwe afbeelding van hoge resolutie kost in de basisverwerking evenveel tokens als een ingewikkelde diagram vol gedetailleerde gegevens.

Hetzelfde principe geldt voor audio. Hoewel neurale audiocodecs een aanzienlijke data-reductie realiseren, telt elke seconde gesproken taal als een reeks frametokens. Een gesproken gesprek van enkele minuten kan hierdoor het contextvenster van een model even snel vullen als een heel boekhoofdstuk aan tekst. Het beheer hiervan vormt een belangrijk onderdeel van [context engineering](https://leren.llmnet.nl/context-engineering-uitgelegd) bij het ontwerpen van multimodale applicaties.

## Praktische implicaties en optimalisaties

Omdat het verwerken van visuele en akoestische tokens rechtstreeks invloed heeft op het geheugenverbruik en de responstijd van het model, zijn er verschillende strategieën ontwikkeld om hier efficiënt mee om te gaan.

### Dynamische resolutie en tegels

In plaats van elke afbeelding naar een vast formaat te schalen (wat kan leiden tot vervorming of verlies van kleine details zoals tekst op een document), gebruiken moderne visuele systemen vaak dynamische tegeling. Een grote afbeelding wordt opgedeeld in meerdere tegels van een standaardformaat, plus een extra lagedruk-overzichtstegel van het gehele beeld.

Als een gebruiker een afbeelding met een zeer hoge resolutie aanbiedt, genereert het systeem meer tegels en dus meer tokens. Dit verklaart waarom de verwerkingskosten en de latentie direct toenemen naarmate de invoerresolutie stijgt. Om tokens te besparen is het voor toepassingen vaak verstandig om afbeeldingen vooraf te verkleinen tot de minimale resolutie die nodig is voor het behoud van essentiële details.

### Downsampling en regio-selectie

Bij het verwerken van langere audiostromen of videobeelden worden technieken toegepast om de tokenstroom te verminderen:

- Temporal Downsampling: Het overslaan van opeenvolgende audioframes of videoframes wanneer er weinig verandering optreedt in het signaal.

- Spatial Pooling: Het samenvoegen van naburige visuele tokens wanneer ze repetitieve of weinig informatieve gebieden vertegenwoordigen (zoals een egale achtergrond).

- Focal Attention: Het model eerst een overzicht te laten scannen op een lage resolutie, om vervolgens enkel specifieke regio's met een hogere tokendichtheid te verwerken.

Door het begrijpen van deze mechanismen kunnen ontwikkelaars en gebruikers hun gegevens beter voorbereiden. Het terugbrengen van achtergrondruis in audio of het bijsnijden van onnodige marges op afbeeldingen vermindert het aantal tokens dat geen relevante informatie bijdraagt direct, wat zorgt voor efficiëntere en nauwkeurigere verwerking door het netwerk.

## Lees ook

- [Teksttokenisatie uitgelegd: BPE en subwoord-algoritmes](https://leren.llmnet.nl/tokenisatie-uitgelegd)

- [Embeddings uitgelegd: van woorden naar vectorruimtes](https://leren.llmnet.nl/embeddings-uitgelegd)

- [Wat is een transformer? De architectuur achter moderne AI](https://leren.llmnet.nl/wat-is-een-transformer)

- [Context engineering: effectief omgaan met het contextvenster](https://leren.llmnet.nl/context-engineering-uitgelegd)

- [Multimodale modellen: een overzicht van de nieuwste architecturen](https://hub.llmnet.nl/multimodale-modellen-overzicht)

- [Multimodale evaluatie: hoe presteren modellen op beeld en geluid](https://benchmark.llmnet.nl/multimodale-evaluatie)

llmnet.nl - Cursus- & Educatieplatform