Embeddings uitgelegd

Wat is een embedding?

Computers spreken geen Nederlands of Engels; ze spreken in getallen. Om een taalmodel zoals GPT of Claude een woord te laten begrijpen, moeten we dat woord vertalen naar een wiskundige vorm. Dit proces noemen we een embedding.

Een embedding is feitelijk een lange lijst van getallen (een vector) die de betekenis van een woord, zin of compleet document vastlegt. In plaats van tekst te zien als willekeurige letters, berekent de AI waar deze tekst thuishoort in een enorm virtueel woordenboek van betekenissen.

De vectorruimte: Een intuïtieve uitleg

Stel je een grote 3D-ruimte voor. In deze ruimte plaatsen we woorden op basis van hun eigenschappen.

• Woorden zoals appel, banaan en peer komen heel dicht bij elkaar te zweven, in de 'fruit-hoek'.
• Woorden als hond, kat en konijn vormen een eigen cluster verderop, in de 'dieren-hoek'.

Wanneer een AI 'leest', vertaalt hij jouw tekst naar coördinaten in deze ruimte. Hoe dichter twee coördinaten bij elkaar liggen, hoe sterker ze qua betekenis met elkaar verwant zijn. In werkelijkheid heeft deze ruimte geen 3 dimensies, maar vaak wel 1.536 tot meer dan 4.000 dimensies om alle nuances van menselijke taal (zoals toon, context en grammatica) te vangen.

Belangrijkste toepassingen

Omdat embeddings betekenis vastleggen, vormen ze de ruggengraat van moderne AI-toepassingen:

• Semantisch Zoeken (Vector Search): In plaats van zoeken op exacte steekwoorden, zoek je op concept. Als je zoekt naar "hoe kook ik een ei", vindt het systeem ook teksten met "eieren bereiden in kokend water". Dit is essentieel voor Retrieval-Augmented Generation (RAG) systemen.
• Clustering: Automatisch duizenden klantenservice-tickets groeperen op basis van het onderliggende probleem, zonder dat de teksten dezelfde woorden bevatten.
• Aanbevelingen: Artikelen of producten suggereren die conceptueel in dezelfde "ruimte" liggen als de items die een gebruiker eerder heeft bekeken.