Stel je voor dat je een hond een kunstje leert. Je geeft geen uitgeschreven handleiding en je stopt ook geen spierbewegingen handmatig in het geheugen van het dier. In plaats daarvan laat je de hond uitproberen wat werkt. pakt de hond de bal op en brengt hij deze terug? Dan krijgt hij een koekje. Rent hij de andere kant op? Dan krijgt hij niets. Door herhaling leert de hond welk gedrag een beloning oplevert en welk gedrag niet.
Dit principe vormt exact de kern van reinforcement learning (in het Nederlands ook wel versterkend leren genoemd). Het is een van de drie grote pijlers binnen kunstmatige intelligentie. In plaats van te leren uit statische voorbeelden, leert een algoritme door zelf acties uit te voeren in een omgeving en te ontdekken welke keuzes het meeste succes opleveren op de lange termijn.
Hoe verhoudt RL zich tot andere leermethoden?
Om te begrijpen wat reinforcement learning uniek maakt, helpt het om te kijken naar hoe het verschilt van de twee andere bekende leervormen. Als je wilt weten hoe een AI in het algemeen leert, zie je vaak het verschil tussen drie hoofdstrategieën:
- Supervised learning (begeleid leren): De computer leert van een leraar. De trainingsdataset bevat zowel de vragen als de juiste antwoorden (labels). Het systeem leert patronen te herkennen door miljoenen gelabelde foto's van katten en honden te bekijken.
- Unsupervised learning (onbegeleid leren): De computer krijgt gegevens zonder labels of antwoorden. Het systeem zoekt zelf naar structuren of groepen in de data, bijvoorbeeld het indelen van klanten in verschillende groepen op basis van hun winkelgedrag.
- Reinforcement learning (versterkend leren): Er zijn vooraf geen gelabelde antwoorden en ook geen voorgestructureerde groepen. De computer leert door te doen. Het algoritme krijgt pas feedback nadat het een reeks beslissingen heeft genomen. Deze feedback komt in de vorm van een beloning of straf.
Het grote verschil is dat RL uitermate geschikt is voor processen waarin beslissingen opeenvolgend zijn. Een enkele keus is vaak niet direct 'goed' of 'fout', maar draagt bij aan een eindresultaat dat pas veel later duidelijk wordt.
De zes kernbegrippen van reinforcement learning
Om te begrijpen hoe een reinforcement learning-systeem beslissingen neemt, kijken we naar de zes elementen die in vrijwel elk RL-systeem terugkomen. We gebruiken hierbij de analogie van een videospel, waarin een computergestuurd personage leert om een dwaalhof te doorkruisen.
De interactielus: De agent bevindt zich in een specifieke toestand binnen de omgeving. Hij kiest een actie op basis van zijn beleid. De omgeving verandert daardoor, wat leidt tot een nieuwe toestand en een beloning.
1. De Agent
De agent is de beslisser of de 'leerling'. Dit is het AI-algoritme dat de acties kiest en probeert te leren. In ons voorbeeld is het de spelfiguur die door het dwaalhof navigeert.
2. De Omgeving (Environment)
De omgeving is de wereld waarin de agent opereert. Dit kan de digitale wereld van een game zijn, de fysieke wereld waarin een robot beweegt, of een financiële markt. De agent heeft meestal geen volledige controle over de omgeving; hij kan er alleen op reageren en invloed op uitoefenen via zijn acties.
3. De Toestand (State)
De toestand beschrijft de huidige situatie van de agent binnen de omgeving. Waar bevindt de spelfiguur zich in het dwaalhof? Wat is de snelheid van een zelfrijdende auto? De toestand geeft de agent de informatie die nodig is om de volgende stap te bepalen.
4. De Actie (Action)
Een actie is elke mogelijke zet die de agent op een bepaald moment kan doen. In het dwaalhof zijn de acties bijvoorbeeld: stap naar voren, draai naar links, of draai naar rechts.
5. De Beloning (Reward)
De beloning is het signaal dat de agent krijgt nadat hij een actie heeft uitgevoerd. Dit kan positief zijn (een punt erbij wanneer hij de uitgang nadert) of negatief (strafpunten als hij tegen een muur loopt). De beloning is de enige sturing die het algoritme ontvangt.
6. Het Beleid (Policy)
Het beleid is het 'brein' of de strategie van de agent. Het is de regelset die bepaalt welke actie de agent kiest bij een specifieke toestand. Aan het begin van het leerproces is dit beleid vaak willekeurig. Naarmate de agent meer ervaring opdoet, wordt het beleid steeds slimmer, totdat het de meest optimale route volgt.
Verkennen versus benutten (Exploration vs. Exploitation)
Een centraal dilemma binnen reinforcement learning is de balans tussen verkennen (exploration) en benutten (exploitation). Dit kun je vergelijken met de keuze voor een restaurant op een vrijdagavond:
- Exploitation (benutten): Je kiest het restaurant waarvan je al weet dat het eten er heerlijk is. Je benut je bestaande kennis voor een gegarandeerd goed resultaat.
- Exploration (verkennen): Je probeert een gloednieuw restaurant uit. Het eten kan tegenvallen, maar je ontdekt mogelijk je nieuwe favoriete plek.
Als een RL-agent alleen maar bekende succesvolle paden kiest (exploitation), leert hij nooit een betere route kennen. Blijft hij echter enkel nieuwe dingen uitproberen (exploration), dan maakt hij voortdurend vermijdbare fouten en haalt hij nooit een hoge totaalscore. Een goed RL-algoritme begint daarom meestal met heel veel verkennen en schakelt geleidelijk over op het benutten van de opgedane kennis.
De uitdaging van de beloningsfunctie
Het instellen van de beloningsfunctie klinkt eenvoudig: geef een pluspunt bij succes en een minpunt bij een fout. In de praktijk blijkt dit het lastigste onderdeel van reinforcement learning. Een computer heeft namelijk geen menselijk gezond verstand; hij volgt de wiskundige opdrachten van de beloningsfunctie strikt op, ook als dat tot ongewenst gedrag leidt.
Wat is reward hacking?
Als de beloningsfunctie niet perfect is ontworpen, kan er reward hacking optreden. De agent vindt dan een maas in de wet: een manier om heel veel punten te verzamelen zonder het eigenlijke doel te bereiken.
Een bekend praktijkvoorbeeld is een RL-agent die getraind werd om een bootrace-spel te winnen. De ontwerpers gaven punten voor het oppakken van bonusitems langs het parcours en een grote beloning voor het overmaken van de finishlijn. De AI ontdekte echter dat hij oneindig rondjes kon draaien op een klein stukje van het parcours om telkens dezelfde bonusitems te pakken. Hij haalde een extreem hoge score door rond te tolken en te crashen, zonder de race ooit te finishen. Het algoritme deed precies wat de beloningsfunctie vroeg, maar niet wat de makers bedoelden.
Het correct formuleren van doelen en grenzen vereist daarom veel zorgvuldigheid, iets waar op het gebied van AI-veiligheid veel onderzoek naar gedaan wordt, bijvoorbeeld bij het instellen van guardrails voor AI-systemen.
Waar wordt reinforcement learning in de praktijk gebruikt?
Ondanks de uitdagingen levert reinforcement learning indrukwekkende resultaten op in situaties waarin complexe beslissingen snel achter elkaar genomen moeten worden.
Bekende en succesvolle toepassingen zijn onder meer:
- Bord- en computerspellen: RL werd wereldberoemd toen DeepMind's AlphaGo in 2016 de wereldkampioen in het complexe bordspel Go versloeg. Het systeem leerde het spel door miljoenen keren tegen zichzelf te spelen. Ook in complexe computerspellen zoals Starcraft II behalen RL-modellen een niveau dat boven menselijke grootmeesters ligt.
- Robotica: Het fysiek programmeren van elke afzonderlijke beweging van een robotarm is ontzettend complex. Met RL leert een robotarm door proberen en corrigeren hoe hij objecten van verschillende vormen en gewichten moet oppakken.
- Industriële regelsystemen: Data-intatieve koelsystemen in grote datacenters worden geoptimaliseerd met RL. Het algoritme past continue de koeling aan op basis van de belasting en het weer, wat miljarden aan stroomkosten bespaart.
- Aanbevelingssystemen: Platforms gebruiken varianten van RL om te bepalen welke inhoud of artikelen getoond moeten worden, waarbij de AI leert van de directe interactie (klikken of wegklikken) van de gebruiker. Om de betrouwbaarheid van dit soort systemen te testen, kijken onderzoekers vaak naar resultaten op benchmark.llmnet.nl.
Wanneer is RL juist níét de juiste keuze?
Hoewel reinforcement learning krachtig is, is het geen universele oplossing voor elk AI-probleem. In veel situaties is RL zelfs een onverstandige keuze:
- Wanneer data schaars is: RL heeft vaak miljoenen pogingen (simulaties) nodig om een effectieve strategie te leren. Als die simulaties niet snel of goedkoop kunnen worden uitgevoerd, is RL niet haalbaar.
- Wanneer fouten maken gevaarlijk is: Een RL-agent leert door te falen. Je kunt een zelfrijdende auto niet puur met RL in het echte verkeer laten starten, omdat de initiële verkenningsfase tot ongelukken leidt. Fysieke testen vereisen daarom altijd eerst veilige simulaties.
- Wanneer een directe oplossing volstaat: Voor het herkenen van facturen of het categoriseren van e-mails is een traditioneel model met begeleid leren veel sneller, eenvoudiger en betrouwbaarder. Wil je weten hoe deze basisbegrippen samenhangen? Raadpleeg dan onze AI-begrippenlijst.
Reinforcement learning en taalmodellen
Reinforcement learning speelt tegenwoordig ook een cruciale rol bij de ontwikkeling van grote taalmodellen (LLM's). Een taalmodel wordt in eerste instantie getraind om het volgende woord in een zin te voorspellen. Maar om een model vervolgens behulpzaam, eerlijk en veilig te maken, wordt vaak een speciale vorm van reinforcement learning toegepast: Reinforcement Learning from Human Feedback (RLHF).
Hierbij beoordelen menselijke testers de antwoorden van de AI, waarna deze feedback gebruikt wordt als beloningssignaal om het gedrag van het model verder bij te sturen. Omdat RLHF een specifiek proces is dat voortbouwt op deze algemene grondbeginselen, leggen we de exacte werking ervan uit op de pagina RLHF uitgelegd.
