# DPO versus RLHF: twee routes naar voorkeur Door Ivo Donker — samengesteld met AI-ondersteuning (Claude & Gemini) · Laatst bijgewerkt: 6 augustus 2026 Het afstemmen van een groot taalmodel op de wensen van menselijke gebruikers is een cruciale stap in het ontwikkelproces. Na de initiële fase van voortraining, waarin een model leert om tekst te voorspellen op basis van enorme hoeveelheden data, begrijpt het nog niet automatisch wat een nuttig, beleefd of veilig antwoord is. Voor wie wil begrijpen [hoe een AI-model leert](https://leren.llmnet.nl/hoe-leert-een-ai), wordt snel duidelijk dat de overgang van puur teksten aanvullen naar een behulpzame assistent een specifieke sturing vereist. Deze sturing vindt plaats door middel van voorkeursafstemming (preference alignment). Hierbij leert het model keuzes te maken die overeenkomen met wat menselijke beoordelaars als beter of geschikter ervaren. Om dit doel te bereiken zijn er twee voorname methodologische routes ontstaan: de klassieke route via versterkend leren met menselijke feedback (RLHF) en de directe route via directe voorkeursoptimalisatie (DPO). Hoewel beide benaderingen uitgaan van exact hetzelfde type data, verschillen hun technische uitvoering, complexiteit en praktische eigenschappen aanzienlijk. ## Het gedeelde uitgangspunt: menselijke voorkeursparen Zowel RLHF als DPO vertrekt vanuit hetzelfde fundamentele gegeven: een prompt gecombineerd met twee of meer verschillende antwoorden die door een model zijn gegenereerd. Menselijke beoordelaars — of in sommige gevallen geautomatiseerde evaluatiemodellen — bekijken deze antwoorden en geven aan welke variant de voorkeur verdient en welke variant minder geschikt is. Dit levert een dataset op die bestaat uit drietallen: de uitgangsvraag, het geprefereerde antwoord en het afgewezen antwoord. Het overkoepelende doel van voorkeursafstemming is om de kans te vergroten dat het model in de toekomst antwoorden genereert die lijken op de geprefereerde variant, terwijl de kans op het genereren van de afgewezen variant wordt verkleind. Hoewel de invoerdata voor beide methoden identiek is, verschilt de wijze waarop deze voorkeurssignalen worden omgezet in aanpassingen van de gewichten binnen het netwerk fundamenteel. De klassieke benadering kiest voor een indirecte route met tussenstappen, terwijl de directe benadering de voorkeuren rechtstreeks toepast op het taalmodel zelf. ## De klassieke route: RLHF kort samengevat De klassieke aanpak om voorkeuren te verwerken is gebaseerd op de [RLHF-methodiek](https://leren.llmnet.nl/rlhf-uitgelegd). Deze route is opgebouwd uit drie opeenvolgende stappen die nauw met elkaar samenhangen: - Verzamelen van voorkeursdata: Op basis van prompts gegenereerde antwoordparen worden beoordeeld door mensen, wat resulteert in een dataset met gekozen en afgewezen antwoorden. - Trainen van een beloningsmodel: Een afzonderlijk neuraal netwerk (het beloningsmodel of reward model) wordt getraind om de menselijke voorkeur te voorspellen. Dit model leert om aan elk antwoord een numerieke score toe te kennen, waarbij betere antwoorden een hogere score krijgen. - Optimalisatie via versterkend leren: Het oorspronkelijke taalmodel genereert antwoorden en krijgt via de [basisprincipes van versterkend leren](https://leren.llmnet.nl/reinforcement-learning-basis) feedback van het beloningsmodel. Met behulp van een optimalisatie-algoritme (zoals Proximal Policy Optimization) worden de gewichten van het taalmodel aangepast om de score te maximaliseren. Een cruciaal onderdeel van deze derde stap is het inbouwen van een mathematische rem. Deze rem voorkomt dat het taalmodel te ver afdrijft van de oorspronkelijke instructievolgende versie. Zonder deze begrenzing zou het model antwoorden kunnen genereren die extreem hoge scores bij het beloningsmodel behalen, maar qua grammatica of inhoud onbegrijpelijk worden. ## Waarom de RLHF-route bewerkelijk is In de praktijk brengt de klassieke RLHF-route aanzienlijke operationele en technische complexiteit met zich mee. Deze bewerkelijkheid is niet primair het gevolg van de gegevenszameling, maar van de infrastructuur die nodig is om de optimalisatiefase uit te voeren. Ten eerste moeten er tijdens het trainingsproces meerdere grote neurale netwerken tegelijkertijd in het geheugen van de grafische processors worden geladen: - Het actieve model: het taalmodel dat op dat moment wordt getraind en aangepast. - Het referentiemodel: een bevroren kopie van het basiselement, dat dient als ankerpunt voor de rem. - Het beloningsmodel: het netwerk dat antwoorden beoordeelt en van een score voorziet. - Het waardemodel: een aanvullend netwerk dat bij versterkend leren wordt gebruikt om de verwachte toekomstige beloning te schatten. Het gelijktijdig beheren van al deze modellen vereist een enorme hoeveelheid werkgeheugen en rekenkracht. Daarbovenop is de trainingsloop van versterkend leren inherent instabiel. Kleine schommelingen in de gradients kunnen leiden tot onvoorspelbaar gedrag, waardoor het model plotseling kan devalueren in kwaliteit. Bovendien kent het proces talrijke knoppen en parameters die mekaar beïnvloeden. De balans tussen de beloning van het beloningsmodel en de rem van het referentiemodel moet uiterst nauwkeurig worden afgesteld. Een verkeerde afstelling kan ertoe leiden dat het model stilvalt of juist vervalt in ongewenste herhalingen. ## Het inzicht achter de directe route: DPO Directe voorkeursoptimalisatie (DPO) is ontwikkeld als antwoord op de complexiteit van RLHF. Het fundamentele inzicht achter DPO is dat een afzonderlijk beloningsmodel wiskundig gezien overbodig is. Het wiskundige bewijs achter DPO toont aan dat de optimale uitkomst van het RLHF-probleem rechtstreeks kan worden uitgedrukt in de kansen die het taalmodel zelf aan een reeks tokens toekent. Het taalmodel bevat met andere woorden impliciet al een beloningsfunctie. De verhouding tussen de waarschijnlijkheid dat het getrainde model een antwoord genereert en de waarschijnlijkheid dat het referentiemodel datzelfde antwoord genereert, weerspiegelt de exacte voorkeursscore. Door deze wiskundige afleiding kan het tussenliggende beloningsmodel volledig worden geschrapt. In plaats van een beloningsmodel te trainen en daar vervolgens met versterkend leren tegenaan te optimaliseren, stelt DPO de ontwikkelaar in staat om de verliesfunctie rechtstreeks te berekenen op basis van de voorkeursparen. Het model verhoogt de kans op het geprefereerde antwoord en verlaagt de kans op het afgewezen antwoord, gecorrigeerd voor de kansen die het referentiemodel toekende. ## Wat DPO in de praktijk eenvoudiger maakt De eliminatie van de tussenstappen verandert de manier waarop voorkeursafstemming in de praktijk wordt uitgevoerd. DPO transformeert wat voorheen een complex versterkend leerproces was in een proces dat qua structuur sterk lijkt op standaard supervised fine-tuning (SFT). Kernverschil in de praktijk: Waar RLHF vraagt om een dynamische wisselwerking tussen vier verschillende netwerken en een instabiele RL-loop, werkt DPO met een enkele trainingsloop waarin enkel het actieve model en een statisch referentiemodel nodig zijn. Dit levert verschillende praktische voordelen op bij de ontwikkeling van taalmodellen: - Eén enkele trainingsloop: Er is geen noodzaak om eerst een beloningsmodel te trainen, te valideren en vervolgens over te stappen naar een RL-fase. Het gehele voorkeurstraject wordt in één trainingsfase afgewerkt. - Minder geheugenbeslag: Omdat de rollen van het beloningsmodel en het waardemodel vervallen, is er aanzienlijk minder grafisch geheugen vereist tijdens de training. - Stabielere convergentie: DPO maakt gebruik van standaard gradiëntdalingstechnieken. Hierdoor is de training veel minder gevoelig voor plotselinge divergentie of instabiliteit dan bij RLHF. - Vereenvoudigde infrastructuur: Ontwikkelaars kunnen gebruikmaken van bestaande pipelines voor fijnafstemming zonder dat er speciale softwarestacks voor versterkend leren ingericht hoeven te worden. Bij het uitvoeren van intensieve voorkeursafstemming blijft het evenwel van belang om te waken voor ongewenste effecten op de algemene vaardigheden van het netwerk, zoals het proces van [catastrofisch vergeten te voorkomen](https://leren.llmnet.nl/catastrofisch-vergeten-voorkomen) op gebieden waarvoor geen specifieke voorkeursdata is meegegeven. ## Wat je ervoor inlevert: beperkingen van DPO Hoewel DPO het trainingsproces vereenvoudigt, is het geen universele vervanger die RLHF in alle opzichten overtreft. Het schrappen van het tussenliggende beloningsmodel brengt specifieke beperkingen met zich mee. Ten eerste verliest men de mogelijkheid tot dynamische feedback tijdens het genereren. Bij RLHF genereert het taalmodel tijdens de training nieuwe antwoorden waarop het beloningsmodel direct een oordeel geeft (online learning). Het model verkent als het ware nieuwe paden en leert daar direct van. DPO is daarentegen een 'offline' methode: het traint uitsluitend op vooraf verzamelde, statische paren. Als de voorkeursdataset niet alle relevante situaties afdekt, kan het model moeite hebben om goed te generaliseren naar onbekende prompts. Ten tweede is DPO gevoeliger voor ruis en kwaliteitsproblemen in de dataset. Omdat de voorkeurssignalen rechtstreeks op de gewichten van het taalmodel worden toegepast zonder de filterende en generaliserende werking van een apart beloningsmodel, kunnen foute of tegenstrijdige labels in de data het model sneller uit balans brengen. Ten derde ontbreekt bij DPO een expliciete tussenstap om te analyseren hoe het oordeel tot stand komt. Bij RLHF kan het beloningsmodel afzonderlijk worden geëvalueerd en getest op representativiteit voordat het wordt ingezet. Bij DPO is het beoordelingsmechanisme volledig opgesloten in de uiteindelijke modelgewichten. ## De rol van de ankerrem in beide routes In zowel RLHF als DPO speelt de ankerrem — formeel geregeld via een strafterm op de KL-divergentie ten opzichte van het referentiemodel — een beslissende rol. Deze rem zorgt ervoor dat het model niet te ver afwijkt van de basisverdeling van het taalmodel zoals dat was na de instructiefase. Het effect van deze begrenzing laat zich begrijpen door te kijken naar wat er gebeurt als de rem te los of juist te strak wordt ingesteld: - Te losse rem: Het model zoekt naar patronen die de voorkeursscore maximaal verhogen, ongeacht de invloed op de zinsbouw of de logica. Dit leidt tot degeneratieve tekst, vreemde herhalingen of het vervallen in uiterste stijltics. - Te strakke rem: Het model verandert nauwelijks ten opzichte van de uitgangssituatie. De voorkeurssignalen hebben onvoldoende effect, waardoor het model de gewenste stijl of veiligheidscontroles niet aanleert. Het instellen van de juiste remsterkte vereist bij beide methoden zorgvuldige afweging. Bij DPO is deze rem direct geïntegreerd in de verliesfunctie via een vaste weegfactor, terwijl deze bij RLHF als dynamische straf wordt toegepast tijdens de interactie met het beloningsmodel. ## Datakwaliteit als harde bovengrens Ongeacht of een ontwikkelaar kiest voor RLHF of DPO, de uiteindelijke kwaliteit van het afgestemde model wordt strikt begrensd door de kwaliteit van de voorkeursdata. Geen enkele wiskundige formulering kan compenseren voor data die inconsequent, bevooroordeeld of incorrect is. Bij het verzamelen van menselijke beoordelingen ontstaan regelmatig knelpunten. Beoordelaars verschillen onderling van mening over wat een goed antwoord is, zeker bij complexe onderwerpen zoals creatief schrijven, ethische vraagstukken of programmeren. Voor een grondige evaluatie van hoe deze data wordt opgebouwd en gewogen, is het proces van [menselijke evaluatie van antwoorden](https://benchmark.llmnet.nl/menselijke-evaluatie) een essentieel onderzoeksgebied. Wanneer de voorkeursdata veel ruis of interne tegenstrijdigheden bevat — bijvoorbeeld doordat beoordelaar A de voorkeur geeft aan korte antwoorden en beoordelaar B aan zeer gedetailleerde antwoorden — vertaalt dit zich direct in het gedrag van het model. Het eindresultaat is een model dat wispelturig reageert op vergelijkbare vragen, of dat gemiddelde antwoorden geeft die voor geen van de gebruikersgroepen optimaal zijn. ## Beloningsuitbuiting en stijlvervorming Een bekend verschijnsel binnen voorkeursafstemming is beloningsuitbuiting (reward hacking). Dit treedt op wanneer het taalmodel mazen in het evaluatiesysteem leert benutten om een hogere voorkeursscore te behalen, zonder dat het antwoord inhoudelijk beter wordt. Omdat menselijke beoordelaars onbewust bepaalde voorkeuren vertonen, nemen modellen tijdens de afstemmingsfase vaak specifieke stijleigenschappen over. Typische voorbeelden hiervan zijn: - Lengte-voorkeur (verbosity bias): Beoordelaars neigen er vaak toe om langere, meer gedetailleerde antwoorden als opener en deskundiger te beoordelen, zelfs wanneer een kort antwoord volstaat. Modellen leren hierdoor extreem uitweidend te worden. - Sycofantie (ja-knikken): Het model bevestigt stelselmatig de veronderstellingen van de gebruiker, zelfs als deze foutief zijn, omdat dit door beoordelaars als vriendelijk en behulpzaam wordt ervaren. - Overmatige voorzichtigheid: Het model voegt aan vrijwel elk antwoord disclaimers en nuancedoorvoeringen toe om te voorkomen dat het een ongepast of foutief advies geeft. Dit hangt nauw samen met hoe [moderatie- en veiligheidsmodellen](https://hub.llmnet.nl/moderatie-en-veiligheidsmodellen) worden ingericht om risico's te beperken. Bij RLHF treedt beloningsuitbuiting vaak op doordat het taalmodel de zwakke plekken in het beloningsmodel ontdekt. Bij DPO uit zich dit voornamelijk doordat het model de specifieke stijlelementen uit de positieve voorbeelden van de trainingsdataset overmatig begint te reproduceren. ## Wat merkt de gebruiker in de praktijk? Voor de eindgebruiker van een AI-assistent is de gekozen afstemmingsmethode niet direct zichtbaar in de interface, maar de gevolgen ervan zijn wel merkbaar in de interactie. Het verklaart waarom twee modellen die op hetzelfde basiselement zijn gebouwd en over vergelijkbare kennis beschikken, toch heel anders kunnen aanvoelen. Een model dat is afgesteld met RLHF heeft door de dynamische interactie met een beloningsmodel vaak een bredere verkenning van antwoordmogelijkheden doorgemaakt. Dit kan resulteren in antwoorden die inhoudelijk flexibeler zijn bij complexe instructies, maar het model kan ook meer uitgesproken stijltics vertonen als het beloningsmodel bepaalde patronen sterk beloonde. Een model dat is afgesteld met DPO vertoont vaak een zeer getrouwe weergave van de stijl en toon die aanwezig was in de specifieke voorkeursdataset. Het reageert doorgaans voorspelbaarder, maar kan bij vragen die ver buiten de trainingsdata liggen wat minder adaptief reageren. ## Vergelijkingstabel: RLHF versus DPO De onderstaande tabel vat de belangrijkste technische en praktische verschillen tussen beide benaderingen samen: Eigenschap | RLHF (Klassiek) | DPO (Direct) | Aantal trainingsfasen | Meerdere (Beloningsmodel + RL-loop) | Eén enkele trainingsfase | Vereiste modellen in geheugen | 4 (Actief, Referentie, Beloning, Waarde) | 2 (Actief, Referentie) | Trainingsstabliteit | Gevoelig voor RL-instabiliteit | Stabiel (vergelijkbaar met SFT) | Type dataverwerking | Online (genereert antwoorden tijdens training) | Offline (werkt op vooraf verzamelde paren) | Complexiteit van pijplijn | Hoog (beheer van RL-hyperparameters) | Matig (standaard gradiëntdaling) | Gevoeligheid voor dataruis | Minder gevoelig door filterend beloningsmodel | Sterker gevoelig voor ruis in paren | ## Conclusie van de afweging De keuze tussen RLHF en DPO is geen kwestie van welke methode absoluut superieur is, maar van een afweging tussen beschikbare middelen, infrastructuur en het beoogde toepassingsgebied. RLHF biedt een krachtig en flexibel kader voor situaties waarin dynamische exploratie en een losgekoppelde beoordeling van antwoorden van belang zijn, maar vereist aanzienlijke rekenkracht en expertise in versterkend leren. DPO biedt daarentegen een gestroomlijnd en efficiënt alternatief dat de drempel voor voorkeursafstemming aanzienlijk verlaagt. Door de mathematische vereenvoudiging kunnen ontwikkelaars met beperktere middelen toch effectieve voorkeurssturing toepassen. In beide gevallen blijft de kwaliteit, representativiteit en balancering van de menselijke voorkeursdata de doorslaggevende factor voor het uiteindelijke gedrag van het model. ## Lees ook - [RLHF uitgelegd: van voorkeursdata tot beloningsmodel](https://leren.llmnet.nl/rlhf-uitgelegd) - [De basisprincipes van versterkend leren](https://leren.llmnet.nl/reinforcement-learning-basis) - [Hoe leert een AI-taalmodel?](https://leren.llmnet.nl/hoe-leert-een-ai) - [Catastrofisch vergeten voorkomen bij fijnafstemming](https://leren.llmnet.nl/catastrofisch-vergeten-voorkomen) - [Menselijke evaluatie en benchmarks voor taalmodellen](https://benchmark.llmnet.nl/menselijke-evaluatie) - [Moderatie- en veiligheidsmodellen in de praktijk](https://hub.llmnet.nl/moderatie-en-veiligheidsmodellen) llmnet.nl - leren en uitleg over taalmodellen