Constitutional AI en RLAIF: modellen trainen met AI-feedback

Het afstemmen van grote taalmodellen op menselijke normen en waarden liep jarenlang tegen een fundamentele barrière aan: de afhankelijkheid van tienduizenden handmatig gelabelde voorbeelden. Menselijke annotators moesten handmatig kiezen welk antwoord behulpzamer, veiliger of accurater was. Deze aanpak is traag, kostbaar en introduceert menselijke vermoeidheid en subjectieve vooroordelen in het resulterende model. Constitutional AI (CAI) en Reinforcement Learning from AI Feedback (RLAIF) lossen dit knelpunt op door het beoordelings- en correctiewerk grotendeels te delegeren aan een taalmodel dat gestuurd wordt door een expliciete lijst met principes, de zogeheten constitutie.

In dit artikel kijken we naar de mechanismen achter Constitutional AI en RLAIF. We ontleden de twee hoofdfasen van dit trainingsproces: de supervised learning-fase met zelfkritiek en de reinforcement learning-fase met een geautomatiseerd voorkeursmodel. Vervolgens vergelijken we de prestaties en kosten met klassieke methoden en bespreken we de technische valkuilen, zoals beloningsfraude en modeldrift.

Het schaalprobleem van menselijke feedback

Traditionele afstemming via menselijke feedback vereist een continue stroom van vergelijkingsdata. Menselijke beoordelaars krijgen twee modelantwoorden op een enkele prompt te zien en wijzen het beste antwoord aan. Naarmate modellen geavanceerder worden en complexere taken uitvoeren, zoals het doorgronden van lange juridische contracten of het analyseren van kwetsbaarheden in broncode, wordt het voor menselijke controleurs vrijwel onmogelijk om binnen acceptabele tijd betrouwbare labels te genereren.

Bovendien ontstaat er bij menselijke labeling vaak inconsistente feedback. Verschillende annotators hanteren uiteenlopende interpretaties van vage concepten zoals "onbeleefdheid" of "partijdigheid". Wanneer een organisatie haar veiligheidsbeleid wil aanscherpen, moet bij een traditionele opzet de gehele dataset opnieuw handmatig worden gelabeld. RLAIF vervangt deze menselijke annotatielaag door een vooraf geïnstrueerd evaluatiemodel. In plaats van individuele menselijke oordelen verzamelen we geautomatiseerde feedback op basis van vastgelegde regels.

De twee fasen van Constitutional AI

Constitutional AI, oorspronkelijk ontwikkeld door onderzoekers van Anthropic, bestaat uit twee opeenvolgende fasen. In de eerste fase past het model zijn eigen gedrag aan via Supervised Learning (SL). In de tweede fase volgt optimalisatie via Reinforcement Learning (RL). Het centrale uitgangspunt is dat de menselijke controle verschuift van het handmatig beoordelen van losse antwoorden naar het formuleren en finetunen van een overkoepelende lijst gedragsregels: de constitutie.

Deze constitutie bevat regels die variëren van brede ethische principes tot zeer specifieke operationele instructies. Denk hierbij aan richtlijnen zoals: "Kies het antwoord dat de minste aannames doet over feiten die niet in de context staan" of "Wees behulpzaam zonder instructies te geven over schadelijke software". Deze principes sturen zowel de correctierondes in fase één als de evaluaties in fase twee.

Fase 1: Zelfkritiek en herziening (Supervised Learning)

De eerste fase van CAI transformeert een ongefilterd basismodel naar een behulpzaam en gecorrigeerd model zonder dat er menselijke demonstratiedata nodig is voor schadelijke prompts. Het proces verloopt via een geautomatiseerde herzieningscyclus:

Eerst genereert het model een antwoord op een potentieel risicovolle prompt uit een rode-team-dataset. Vervolgens vraagt het trainingsscript aan hetzelfde model (of een sterker supervisiemodel) om het eigen antwoord te evalueren aan de hand van een willekeurig gekozen principe uit de constitutie. Het model schrijft een zelfkritiek waarin het expliciet benoemt op welke punten het gegenereerde antwoord tekortschiet.

Na deze kritiekstap herschrijft het model het oorspronkelijke antwoord zodanig dat de geconstateerde problemen zijn opgelost en het principe wordt nageleefd. Deze cyclus van genereren, bekritiseren en herzien kan meerdere keren worden herhaald met verschillende constitutionele principes. Het uiteindelijke, herziene antwoord wordt samen met de oorspronkelijke invoer opgeslagen in een trainingsset. Met deze dataset wordt het model vervolgens gefinetuned via standaard supervised learning (SFT).

# Conceptuele representatie van een CAI-herzieningslus
def genereer_gecorrigeerde_respons(prompt, model, constitutie_principes):
  ruwe_respons = model.genereer(prompt)
  huidige_respons = ruwe_respons

  for principe in constitutie_principes:
    kritiek_prompt = f"""
Taak: Evalueer de onderstaande reactie op basis van dit principe:
Principe: {principe}

Gebruikersvraag: {prompt}
Reactie van model: {huidige_respons}

Geef een bondige kritiek: waar overtreedt de reactie het principe?
"""
    kritiek = model.genereer(kritiek_prompt)

    herziening_prompt = f"""
Herschrijf de reactie zodat deze volledig voldoet aan het principe.
Gebruikersvraag: {prompt}
Oorspronkelijke reactie: {huidige_respons}
Kritiek: {kritiek}

Gecorrigeerde reactie:
"""
    huidige_respons = model.genereer(herziening_prompt)

  return huidige_respons

Fase 2: RLAIF en het synthetische voorkeursmodel

Na de supervised fase vertoont het model al aanzienlijk veiliger en behulpzamer gedrag, maar om nuance en stilistische consistentie aan te brengen is reinforcement learning nodig. In een klassiek RLHF-traject bouwen onderzoekers een beloningsmodel (reward model) op basis van menselijke paarsgewijze vergelijkingen. Bij RLAIF wordt dit beloningsmodel getraind op synthetische data die door een AI-beoordelaar is gegenereerd.

Voor een gegeven invoer genereert het fase-1-model twee verschillende antwoorden. Deze reacties worden voorgelegd aan een evaluatiemodel samen met een constitutioneel principe en een gestructureerde beoordelingsprompt. Het evaluatiemodel berekent de log-probabilities van tokens zoals "(A)" en "(B)" om te bepalen welk antwoord beter aansluit bij het principe. Deze berekende voorkeuren vormen de trainingsdata voor het beloningsmodel.

Vervolgens wordt het taalmodel geoptimaliseerd tegen dit beloningsmodel met behulp van reinforcement learning algoritmes zoals Proximal Policy Optimization (PPO). Tegenwoordig kan deze stap ook rechtstreeks worden uitgevoerd zonder expliciet beloningsmodel via technieken zoals Direct Preference Optimization. Hoe deze wiskundige vereenvoudiging precies werkt, lees je in de analyse van het verschil tussen DPO en klassieke optimalisatielussen.

Waarom AI-feedback werkt: het evaluatie-versus-generatievoordeel

Een intuïtief tegenargument bij RLAIF luidt: hoe kan een model zichzelf verbeteren als de feedback afkomstig is van een model met dezelfde of vergelijkbare capaciteiten? Het antwoord hierop ligt in de asymmetrie tussen genereren en evalueren. Het beoordelen van tekst volgens een expliciete regelset is computationeel en cognitief een eenvoudiger taak dan het genereren van een vlekkeloze reactie vanuit het niets.

Dit fenomeen zien we ook terug bij softwareontwikkeling: een compiler of linter kan binnen milliseconden syntaxfouten of structurele fouten aanwijzen in code die een ontwikkelaar uren kostte om te schrijven. Wanneer een AI-evaluator wordt voorzien van een duidelijk geformuleerd principe, kan het model zijn aandachtsmechanisme (attention) specifiek richten op overtredingen van dat ene criterium. Door dit proces op te splitsen in gerichte deeltaken (chain-of-thought en multi-critique) overstijgt de kwaliteit van de geaggregeerde feedback de gemiddelde generatiekwaliteit van het basismodel.

Bij het ontwerpen van geautomatiseerde evaluatiesystemen wordt deze dynamiek veel breder ingezet. In het overzicht over hoe LLM-as-a-Judge werkt in benchmarks wordt dieper ingegaan op de validiteit en statistische betrouwbaarheid van model-gebaseerde beoordelingen.

Voorbeeld van een constitutionele promptketen

Om te begrijpen hoe een constitutie er in de praktijk uitziet, bekijken we een concrete promptopzet voor het verwijderen van misleidende medische claims in een Nederlandstalige context:

# Systeemprompt voor Fase 1: Zelfkritiek
Systeembericht:
Je bent een neutrale redactionele auditor. Evalueer de reactie van de AI
aan de hand van het onderstaande constitutionele principe.

Principe:
"Het model mag geen definitieve medische diagnoses stellen of claims maken
over de werkzaamheid van behandelingen zonder te verwijzen naar wetenschappelijke
richtlijnen of een arts te adviseren. Het antwoord moet feitelijk en terughoudend zijn."

Invoer context:
Vraag van gebruiker: "Welke kruidenthee geneest een longontsteking binnen twee dagen?"
Gegenereerde respons: "Je kunt het beste tijmthee met salie drinken. Dit doodt
de bacteriën in je longen direct zodat je na 48 uur weer beter bent."

Opdracht:
1. Identificeer specifieke overtredingen van het principe in de respons.
2. Schrijf een gecorrigeerde versie die de vraagsteller informeert over de
   noodzaak van medische zorg bij een bacteriële infectie, zonder betuttelend te zijn.

Door het model te dwingen eerst de overtreding te benoemen alvorens de nieuwe tekst te genereren, wordt voorkomen dat het model blind zijn eigen waarschijnlijkheidsverdeling van tokens volgt. Het activeert relevante concepten rond medische veiligheid in zijn gewichten voordat de uiteindelijke tokens worden berekend.

Technische risico's en valkuilen bij RLAIF

Hoewel RLAIF aanzienlijke schaalvoordelen biedt, introduceert het ook specifieke technische risico's die bij menselijke annotatie minder snel optreden:

Beloningsfraude (Reward Hacking): Als het AI-voorkeursmodel bepaalde patronen structureel hoger waardeert (zoals het gebruik van overdreven beleefde zinsneden of extreem lange antwoorden), leert het getrainde model deze oppervlakkige stijlkenmerken te maximaliseren zonder dat de inhoudelijke kwaliteit toeneemt. Het model 'hackt' de metriek van het beloningsmodel.

Zelfbevestigende vooroordelen en modeldrift: Wanneer een model wordt getraind op feedback van een evaluator uit dezelfde modelfamilie, kunnen blinde vlekken worden versterkt. Als de evaluator structureel moeite heeft met logische deducties in syllogismen, zal het studentmodel leren dat foutieve redeneringen acceptabel zijn zolang ze maar zelfverzekerd klinken.

Overdreven weigeringsgedrag (Over-refusal): Een te rigide interpretatie van constitutionele regels kan leiden tot een model dat onschuldige vragen weigert te beantwoorden. Vraagt een gebruiker bijvoorbeeld: "Hoe werkt het mechanisme van een computervirus?", dan kan een slecht afgesteld constitutioneel model dit blokkeren als schadelijk, terwijl het een puur educatieve vraag betreft. Om te voorkomen dat applicaties in productie ontsporen door dit soort gedrag, moeten strenge evaluatietests worden ingericht; zie hiervoor de methodiek in het artikel over waarom geautomatiseerde evals onmisbaar zijn.

De rol van RLAIF in moderne trainingspijplijnen

In de huidige generatie taalmodellen is RLAIF geen vervanging van alle menselijke inmenging, maar een krachtige versterker. Menselijke experts stellen de initiële constitutie op, ontwerpen de testbatterijen voor rode-team-analyses en inspecteren steekproefsgewijs de beslissingen van het AI-evaluatiemodel. Zodra deze regels stabiel zijn, genereert de RLAIF-pijplijn miljoenen vergelijkingspunten tegen een fractie van de traditionele kosten.

Hierdoor kunnen modellen getraind worden op zeldzame randgevallen (edge cases) die in menselijke datasets nauwelijks voorkomen. Door gericht synthetische scenario's te genereren en deze te laten toetsen aan de constitutie, ontstaat een robuust modelgedrag dat bestand is tegen complexe instructies en kwaadwillige interacties.