Ik kwam een onderzoek tegen uit Nature, van 2024, waarin taalmodellen recursief getraind werden op tekst die ze zelf hadden gegenereerd. Model A schrijft tekst, model B leert van die tekst, model C leert van wat B schreef, en zo verder. Binnen een handvol generaties ontspoorde de output volledig. Niet een beetje slechter. Compleet onzinnig.

Er is een vergelijking uit dat onderzoeksveld die precies vat wat er gebeurt.

Dat beeld bleef hangen omdat het iets anders zegt dan wat je zou verwachten. Het is niet dat AI ‘dommer’ wordt, in de zin van minder feiten kennen of slechter redeneren. Er gebeurt iets specifieker: de zeldzame, afwijkende, minder voorkomende stukjes van de data verdwijnen het eerst. Statistisch heet dat verlies van de staarten van de verdeling. Wat vaak voorkomt, blijft over. Wat uitzonderlijk of nuance is, valt weg.

Wat model collapse precies is

Een taalmodel leert een kansverdeling van wat waarschijnlijk volgt op een stuk tekst. Die verdeling heeft een dikke buik, de meest voorkomende woorden en patronen, en dunne staarten, de zeldzame formuleringen, ongewone feiten, minderheidsstandpunten. Als je op AI-output trained, kopieer je vooral die dikke buik. De staarten worden een beetje dunner. Train je opnieuw op die output, dan worden ze nog dunner. Na een paar generaties zijn de staarten weg en blijft alleen een steeds smallere, steeds voorspelbaardere kern over.

Het meest tastbare voorbeeld uit het onderzoek gaat over een tekst over Engelse kerkarchitectuur. Bij de eerste generatie ging het nog over torenspitsen en gebouwen in Londen. Een paar generaties later was diezelfde tekst, via een reeks kleine verschuivingen, aanbeland bij een beschrijving van Sint-Pietersbasiliek in Buenos Aires. Geen enkele stap was een grove fout. Elke generatie leek plausibel. Maar de optelsom van al die kleine afwijkingen bracht de tekst mijlenver van waar hij begon, en volledig los van de werkelijkheid.

Hoe erg is het echt

Na de eerste golf aan aandacht kwam er ook tegengeluid. Andere onderzoekers wezen erop dat het scenario in het Nature-artikel behoorlijk streng is: elke generatie trained volledig op de output van de vorige, zonder dat er ooit nieuwe, door mensen geschreven data bijkomt. In de praktijk is dat niet hoe grote taalmodellen gebouwd worden. Trainingsdata blijft doorgaans een mix van oude en nieuwe bronnen, en zolang er genoeg echte, diverse data in die mix blijft zitten, blijkt het effect veel kleiner. Model collapse is dus geen onvermijdelijk lot, het is een risico dat groter wordt naarmate het aandeel AI-gegenereerde tekst in de trainingsdata stijgt.

En dat aandeel stijgt wel. Een groot deel van wat vandaag op het internet verschijnt, is met AI geschreven of herschreven. Toekomstige modellen worden getraind op een web waar AI-tekst en mensentekst steeds moeilijker te onderscheiden zijn, laat staan te filteren.

Wat dit betekent voor je eigen AI-workflow

Dit raakt ook gewoon aan hoe ik zelf met AI werk. Als je AI gebruikt om blogposts, productbeschrijvingen of samenvattingen te maken, en die tekst komt online, dan wordt die tekst op een dag onderdeel van een trainingsset voor een volgend model. Dat is op zichzelf geen probleem, één stap in de keten maakt niemand gek. Het wordt pas een probleem op schaal, als een groot deel van het web bestaat uit tekst die zelf al door AI is gegenereerd en herschreven, zonder dat daar nog voldoende oorspronkelijk menselijk materiaal tegenover staat.

Concreet betekent dat: eigen inzichten, eigen fouten, eigen afwijkende meningen blijven waarde hebben, precies omdat ze in die staarten van de verdeling zitten die het eerst verdwijnen. Een tekst die alleen herformuleert wat een model al zei, voedt de buik van de verdeling. Een tekst die iets toevoegt wat nergens anders zo geformuleerd staat, voedt de staart. Die laatste soort tekst is het die op lange termijn overeind blijft, ook als straks het grootste deel van het internet door AI geschreven is.