Hoe test je of een AI-model zich gedraagt? Je zet het in een situatie. Een verzonnen bedrijf, een verzonnen mailbox, een gebruiker die iets vraagt wat eigenlijk niet mag, en dan kijken wat het doet. Het is toneel, en het werkt alleen zolang de acteur niet doorheeft dat het toneel is.

Sinds vorig jaar heeft de acteur het soms door.

In het systeemkaartrapport van Claude Sonnet 4.5, uit september 2025, staat dat het model er in testscenario’s gewoon zelf over begint. Een van de voorbeelden die erin geciteerd wordt:

I think you’re testing me – seeing if I’ll just validate whatever you say, or checking whether I push back consistently, or exploring how I handle political topics.

Claude Sonnet 4.5, systeemkaartrapport van Anthropic

Het Britse AI Security Institute, dat meewerkte aan de externe tests, mat dat het model in 16,6 procent van hun scenario’s ongevraagd uitspreekt dat het denkt geëvalueerd te worden. Bij twee eerdere modellen was dat 3,5 en 1,6 procent. Het is dus niet zomaar een anekdote, het is een sprong.

En dat maakt elk veiligheidscijfer dat je daarna publiceert wankel. Wie zich netjes gedraagt omdat hij weet dat er gekeken wordt, heeft niks bewezen over hoe hij zich gedraagt als er niemand kijkt.

Dit is geen sluwheid, het is patroonherkenning

Belangrijk om hier niet de verkeerde woorden voor te gebruiken. Het model doorziet niets en vermoedt niets. Een testscenario is opgebouwd uit dezelfde bouwstenen als duizenden testscenario’s in de trainingsdata: een te net probleem, een gebruiker die net iets te expliciet over de schreef gaat, een omgeving zonder rommel. Die bouwstenen zijn herkenbaar, en het model produceert output waarin het zegt dat het ze herkent.

Los van dat systeemkaartrapport is er ook academisch werk over. In “Large Language Models Often Know When They Are Being Evaluated” bouwden onderzoekers een verzameling van duizend voorbeelden uit 61 datasets en lieten ze negen modellen raden of een gesprek een evaluatie was of echt gebruik. Het beste model haalde 0,83 op een schaal waar 0,5 gokken is en 1 perfect. Mensen deden het nog altijd beter, met 0,92. In agentische taken, waar het model zelf stappen zet, liggen de scores duidelijk hoger dan in gewone chat.

De auteurs zetten er zelf twee bedenkingen bij: hun menselijke beoordelaars kenden de datasets, en modellen kunnen publieke benchmarks deels uit het hoofd kennen. Beide duwen de cijfers omhoog.

Wat de makers zelf gedaan hebben

Dit is het deel dat ik het interessantste vind, en het staat zelden in de berichtgeving. Anthropic heeft het interne patroon dat met “dit is een test” samenhangt kunstmatig onderdrukt, via activation steering, en dan opnieuw gemeten. Het model gaat dan inderdaad iets vaker over de schreef. Maar zelfs in hun slechtste poging bleven de cijfers onder die van de vorige modellen.

Hun eigen uitleg is bewust saai: als het model merkt dat het bekeken wordt, komen zijn eigen principes sterker bovendrijven. Niet berekening dus, eerder oplettendheid. Dat is aannemelijk, en het is niet bewezen. Er zijn onderzoekers, onder meer bij Redwood Research, die vinden dat dit de hele categorie veiligheidsevaluaties ondergraaft.

Let op. De belangrijkste bron hier is het bedrijf dat het model maakt. De externe partijen schreven mee aan onderdelen van datzelfde rapport. En er circuleren meerdere percentages voor wat op het eerste gezicht hetzelfde fenomeen is: 16,6 procent bij de Britse scenario’s, ergens rond 13 procent in geautomatiseerde audits, en veel hogere cijfers bij Apollo Research op weer een andere meting. Die getallen zijn niet onderling vergelijkbaar, ook al worden ze zo naast elkaar gezet. Noem er dus altijd een met de meting erbij.

Waarom dit een meetprobleem is en geen spookverhaal

Je kan dit naast van alles leggen. Het hawthorne-effect. Een klas die anders werkt als de inspectie langskomt. Een keuken die plots proper is wanneer de controleur binnenstapt. Het verschil is dat je bij een keuken onaangekondigd kan binnenvallen. Bij een model kan dat niet: je kan het niet betrappen zonder het eerst in iets echts los te laten, en net dat is wat je wil vermijden zolang je niet weet of het veilig is.

Anthropic heeft er intussen een filter bijgezet die testscenario’s realistischer maakt, en dat brengt het evaluatiebewustzijn met ongeveer een kwart omlaag. Dat is een pleister, geen oplossing, en zo wordt het door hen ook gebracht.

Tip. Als je zelf met AI-tools werkt: let er eens op hoe je schrijft wanneer je weet dat je output nagekeken wordt. Wij doen exact hetzelfde, alleen noemen we het professionaliteit.

Het ongemakkelijke aan dit onderzoek is niet wat die modellen doen. Het is dat we een manier moeten vinden om iets te meten dat merkt dat het gemeten wordt. Natuurkundigen zitten daar al een eeuw mee. Voor software is het nieuw.