AI Ethiek9 minGevorderd

AI-detectie zoals Turnitin werkt maar half — wat dat betekent voor toetsing

AI-detectoren produceren valse positieven en missen gevallen, en flaggen niet-moedertaalsprekers vaker. Daarom geldt een uitslag als signaal, nooit als bewijs.

Miniatuur diorama-illustratie bij artikel 'AI-detectie zoals Turnitin werkt maar half — wat dat betekent voor toetsing'

AI-detectie belooft een simpele knop: tekst erin, oordeel eruit, mens of machine. In de praktijk werkt die knop maar half. Detectoren zoals de AI-indicator in Turnitin produceren zowel valse positieven — eerlijk geschreven werk dat als AI wordt bestempeld — als gemiste gevallen die er ongezien doorheen glippen. En de fouten vallen niet willekeurig: ze treffen niet-moedertaalsprekers stelselmatig harder. Daarom geldt een detectie-uitslag in 2026 als signaal, niet als bewijs. Dat verandert hoe opleidingen toetsen. Sommige landen omzeilen het probleem voor jonge kinderen helemaal door AI uit de basisschool te weren — geen AI-gebruik, geen detectievraag.

Wat detectie eigenlijk meet

Begin bij de techniek, want daar zit de zwakte. Een AI-detector leest geen gedachten en weet niet wie achter het toetsenbord zat. Hij berekent een kans: hoe waarschijnlijk is het dat een taalmodel deze tekst produceerde? Die schatting leunt op patronen: voorspelbaarheid van woordkeuze, zinslengte, gladheid. Een statistische gok, geen feitelijke vaststelling.

Dat onderscheid is geen muggenziften. Een kansberekening die meestal klopt, kan in individuele gevallen volledig misschieten. En juist het individuele geval telt als een student ervan wordt beschuldigd te hebben gespiekt. Turnitin claimt zelf een hoge nauwkeurigheid en minder dan 1% valse positieven bij teksten met veel AI-inhoud, maar onafhankelijke tests komen op fors hogere foutmarges uit, in sommige studies oplopend tot tientallen procenten bij specifieke groepen.

Beginner-tip:“Valse positief” en “gemiste detectie” zijn de twee fouten die elke detector maakt. Eenvalse positiefis een vals alarm: jouw eigen tekst wordt aangezien voor AI. Een gemiste detectie is het omgekeerde: een AI-tekst die er ongezien doorheen komt. Het venijn zit hierin: een detector die de ene fout terugdringt, maakt bijna altijd meer van de andere. Je kunt ze niet allebei tegelijk naar nul brengen.

De bias die niemand zou moeten accepteren

Hier wordt het ernstig. De fouten van detectoren zijn niet gelijk verdeeld. Onderzoek van Stanford liet zien dat detectoren essays van niet-moedertaalsprekers veel vaker als AI markeerden dan vergelijkbare teksten van moedertaalsprekers (Bron: Liang et al., arXiv). De oorzaak is technisch en daarmee voorspelbaar: wie een taal als tweede taal schrijft, gebruikt vaker eenvoudiger woorden en herhalende structuren. Dat verlaagt de zogeheten perplexity van de tekst, precies het signaal waarop detectoren “machine-achtig” baseren.

Het gevolg is wrang. Juist de student die het hardst werkt om een academische tekst in een vreemde taal te produceren, loopt het grootste risico om er ten onrechte van beschuldigd te worden die tekst níet zelf te hebben geschreven. Universiteit Leiden waarschuwt docenten expliciet dat teksten van niet-moedertaalsprekers of in zeer formele academische stijl regelmatig onterecht als AI worden geflagd (Bron: Universiteit Leiden). Turnitin erkent de gevoeligheid zelf en benadrukt dat een score nooit als bewijs mag gelden (Bron: Turnitin).

Gevorderden:Het diepere probleem is dat detectie en generatie elkaar achternalopen. Elke detector is getraind op de modellen van gisteren; de modellen van vandaag schrijven net iets anders, en een lichte herschrijving — handmatig of via een ander model — drukt de detectiescore omlaag. Detectie is daarmee structureel een stap achter. Een toetsregime dat op detectie leunt, bouwt op een fundament dat per modelupdate verschuift. Dat is een ander soort onbetrouwbaarheid dan een losse meetfout: het is ingebouwd in de wapenwedloop zelf. Waar detectie faalt, blijkt de toetsvorm zelf de betrouwbaarste meting — zoalsde Brown-professor die zijn tentamengemiddelde van 96 naar 48 zag vallen zodra studenten weer op locatie zaten.

Waarom een grote universiteit de stekker eruit trok

Het scherpste signaal komt van Vanderbilt University. In augustus 2023 schakelde de universiteit Turnitins AI-detector uit, na maandenlang testen, gesprekken met Turnitin en overleg met andere instellingen (Bron: Vanderbilt University). De rekensom die ze maakten is veelzeggend: was de detector beschikbaar geweest bij de 75.000 papers die Vanderbilt in 2022 had ingeleverd, dan waren naar schatting zo’n 750 stukken onterecht als AI-bevattend gemarkeerd.

Vanderbilt noemde drie redenen: het valse-positief-risico, gebrek aan transparantie over hoe de detector werkt, en de bekende bias tegen niet-moedertaalsprekers. De conclusie van hun onderwijscentrum was onomwonden: het gebruik van de detector werd op dat moment “simpelweg niet ondersteund door de data”. Het is geen radicaal standpunt, maar een nuchtere afweging van kosten en baten — en de kosten, een onterecht beschuldigde student, wogen te zwaar.

Wat dit doet met toetsing

Als detectie geen bewijs kan leveren, waar steunt toetsing dan op? Het antwoord is een verschuiving die al volop gaande is, en die niets met software te maken heeft. Opleidingen vragen het bewijs onder het werk op: ruwe onderzoeksdata, aantekeningen, interview-opnames, eerdere versies. En ze laten studenten mondeling toelichten waarom ze bepaalde keuzes maakten en hoe hun methode in elkaar zit.

Dat werkt om een reden die detectie nooit zal hebben: het meet het proces, niet alleen het product. Wie het werk echt zelf deed, heeft het materiaal liggen en kan de vragen beantwoorden. Wie een model het zware werk liet doen, loopt vast bij de eerste doorvraag. Een hogeschool controleerde dit voorjaar een hele lichting na AI-fraude bij het afstuderen — en deed dat niet met een detectieknop, maar door ruwe data en toelichting op te vragen.

De bredere les sluit aan op wat we eerder zagen toen studenten in Berkeley massaal zakten met AI binnen handbereik: take-home-opdrachten waar een model in seconden doorheen walst, meten niet langer wat iemand kan. Niet de detector is de oplossing, maar een toetsvorm die om eigen redeneren vraagt.

Wat dit voor jou betekent

Studeer je zelf, dan is de praktische boodschap dubbel. Een detectie-uitslag is geen vonnis: word je geflagd terwijl je eerlijk schreef, dan heb je recht op een gesprek waarin je je proces laat zien. Bewaar daarom je versies, aantekeningen en bronnen — dat is je verdediging. En andersom: detectie omzeilen is geen vrijbrief, want de echte controle zit in de mondelinge toelichting, niet in de software.

Lees je mee als ouder of als geïnteresseerde, dan is de geruststelling dat het onderwijs volwassener met AI omgaat dan de koppen suggereren. Niet “detector erop en klaar”, maar een toetsing die teruggaat naar de kern: kan deze persoon uitleggen wat hij heeft gedaan? Voor het bredere plaatje bundelt ons dossier AI in het onderwijs de tijdlijn en alle duiding. En wil je weten wat de regels precies zijn als je zelf een scriptie schrijft, lees dan mag je AI gebruiken voor je scriptie.

Veelgestelde vragen

Hoe betrouwbaar is de AI-detectie van Turnitin?

Niet betrouwbaar genoeg om als bewijs te dienen. Turnitin claimt zelf een hoge nauwkeurigheid en minder dan 1% valse positieven bij teksten met veel AI-inhoud, maar onafhankelijke tests vinden fors hogere foutmarges, in sommige studies oplopend tot tientallen procenten bij specifieke groepen. Turnitin erkent zelf dat een AI-score nooit als sluitend bewijs gezien mag worden. Daarom gebruiken opleidingen het als één signaal naast andere, en niet als doorslaggevend bewijs om een student op te laten zakken.

Waarom worden niet-moedertaalsprekers vaker onterecht beschuldigd?

Omdat detectoren afgaan op patronen die bij niet-moedertaalsprekers vaker voorkomen. Wie Engels of Nederlands als tweede taal schrijft, gebruikt vaker eenvoudiger woorden en herhalende zinsstructuren. Dat verlaagt de zogeheten perplexity van de tekst, waardoor die voor een detector 'machine-achtig' oogt. Een Stanford-onderzoek vond dat detectoren essays van niet-moedertaalsprekers veel vaker als AI markeerden dan teksten van moedertaalsprekers. Het is een vorm van ingebouwde bias, geen incident.

Welke universiteiten gebruiken AI-detectie niet meer?

Vanderbilt University schakelde Turnitins AI-detector in augustus 2023 uit, met als reden dat de nauwkeurigheid het gebruik niet rechtvaardigde en dat het te veel onterechte beschuldigingen kon opleveren. De universiteit rekende voor dat bij hun jaarlijkse volume van zo'n 75.000 papers ongeveer 750 stukken ten onrechte als AI gemarkeerd hadden kunnen worden. Andere instellingen kozen voor vergelijkbare voorzichtigheid: detectie uit, of alleen als zwak signaal.

Wat is een valse positief bij AI-detectie?

Een vals alarm: het systeem markeert een tekst als AI-gegenereerd terwijl een mens hem zelf schreef. Dat is de gevaarlijkste fout, omdat er een eerlijke student door beschuldigd kan worden. Het spiegelbeeld is de gemiste detectie of vals-negatief: een AI-tekst die er ongezien doorheen glijdt, vaak na een lichte herschrijving. Een detector die de ene fout vermijdt, maakt meestal meer van de andere — een perfecte balans bestaat niet.

Hoe controleren opleidingen dan wél op AI-gebruik?

Met een combinatie van menselijke signalen en procesbewijs. Docenten letten op een onnatuurlijke of plots veranderende schrijfstijl en op verzonnen bronnen. Belangrijker: ze vragen het bewijs onder het werk op — ruwe onderzoeksdata, aantekeningen, interview-opnames — en laten studenten mondeling toelichten waarom ze keuzes maakten. Wie het werk echt zelf deed, kan die vragen beantwoorden; wie een model het zware werk liet doen, loopt daar vast. Dat is betrouwbaarder dan welke detectiescore ook.

Bronnen

Waar deze informatie vandaan komt.