Deze week publiceerde een ontwikkelaar op dev.to een ogenschijnlijk doodgewone technische tutorial: hoe je het taalmodel mBERT traint om giftige taal te herkennen in Hinglish, de code-mixed omgangstaal van Hindi en Engels (Bron: dev.to). Onder de motorkap van die ene how-to schuilt een probleem dat veel verder reikt dan Hindi-Engelse social media: AI-moderatiesystemen zijn stelselmatig minder betrouwbaar zodra mensen twee talen door elkaar gebruiken. En dat doen ze, ook hier in Nederland, voortdurend.
Eén tutorial, een veel groter probleem
De schrijver van de dev.to-gids legt precies uit waarom een kant-en-klare Engelse toxiciteitsdetector faalt op een zin als “yaar tum kitne pagal ho”: niet omdat het model slecht is, maar omdat het nooit Hinglish te zien kreeg tijdens de training. Woordvolgorde verschuift, scripts wisselen midden in een zin, en Engelse tokenizers struikelen over Devanagari-schrift. Dat is geen exotisch randgeval. Code-switching is wereldwijd de normale spreektaal van tientallen miljoenen mensen, en juist de meest gebruikte moderatiemodellen zijn primair op schoon, eentalig Engels getraind (Bron: UNITYAI-GUARD, arXiv).
Beginner-tip:een taalmodel “getraind op toxiciteit” leert patronen uit voorbeeldzinnen die mensen als giftig hebben gelabeld. Staat een taalcombinatie niet of nauwelijks in die voorbeelden, dan heeft het model simpelweg geen patroon om op terug te vallen — het gokt, en gokt vaker fout.
De cijfers: hoeveel foutgevoeliger wordt moderatie in gemengde taal?
Een recente studie naar Tamil-Engelse code-mixed berichten maakt het verschil concreet meetbaar. Onderzoekers namen dezelfde onderliggende boodschap, één keer in schoon Engels en één keer in Tamil-Engelse mengtaal, en lieten een moderatiesysteem er onafhankelijk over oordelen. Resultaat: in 26,5% van de gevallen sloeg de beslissing om zodra dezelfde boodschap in gemengde taal stond (Bron: arXiv). Het aandeel onschuldige berichten dat onterecht als schadelijk werd gemarkeerd steeg van 6,9% naar 10,4%, en het aandeel berichten dat een menselijke moderator moest doorlezen liep op van 13,8% naar 29,7% — meer dan het dubbele controlewerk voor exact dezelfde hoeveelheid content.
Een simpele oplossing bestaat niet. Onderzoekers testten een regel waarbij het systeem twijfelgevallen automatisch doorstuurt naar een mens in plaats van zelf te beslissen. Dat verlaagt de automatische foutmarge, maar verschuift het probleem alleen naar meer menselijk controlewerk.
Gevorderden:dit is een workflow-probleem, geen puur classificatieprobleem. Een model kan een keurige F1-score halen op een testset en toch, zodra het in een echte moderatiepijplijn draait, structureel meer twijfelgevallen produceren zodra de input code-mixed is. Standaard benchmarkcijfers laten dat effect vaak niet zien.
Waarom dit ook in Nederland speelt
Er is geen publiek onderzoek dat exact meet hoe vaak Nederlandse platforms giftige straattaal missen. Maar het onderliggende mechanisme is taalonafhankelijk, en Nederlandse straattaal is een schoolvoorbeeld van code-switching: het mixt structureel Sranantongo, Engels, Marokkaans-Arabisch en Berber, met wortels in de komst van Surinaamse Nederlanders in de jaren zeventig (Bron: NOS). Diezelfde taalmenging die onderzoekers bij Hinglish en Tamil-Engels documenteerden, zit dus letterlijk in de manier waarop een deel van de Nederlandse jongeren online met elkaar praat.
Dat komt op een gevoelig moment. Grote platforms hebben hun menselijke moderatieteams de afgelopen jaren juist ingekrompen ten gunste van automatisering: TikTok ontsloeg in Nederland al honderden moderators met als argument dat AI die controle kon overnemen (Bron: DutchCowboys). Precies de mensen die culturele nuance en taalmenging het beste kunnen beoordelen, verdwijnen dus op het moment dat onderzoek laat zien dat automatische systemen daar het zwakst in zijn.
Dat sluit aan bij het bredere patroon dat we eerder beschreven in ons onderzoek naar AI-bots die Reddit-gebruikers overtuigden met valse identiteiten: geautomatiseerde systemen die menselijke taal en gedrag moeten inschatten, hebben blinde vlekken die pas zichtbaar worden zodra iemand ze gericht test. Diezelfde onzichtbare foutmarge speelt ook bij AI die hypotheekaanvragen beoordeelt of bij claims over wat een AI-test over je persoonlijkheid zou kunnen aflezen — telkens gaat het om een systeem dat zelfverzekerd oordeelt over iets waar het eigenlijk onvoldoende voorbeelden van heeft gezien.
Wat hier tegenover staat
De EU AI Act classificeert contentmoderatiesystemen op grote platforms niet automatisch als hoogrisico-AI. Wel dwingen de bredere governance-verplichtingen die sinds mei 2026 gelden platforms om systemische risico’s, waaronder discriminatie-effecten op ondervertegenwoordigde groepen, te documenteren en te beperken (meer over die verplichtingen in onze analyse van de EU AI Act). Of “slechter werken op code-mixed straattaal” concreet onder die risicocategorie valt, is nog geen uitgemaakte zaak, en geen enkel Nederlands platform heeft tot nu toe cijfers gepubliceerd die daarop ingaan.
Voor jou als gebruiker verandert dat weinig aan de praktijk: als je bericht in meerdere talen tegelijk is geschreven, is de kans groter dat een moderatiesysteem het in beide richtingen verkeerd inschat. Onschuldige berichten worden vaker onterecht weggehaald, en echt schadelijke taal glipt er soms juist doorheen. Precies het soort spanning die zichtbaar wordt zodra iemand, zoals deze week op dev.to, de code opentrekt en laat zien wat er onder de motorkap gebeurt.