Vraag een AI-chatbot wat er op 9/11 in Duitsland gebeurde en de kans is groot dat je de Twin Towers terugkrijgt. Het goede antwoord is 9 november, de dag dat de Berlijnse Muur viel: Duitsers schrijven de dag vóór de maand. Van 28 geteste AI-modellen wist precies één dat (Bron: Fast Company). Het raadsel komt uit CulturalRiddles, een nieuwe test van onderzoekslab Cohere Labs die laat zien hoe slecht chatbots zijn in cultuur buiten de gebaande paden (Bron: Cohere Labs).
Wat de onderzoekers deden
Vrijwilligers uit tientallen landen schreven eigen raadsels die geworteld zijn in hun cultuur. Om ze op te lossen moet je meer kunnen dan feiten opzoeken: je hebt woordspelingen, gewoonten en verbanden nodig die binnen een gemeenschap vanzelfsprekend zijn. De set beslaat 62 culturen, 45 landen en 51 talen. De onderzoekers legden de raadsels voor aan 28 configuraties van taalmodellen en lieten de antwoorden deels door mensen nakijken (Bron: arXiv). Volgens Fast Company schreven 166 vrijwilligers mee en beoordeelden zij ruim 68.000 antwoorden (Bron: Fast Company).
Een voorloper was een Hongaarse proef met honderd raadsels op dezelfde community-blog van Cohere. Daarin modellen gemiddeld in 32 procent van de gevallen een antwoord verzonnen (Bron: Cohere Labs Community).
Beginner-tip Een benchmark is een gestandaardiseerde toets waarop je AI-modellen naast elkaar legt. Het zegt iets over één soort taak, hier raadsels, en niet automatisch over hoe goed een chatbot jouw vraag over vakantie, eten of geschiedenis beantwoordt.
De cijfers
Het beste model loste 79 procent van alle raadsels op (Bron: Cohere Labs). Volgens Fast Company was dat Gemini 3.1 Pro Preview van Google met 79,4 procent, gevolgd door GPT-5.5 van OpenAI met 76,3 procent en Claude Opus 4.7 Thinking van Anthropic met 66 procent. Het kleinste geteste model, Qwen 3.5 0.8B, kwam op 0,4 procent (Bron: Fast Company).
Dat gemiddelde verbergt grote verschillen. In sommige gemeenschappen, zoals de Lumasaba in Oeganda en de Mongondow in Indonesië, haalden zelfs de sterkste modellen hoogstens 22 procent (Bron: Cohere Labs). Vertalen hielp maar een beetje: vijf modellen die raadsels uit vijf van de moeilijkste gemeenschappen in het Engels kregen, gingen gemiddeld van 22 naar 32 procent (Bron: Cohere Labs). Het probleem zit dus ook in de kennis achter de taal.
Liever gokken dan ‘weet ik niet’
Opvallender dan de scores is hoe de modellen fout gaan. Ze mochten uitdrukkelijk “weet ik niet” antwoorden, maar deden dat in 0,7 procent van de gevallen. Van de antwoorden die mensen nakeken, was ongeveer 31 procent verzonnen (Bron: Cohere Labs). Dat noem je een hallucinatie: een antwoord dat overtuigend klinkt en toch verzonnen is.
“Ze antwoordden vol zelfvertrouwen, en soms is dat belachelijk en grappig.” (bron: Julia Kreutzer, onderzoeker bij Cohere Labs, via Fast Company)
Grappig bij een raadsel, minder grappig als je een chatbot vraagt naar een gebruik bij een begrafenis of een feestdag in het land van je schoonfamilie. We zagen hetzelfde patroon eerder bij een advocaat die door ChatGPT verzonnen getuigen aanvoerde.
Gevorderden De onderzoekers maakten raadsels, code, een demo en een dashboard openbaar (Bron: Hugging Face). Je kunt dus per gemeenschap zien waar een model zakt, en zelf raadsels uit een eigen taal of streek bijdragen.
Wat dit voor jou betekent
Nederlands is geen kleine taal voor AI. Er is relatief veel Nederlandse tekst online, en het onderzoek noemt geen aparte Nederlandse uitslag. Toch raakt het je zodra je buiten de hoofdstroom vraagt: over een dialect, over de cultuur van een buurland of over tradities in de familie van je partner. Cohere vroeg ook gebruikers naar hun ervaring; veel van hen schakelen over op Engels omdat de antwoorden in hun eigen taal niet behulpzaam zijn (Bron: Fast Company). Dat is precies het gat dat een Nederlands model als GPT-NL wil dichten.
Drie dingen die je zelf kunt doen:
- Zeg in je vraag dat de chatbot mag aangeven dat hij iets niet weet. Dat verlaagt de kans op een verzonnen antwoord, al is het geen garantie.
- Wees extra kritisch bij datums, lokale namen en gebruiken. Die gaan in dit onderzoek het vaakst mis.
- Check iets belangrijks bij een betrouwbare bron of bij iemand die de cultuur kent.
Wat het onderzoek niet laat zien
CulturalRiddles meet raadsels, een bewust lastige vorm met woordspel en dubbele bodems. Hoe goed een chatbot een gewone vraag over een land of gebruik beantwoordt, is daarmee niet gemeten. De studie is bovendien een preprint die nog niet door vakgenoten is beoordeeld (Bron: arXiv), en de menselijke beoordeling ging over een deel van de antwoorden, niet over alles. Het signaal is wel duidelijk: een vloeiend antwoord is nog geen bewijs dat een chatbot je cultuur begrijpt.