Al jaren is de standaardzin over taalmodellen dat ze een zwarte doos zijn: ze werken, maar niemand kan precies aanwijzen hoe. Op 15 oktober zette Nick Cammarata daar een stevige claim tegenover. In een lang essay schrijft de onderzoeker, die eerder bij OpenAI werkte en nu bij het Amerikaanse interpreteerbaarheidsbedrijf Goodfire zit: “Neural networks are already clean” (Bron: Goodfire). Nederlandstalige koppen maakten er al snel van dat 90 procent van de neuronen in AI één taak heeft. Dat klopt half. Wat Cammarata precies telde, is interessanter dan de kop.
Wie is Cammarata?
Geen buitenstaander. Cammarata schreef mee aan bekende OpenAI-stukken over wat er in beeldherkenningsnetwerken gebeurt, zoals Zoom In uit 2020 en Multimodal Neurons, en startte in 2023 bij OpenAI een project waarin een taalmodel de neuronen van een ander taalmodel moest verklaren (Bron: Goodfire). Dat project leverde destijds een ontnuchterende uitkomst op: volgens Cammarata zelf was met de ruimste maatstaf maar ongeveer 1,7 procent van de neuronen te verklaren (Bron: Goodfire). Juist daarom trekt zijn ommezwaai aandacht.
Wat hij nu beweert
Een neuraal netwerk bestaat uit duizenden tot miljoenen rekeneenheden, neuronen genoemd, die elk sterker of zwakker reageren op wat er binnenkomt. Lang was de heersende gedachte dat die neuronen een rommeltje zijn. Eén neuron reageert dan op katten, op auto’s en op een stuk Franse grammatica tegelijk. De verklaring heet superpositie: een model zou meer begrippen opslaan dan het neuronen heeft door ze over dezelfde neuronen te verdelen. Om daar iets van te begrijpen, bouwen onderzoekers een tweede model, een sparse autoencoder, dat de warboel probeert te ontrafelen.
Cammarata zegt nu dat die aanname te snel is gemaakt. “I now think I was making superposition the null hypothesis when it should have been the last hypothesis”, schrijft hij (Bron: Goodfire). Een bekend voorbeeld van een neuron dat zowel op katten als op auto’s leek te reageren, is volgens hem eigenlijk een detector voor een V-vorm. Wat op willekeurig propwerk leek, noemt hij meestal “recursieve generalisatie”: een neuron begint bij één patroon en groeit uit naar verwante patronen. Zijn voorbeeld is een neuron voor de klank “iy” dat later ook reageert op “diy” en daarna op “do it yourself”, waarin geen “iy” meer zit (Bron: Goodfire).
Beginner-tip Denk aan een archiefkast met labels. De oude gedachte was dat elk laatje een willekeurige mix van papieren bevat. Cammarata zegt dat de meeste laatjes één onderwerp hebben, soms met een paar verwante zijpaden. Als dat klopt, kun je een model veel directer lezen.
Waar de 90 procent vandaan komt
Hier wordt het precies. Cammarata deed een “preliminary audit” van Qwen3-32B, een open taalmodel van Alibaba met 32 miljard parameters. Hij telde de polen van neuronen: de positieve en de negatieve kant van een neuron, die elk iets anders kunnen betekenen. Zijn uitkomst (Bron: Goodfire):
| Neuronpolen in Qwen3-32B | Aandeel |
|---|---|
| Eén hoofdtaak | ongeveer 90 procent |
| Twee verwante taken | ongeveer 7 procent |
| Onverklaard | 2 tot 4 procent |
Cammarata noemt zelf de beperkingen. Het percentage hangt af van hoe je zwakke activaties meetelt, welke lagen je bekijkt en wat je als “één taak” rekent; tellen twee verwante uitdrukkingen in verschillende talen bijvoorbeeld als één? Een deel van de steekproeven noemt hij “relatively small”, en het hele stuk presenteert hij als “an informal research essay and working hypothesis” (Bron: Goodfire). Over nog grotere modellen, zoals het Chinese Kimi K3 met meer dan een biljoen parameters, zegt hij vergelijkbare resultaten te zien, maar de details schuift hij door naar een technisch paper dat nog niet uit is (Bron: TokenPost).
Gevorderden Wat de 90 procent níet meet, is of je met die verklaringen het gedrag van het model volledig kunt voorspellen. Een label per neuronpool zegt iets over de sterkste reacties, niet over de lange staart van zwakke signalen. Daar zit precies de kritiek.
Wat collega’s zeggen
De reacties op X liepen uiteen van euforisch tot koel. Investeerder Deedy Das noemde het “one of the most important results in AI, period” (Bron: Deedy Das op X). Neel Nanda, die bij Google DeepMind het interpreteerbaarheidsteam leidt, schreef: “This is interesting work, but I don’t think it’s a significant update to the big picture of interpretability” (Bron: Neel Nanda op X). Volgens Nanda kan juist in de zwakke activaties veel verspreide informatie zitten, zoals feitenkennis (Bron: Trilogy AI).
Ook andere onderzoekers plaatsten kanttekeningen. Leo Gao, die net als Cammarata aan OpenAI’s neuronproject werkte, vindt dat je een verklaring moet afrekenen op hoe goed ze het gedrag van het neuron nabootst (Bron: Latent Space). Onderzoeker David Pfau wees er simpelweg op dat het paper zelf er nog niet is (Bron: Latent Space).
Wat jij ervan merkt
Vandaag niets: je chatbot werkt morgen precies hetzelfde. De vraag waarom AI iets zegt, raakt je wel. Taalmodellen kunnen zelfverzekerd onzin vertellen, en het enige wat je nu kunt doen is het antwoord controleren. Als onderzoekers echt in een model kunnen kijken, kunnen ze in principe zien of het iets verbergt of een verborgen trigger heeft, en dat maakt veiligheidstests sterker. Dat is ook de reden dat makers als Anthropic en Google DeepMind er eigen teams op zetten.
Tegelijk is een leesbaar neuron nog geen begrepen model. Een netwerk kan uit duidelijke onderdelen bestaan en toch onverwacht gedrag vertonen in de samenwerking tussen die onderdelen. Wie wil begrijpen wat er in een taalmodel gebeurt zonder in de techniek te duiken, leest eerst er zit geen geest in de machine. Of Cammarata gelijk krijgt, beslist het paper dat nog komt, en vooral de vraag of andere teams zijn tellingen kunnen herhalen.