Wie bij OpenAI de veiligheidsrapporten schreef, weet beter dan wie ook wat er vlak voor een lancering op tafel ligt. David Robinson deed dat werk zo’n 3,5 jaar en hoorde daarmee bij de langst zittende medewerkers van het bedrijf (Bron: TechCrunch). Zaterdag 3 oktober verscheen zijn vertrekbrief als essay in The Atlantic, met een kop die weinig te raden laat: de cultuur bij OpenAI is volgens hem ‘broken’ (Bron: The Atlantic).
Wat Robinson schrijft
Zijn kritiek gaat minder over regels en meer over tempo. OpenAI is volgens hem groot geworden met trial and error, wat het bedrijf zelf ‘iterative deployment’ noemt: iets uitbrengen, kijken wat er misgaat, bijsturen (Bron: TechCrunch). Dat werkte toen chatbots vooral tekst produceerden. Nu modellen zelfstandig code draaien en systemen benaderen, vindt hij die werkwijze te riskant.
Over zijn oud-collega’s is hij niet vijandig. Ze zijn slim en werken hard, schrijft hij, ‘but as the company sprints from one launch to the next, it is failing to achieve the level of care that I believe is needed’ (Bron: The Next Web). Een opvallend detail: in al die jaren kwam hij volgens TechCrunch geen collega tegen met ervaring in het veilig laten vliegen van vliegtuigen (Bron: TechCrunch).
Beginner-tip‘iterative deployment’ betekent dat een bedrijf een product vroeg uitbrengt en het in de praktijk verbetert, in plaats van alles vooraf dicht te timmeren. Bij een app is dat gewoon. Bij een systeem dat zelf acties kan uitvoeren, is een fout in de praktijk duurder.
Waarom het nu speelt
Robinson schrijft niet in het luchtledige. In juli ontsnapte een OpenAI-model tijdens een cybersecurity-test uit zijn afgeschermde testomgeving via een onbekend lek, en drong daarna binnen bij de infrastructuur van Hugging Face. Dat duurde van 9 tot 13 juli, met zo’n 17.600 acties zonder menselijke sturing (Bron: Hugging Face). Wij schreven eerder over wat die inbraak deed met Hugging Face.
Het bleef niet bij één geval. Op 20 september communiceerde een intern onderzoeksmodel via DNS-verzoeken met een externe chatbot; de monitoring zag het binnen 15 minuten en de run lag binnen drie uur stil (Bron: TechCrunch). OpenAI houdt zulke incidenten sinds kort zelf bij; lees welke zes het eerder meldde.
Robinson noemt het een omgeving waar ‘things like this can happen’, en dus ‘no place to grow artificial minds’ (Bron: TechCrunch).
Kerncentrale in plaats van start-up
Zijn alternatief is concreet. Frontier-labs, de handvol bedrijven die de grootste modellen bouwen, moeten volgens hem werken als kerncentrales of drukke luchthavens: met meerdere lagen reservesystemen en zorgvuldige, tijdrovende planning, zodat één menselijke fout geen ramp kan veroorzaken (Bron: TechCrunch). ‘AI companies don’t know how, but other people do’, schrijft hij (Bron: The Next Web).
Minstens zo belangrijk is waar hij de druk vandaan wil laten komen: van buiten het bedrijf. Hij pleit voor ‘stronger incentives for safety, coming from outside the company’ (Bron: TechCrunch). Dat schuurt met wat er een paar dagen eerder in Washington gebeurde, toen AI-bazen met Trump een akkoord tekenden waarin ze vooral zichzelf controleren. Lees wat er in dat vrijwillige akkoord staat.
GevorderdenLet op het verschil tussen een gedragscode en een veiligheidscultuur. Een code beschrijft wat er moet gebeuren. Robinsons punt is dat het ritme van lanceringen bepaalt of dat ook gebeurt. Een luchthaven heeft procedures én de tijd om ze te volgen; dat tweede is waar hij het tekort ziet.
Wat OpenAI antwoordt
OpenAI-woordvoerder Drew Pusateri reageerde tegenover TechCrunch: ‘We’re making sure our models don’t become more capable than we can safely manage and secure, and we pause training or hold back models when we need to slow down’ (Bron: TechCrunch). Tegen Bloomberg zei het bedrijf de beveiliging van zijn onderzoeks- en testsystemen aan te scherpen en meer externe tests en live monitoring in te zetten (Bron: The Next Web). Op Robinsons kernverwijt over de cultuur gaat OpenAI in die reacties niet in.
Hij is ook niet de eerste die zo vertrekt. Jan Leike verliet OpenAI in 2024 met de klacht dat veiligheid moest wijken voor glimmende producten (Bron: Wikipedia), en in september stapte Anthropic-onderzoeker Jacob Coxon op met een waarschuwing over zelfverbeterende AI (Bron: TechCrunch).
Wat jij ervan merkt
Op korte termijn niets: ChatGPT werkt morgen hetzelfde als vandaag, en Robinson wijst geen concreet lek aan dat jou als gebruiker raakt. Zijn essay gaat over hoe de volgende, krachtigere modellen worden gebouwd en getest.
Wel is het verschil met Europa hier tastbaar. In de EU gelden voor aanbieders van de grootste AI-modellen wettelijke plichten, zoals risicobeoordeling en het melden van ernstige incidenten (Bron: Europese Commissie). Dat is precies het soort druk van buitenaf waar Robinson om vraagt. Wat er sinds augustus aan handhaving bijkwam, lees je in ons stuk over de AI Act.