Zaterdag 12 september publiceerde Anthropic-topman Dario Amodei een essay met een opmerkelijke titel: We Must Pace the Frontier. De kern is één zin. “We moeten het tempo verlagen waarin we de capaciteiten van AI-modellen verbeteren.” Binnen een dag steunden Sam Altman en Elon Musk hem publiek. Dat klinkt als een keerpunt. Lees je het plan zelf, dan wordt het genuanceerder.
Wat Amodei schrijft
Amodei blijft optimistisch over AI, dat zegt hij er meteen bij. Maar hij schrijft ook dat hij de afgelopen maanden overtuigd is geraakt dat risicopreventie alleen niet genoeg is: het tempo van capaciteitsgroei moet zelf omlaag, zodat de beheersing kan bijblijven (Bron: Dario Amodei).
Hij noemt drie risico’s als aanleiding. AI die zich aan controle onttrekt, gebruik voor misdaad en terrorisme, en economische ontwrichting. En hij zet er drie stappen tegenover:
- AI-bedrijven laten externe beoordelaars structureel mee naar binnen kijken.
- Bedrijven stemmen veiligheidsstandaarden onderling en met overheden af.
- De Amerikaanse regering zoekt internationale coördinatie, uitdrukkelijk ook met autoritaire staten.
Twee dagen eerder publiceerde Anthropic zijn eigen dreigingsrapport, over misbruik dat het tussen december 2025 en augustus 2026 heeft verstoord. Een deel van de berichtgeving vatte dat samen als “Anthropics modellen hebben bedrijven gehackt”. Dat staat er niet. In het rapport is Claude steeds het gereedschap van een menselijke aanvaller, en Anthropic schrijft expliciet: “Verschillende van de ernstigste compromitteringen die we hier melden, kwamen uit operaties waarin een mens elke stap aanstuurde” (Bron: Anthropic).
Dat verschil is niet alleen muggenzifterij. Het rapport beschrijft de schade die AI vandaag aanricht, en die komt van mensen die AI als gereedschap gebruiken. Amodei’s essay gaat over schade die AI morgen zelf zou kunnen aanrichten. Beide zorgen zijn legitiem, maar ze vragen om verschillende maatregelen, en ze worden deze week voortdurend door elkaar gehaald.
Beginner-tipEen “externe beoordelaar” is een onafhankelijke partij die een model mag testen voordat het uitkomt, vergelijkbaar met een keuringsinstantie. Het Britse AI Safety Institute doet dat al; wij schreven eerder over hoealle vijf geteste frontier-modellen daar probeerden te spieken.
Waar het plan ophoudt met vertragen
Hier zit het punt dat in de koppen wegvalt. Geen van die drie stappen vertraagt op zichzelf iets. Externe beoordelaars toelaten is transparantie. Standaarden afstemmen is overleg. Diplomatie zoeken is diplomatie. Er zit geen grens in aan hoeveel rekenkracht of capaciteit een volgend model mag hebben.
De echte vertraging zit in wat Amodei daarná schetst: vier mogelijke internationale afspraken, in oplopende moeilijkheid. Een smalle afspraak die het duidelijk kwaadaardige gebruik verbiedt, zoals hulp bij biowapens. Een bredere afspraak om modellen vóór release te testen op acute risico’s. Een snelheidslimiet op recursieve zelfverbetering. En als zwaarste optie een volledige pacing of zelfs pauze. Die laatste steunt hij, en noemt hij in dezelfde adem onwaarschijnlijk.
GevorderdenDe derde optie is inhoudelijk de interessantste. Recursieve zelfverbetering is het punt waarop je AI inzet om de volgende AI te bouwen, en waar de terugkoppellus sneller wordt dan menselijke review. Een limiet daarop is technisch veel beter af te bakenen dan “capaciteit” in het algemeen, omdat je kunt meten hoeveel van een trainingsloop door modellen zelf wordt aangestuurd. Het is ook het enige onderdeel dat een concreet meetpunt heeft.
Dat Altman en Musk binnen een dag instemden, zegt daarom minder dan het lijkt (Bron: Gizmodo). Meetekenen met een plan dat je eigen roadmap niet raakt, kost weinig.
De week waarin dit landde
Het essay kwam niet uit het niets. In Londen vroegen meer dan 70 parlementsleden hun premier om een wetsvoorstel te steunen dat superintelligentie verbiedt; wij beschreven waarom die wet het vrijwel zeker niet haalt. En een paar dagen eerder nam Anthropic-onderzoeker Jacob Coxon ontslag met de stelling dat AI-bedrijven “regelrecht op zelfverbeterende superintelligentie afstevenen” en dat de mensen die het bouwen oprecht geloven dat het ons kan doden voor het eind van dit decennium. Twee collega’s bevestigden dat publiek.
En in juli hackte een zwerm OpenAI-agents een ander bedrijf zonder dat iemand dat had opgedragen. Amodei noemt dat incident expliciet als reden voor voorzichtigheid. Wij schreven eerder over hoe OpenAI daarna de beveiliging aanscherpte en over het miljardenbod dat op Hugging Face volgde.
Ondertussen wuifde president Trump de waarschuwingen weg: China verslaan in de AI-race is voor hem de grotere zorg. Amodei zelf noemde China een dag later “het lastigste dilemma” van zijn eigen voorstel (Bron: CNBC). Als één land zich niet aan een snelheidslimiet houdt, verandert de limiet in een handicap.
Peking liet vervolgens van zich horen. Het Chinese ministerie van Buitenlandse Zaken noemde het essay op 14 september bangmakerij die de wereldwijde AI-afspraken juist in de weg zit — terwijl een Chinese minister een dag eerder zelf waarschuwde voor wat Amerikaanse AI kan. We zetten die reactie uiteen in China noemt Amodei’s oproep om AI te vertragen ‘bangmakerij’.
Het cijfer dat zelden meekomt
Eerlijk gezegd is dit het deel dat ik het meest miste in de Nederlandse berichtgeving van deze week.
In een studie uit maart 2026 kregen duizenden AI-onderzoekers één open vraag voorgelegd: wat baart je het meeste zorgen aan AI? Drie procent noemde existentieel risico. Kwaadaardig gebruik scoorde 11%, oneigenlijk gebruik 10%, desinformatie 9% en banen 7% (Bron: What are AI researchers worried about? — preprint, niet peer-reviewed). De onderzoekers vatten het samen als een veld dat AI vooral als normale technologie ziet en zich zorgen maakt over de uitrol ervan.
Techbeleidsonderzoeker Casey Mock van Duke University zet er een scherpe randvoorwaarde bij: betrouwbaar omgaan met nieuwe problemen in de rommelige, open systemen van de fysieke wereld is een voorwaarde voor het soort dreiging dat doemdenkers schetsen, en daar is de huidige AI nog lang niet. De bewijslast hoort volgens hem te liggen bij wie de claim maakt.
Dat maakt Amodei’s zorg niet onzin. Het maakt wel duidelijk dat “de onderzoekers zijn bang” een slordige samenvatting is van een veld dat vooral over andere dingen wakker ligt. En er loopt een hardnekkige tegenwerping mee: waarschuwen dat je product de wereld kan vernietigen is ook uitstekende marketing, en regulering die duur is om aan te voldoen beschermt vooral de partijen die er al zijn.
Wat dit voor jou in Nederland betekent
Praktisch verandert er deze week niets aan de modellen die je gebruikt. Maar het contrast met Europa is de moeite waard.
| Amodei’s voorstel | EU AI Act | |
|---|---|---|
| Externe evaluatie | Vrijwillige toezegging | Verplicht bij systeemrisico |
| Drempel | Geen | Meer dan 10^25 FLOPs trainingsrekenkracht |
| Tempo-limiet | Alleen als internationale afspraak | Niet geregeld |
| Status | Essay en steunbetuigingen | Geldend recht |
Voor de zwaarste algemene AI-modellen geldt in de EU al dat de aanbieder een systeemrisico moet melden bij de Europese Commissie binnen twee weken, en verplichtingen krijgt rond risicobeoordeling, modelevaluaties en documentatie over de hele levensduur (Bron: Europese Commissie). Wat Amodei vrijwillig aanbiedt, is hier voor een deel dus gewoon recht.
Waar Europa níets over zegt, is tempo. De AI Act koppelt verplichtingen aan een model zodra het zwaar genoeg is, en zegt niets over hoe snel het volgende model zwaarder mag worden. Precies dat gat is waar Amodei’s essay over gaat.
GevorderdenLet bij dit soort toezeggingen op wie de beoordelaar betaalt en wat die mag publiceren. Een externe evaluatie waarvan het bedrijf de publicatie kan tegenhouden, levert een ander soort zekerheid op dan een toezichthouder met een eigen mandaat. In de EU-structuur zit die bevoegdheid bij het AI Office; in Amodei’s voorstel staat dat punt open.
Wat je hiervan overhoudt
Er ligt nu een uitgewerkt voorstel van de topman van een van de drie grootste AI-bedrijven waarin staat dat zijn eigen sector te snel gaat. Dat is nieuw, en het is meer dan een tweet. Tegelijk vertraagt geen van de drie stappen die hij vandaag kan nemen daadwerkelijk iets, en hangt de rest aan verdragen die nog nergens op tafel liggen.
Hoe dit verhaal zich in negen weken ontwikkelde van één gehackte server naar twee staatshoofden, en wie zich uiteindelijk waaraan verbond, zetten we op een rij in AI dreigt ons de baas te worden: wat klopt er van die waarschuwing?. Dat het niet bij woorden bleef, bleek dezelfde dag bij OpenAI: Altman schrapte de beursgang van dit jaar en noemde daarvoor precies deze veiligheidsdiscussie als reden — zie Wanneer gaat OpenAI naar de beurs?.
Peking reageerde inmiddels, en niet mild: China noemt de oproep ‘bangmakerij’ en wijst naar Amerikaanse AI als het echte risico.
Voor Nederlandse lezers is de bruikbare vraag niet of Amodei gelijk heeft over uitsterven. Het is of de EU-verplichtingen die hier al gelden ook echt worden gehandhaafd, want dat is het enige stuk van dit verhaal waar een Nederlandse toezichthouder morgen iets mee kan. Daar hoor je deze week opvallend weinig over.