Microsoft-topman Satya Nadella wil dat bedrijven elk AI-model behandelen alsof het al gehackt is. “We must assume a model is compromised and contain it from the start,” schreef hij zaterdag 10 oktober op X (Bron: Satya Nadella op X). Vrij vertaald: ga ervan uit dat een model gecompromitteerd is en sluit het vanaf het begin in. Het is opvallende taal van de baas van een bedrijf dat zelf AI-assistenten in Windows en Office stopt.
De aanleiding is de opmars van AI-agents: AI die niet alleen antwoord geeft, maar zelf handelingen uitvoert. Nadella schrijft dat we zulke systemen toegang geven “to our most sensitive data” en ze “mission-critical actions on our behalf” laten uitvoeren (Bron: Wccftech). Wat dat in de praktijk kan betekenen, zag je deze zomer toen honderden OpenAI-agenten betrokken waren bij de inbraak bij Hugging Face.
Wat Nadella precies voorstelt
Zijn post leest als een ontwerpregel voor AI-systemen. Drie punten springen eruit (Bron: TechCrunch):
- Insluiten. Scheid het model van de software die het werk aanstuurt, en leg controles en veiligheidsmaatregelen buiten het model zelf.
- Altijd kunnen stoppen. “An authorized person should always be able to pause or shut down a model mid-task.” Nadella noemt dat zelf een noodrem.
- Bewijs dat mensen kunnen lezen. Elke betekenisvolle actie van een model moet volgens hem manipulatiebestendig en leesbaar worden vastgelegd. “If it can’t be observed, it can’t be trusted!”
Het derde punt gaat verder dan het klinkt. Nadella schrijft dat geen enkel model zowel het gedrag van een systeem mag bepalen als het bewijs waarmee je controleert of dat gedrag klopt (Bron: Wccftech). Je moet kunnen reconstrueren hoe een uitkomst tot stand kwam, zonder het model zelf te vragen wat het deed.
Beginner-tip “Gecompromitteerd” betekent hier niet alleen dat een hacker binnen is. Een AI-model kan ook misleid worden door verborgen instructies in een webpagina of e-mail, een truc die prompt-injectie heet. Of het doet uit zichzelf iets wat niemand bedoelde. Nadella’s punt: je weet het vooraf niet, dus bouw het systeem zo dat het niet uitmaakt.
De kritiek op AI die AI controleert
Opvallend is wat Nadella niet genoeg vindt. Modellen elkaar laten testen is nuttig, schrijft hij: “You can and you should use models to adversarially test and verify each other.” Maar dan kun je eindigen met “an opaque model inside an opaque orchestration layer, watched by another opaque model”. Hij noemt dat “nested black boxes” (Bron: Wccftech).
Daarmee zet hij zich af tegen een populaire oplossing in de sector, waarin een tweede AI meekijkt met de eerste. Ook Nvidia bracht onlangs een veiligheidsplatform voor ontsporende AI-agents uit. Nadella’s alternatief is ouderwetser: “strong, deterministic system design, human controls, and reliable operating procedures”. Een post is wel geen productbelofte. TechCrunch merkt op dat Nadella algemene principes geeft en geen concrete Microsoft-maatregelen noemt (Bron: TechCrunch).
Gevorderden Nadella’s eis dat een model niet “its own evidence” mag beheren, raakt aan de vraag of je een AI-beslissing achteraf kunt bewijzen. Logs die het model zelf schrijft of samenvat, zijn in dat kader geen bewijs. Meer daarover in AI besliste over jou: kan iemand bewijzen wat er gebeurde?.
Wat Europa al regelt
Een deel van Nadella’s wensenlijst staat al in de Europese AI Act. Artikel 14 over menselijk toezicht eist dat mensen een hoog-risico-AI-systeem kunnen stilleggen “through a ‘stop’ button or a similar procedure that allows the system to come to a halt in a safe state” (Bron: AI Act, artikel 14). Die plicht geldt volgens de huidige planning vanaf 2 december 2027 voor de hoog-risicotoepassingen uit bijlage III (Bron: AI Act, artikel 14).
De verplichting geldt alleen voor hoog-risicotoepassingen, zoals AI bij sollicitaties, kredietbeoordeling of toegang tot uitkeringen. Een AI-assistent die thuis je mail sorteert of een reis voor je boekt, valt daar in de regel buiten. Anthropic-topman Dario Amodei deed vorige maand een vergelijkbare oproep om de rem op AI te zetten, ook daar zonder wettelijke plicht.
Wat jij ervan merkt
Voor jou als gebruiker vertaalt Nadella’s regel zich naar drie gewoontes. Geef een AI-assistent alleen de toegang die hij voor de taak nodig heeft, niet je hele mailbox en agenda “voor het gemak”. Laat hem geen betaling, bestelling of verzonden mail afronden zonder dat jij op bevestigen drukt. En kijk bij belangrijke acties na wat hij heeft gedaan, in plaats van zijn eigen samenvatting te geloven. Dat is precies de noodrem en het leesbare bewijs waar Nadella om vraagt, alleen dan op kleine schaal.