Je klikt op een bronlink onder een artikel uit 2019 en krijgt een 404. Je zoekt een oud persbericht terug en het staat er niet meer. Het overkomt iedereen wel eens, en het voelt als pech. Het is inmiddels eerder de regel.
Pew Research Center telde webpagina’s die tussen 2013 en 2023 online stonden en kwam erop uit dat een kwart daarvan verdwenen is. Dat verschijnsel heet link rot en bestaat al zolang het web bestaat. Wat er in 2026 bij is gekomen, is een tweede beweging die de eerste versnelt.
Het archief wordt buitengesloten
De afgelopen twee jaar hebben veel uitgevers AI-crawlers de toegang tot hun site ontzegd. Begrijpelijk: ze willen niet dat hun werk gratis in een taalmodel verdwijnt dat vervolgens hun lezers wegkaapt.
Daarna gebeurde er iets wat niemand had bedacht. AI-bedrijven kwamen alsnog bij die artikelen, via de Wayback Machine. Het archief bewaarde immers al een kopie, en dat archief blokkeerde niemand.
De reactie van uitgevers laat zich raden. Steeds meer nieuwssites houden nu ook het Internet Archive buiten de deur. De Electronic Frontier Foundation waarschuwde in maart dat dit de AI-training nauwelijks zal tegenhouden, terwijl het wél het historische register van het web uitwist. Uitgevers verdedigen zich tegen de ene partij en raken daarbij de dienst kwijt die hun eigen werk bewaarde.
Zo verdwijnt het geheugen van het web niet omdat iemand dat wil, maar als bijvangst van een conflict tussen twee andere partijen.
Er lopen meer machines dan mensen
Ondertussen verschuift wie het web eigenlijk nog bezoekt. Cloudflare, dat een groot deel van het internetverkeer ziet langskomen, meldt dat verkeer van AI-systemen dat van menselijke bezoekers inmiddels heeft ingehaald, en verwacht dat het verschil de komende jaren nog fors oploopt.
Voor een site betekent dat iets ongemakkelijks: de pagina wordt vaker opgehaald dan ooit, en tegelijk komt er minder bezoek. Wikipedia is daar het duidelijkste voorbeeld van. De encyclopedie wordt door vrijwel elke chatbot geraadpleegd, maar de lezer die vroeger op de bronvermelding klikte en soms bleef hangen of doneerde, blijft weg. Het materiaal circuleert, de infrastructuur eronder niet.
Wat je zelf kunt doen
Voor de meeste mensen is dit een probleem dat pas zichtbaar wordt op het moment dat je iets wilt nakijken. Een paar dingen helpen dan wel:
- Bewaar wat je nodig hebt, meteen. Op web.archive.org staat onderaan Save Page Now. Plak de URL en er wordt direct een kopie gemaakt, als de site dat toelaat.
- Link naar de archiefkopie naast het origineel. In een scriptie, offerte of raadsstuk voorkomt dat dat je bron over twee jaar niets meer bewijst.
- Vertrouw een chatbot-antwoord niet zonder werkende bron. Verwijst het naar een pagina die niet meer bestaat, dan valt er ook niets te controleren.
Er komt geen moment waarop het web ineens leeg is. Het slijt, pagina voor pagina, en het valt pas op als je iets terug wilt zoeken dat er vorig jaar nog stond.