Een gids over het thuis draaien van AI-modellen zou je eerder verwachten van een machine-learning-ingenieur dan van een Bitcoin-ontwikkelaar. Toch is het precies dat laatste dat deze week de Hacker News-voorpagina domineerde: James O’Beirne, bekend van zijn werk aan Bitcoin Core, publiceerde op GitHub een lijvige, technische gids voor het lokaal draaien van state-of-the-art taalmodellen. Geen marketingpraat over “de kracht van AI”, maar exacte BIOS-instellingen, kernelparameters en twee concrete bouwplannen — van 2.000 tot 40.000 dollar.
Wie schrijft er zo’n gids?
O’Beirne is al sinds 2015 een vaste bijdrager aan Bitcoin Core en stond aan de basis van projecten als OP_VAULT en het schaalbaarheidswerk rond assumeutxo (Bron: OpenSats). Zijn interesse in Bitcoin komt voort uit een voorkeur voor systemen die niet van één centrale partij afhankelijk zijn, en diezelfde motivatie duikt op in zijn LLM-gids. Waar een clouddienst je data ziet, je aan rate limits bindt en zijn beleid kan wijzigen, blijft een lokaal model volledig onder jouw controle.
Beginner-tip:je hoeft dit niet zelf na te bouwen om AI privacy-vriendelijker te gebruiken. Sommige tools bieden al een “lokale modus” aan; de gids van O’Beirne is vooral relevant als je zelf servers beheert of grote hoeveelheden data nooit een cloud in wilt sturen.
Twee routes: 2.000 of 40.000 dollar
De gids beschrijft twee concrete hardwarepaden. De instapper draait op een setje tweedehands RTX 3090-videokaarten en haalt daarmee een model als Qwen3.6-27B lokaal aan de praat voor ongeveer 2.000 dollar (Bron: Developers Digest). De zwaarste route gaat veel verder: vier NVIDIA RTX PRO 6000 Blackwell Workstation-kaarten met samen 384GB videogeheugen, een build die neerkomt op ruwweg 46.000 dollar. Die opstelling draait de servertool vLLM in Docker en haalt daarmee ongeveer 80 tokens per seconde bij een contextvenster van 240.000 tokens op een GLM-configuratie — het open Chinese model dat we eerder bespraken toen Zhipu gratis GLM-5.2 uitbracht als antwoord op de exportbeperkingen tegen Anthropic.
Opvallend is vooral wat de gids toevoegt aan wat andere bronnen overslaan: PCIe-linksnelheden, IOMMU-instellingen en stroombeheer-eigenaardigheden die volgens O’Beirne stilletjes de prestaties kunnen verpesten of moeilijk te debuggen NCCL-vastlopers veroorzaken.
Het debat op Hacker News: geheugenbandbreedte versus gemak
Binnen een dag verzamelde de discussie op Hacker News meer dan 170 reacties (Bron: Hacker News). De kern van het debat: is een Mac niet gewoon makkelijker? Tegenstanders van die route wijzen op geheugenbandbreedte — de snelheid waarmee een GPU data kan lezen en schrijven. Twee gekoppelde RTX 3090’s halen 1,87 TB/s, tegenover 300 tot 600 GB/s bij de meeste Mac-configuraties. Eén reageerder benchmarkte Qwen3.6-27B op 68 tokens per seconde op dubbele 3090’s, tegenover 18 tokens per seconde op een M3 MacBook Pro met hetzelfde model.
Andere reageerders zetten vraagtekens bij de kwaliteit van sterk gekwantiseerde modellen — een techniek waarbij een model kleiner en sneller wordt gemaakt door met minder precieze getallen te rekenen. Onder de 8-bit gecombineerd met het wegsnoeien van “experts” in het model kunnen gedragsproblemen ontstaan: het model raakt in een lus, redeneert fout of verliest de draad in lange gesprekken, problemen die standaardbenchmarks niet altijd zichtbaar maken.
Gevorderden:thermisch beheer is geen bijzaak bij deze bouwplannen. Vier videokaarten op vol vermogen in één behuizing produceren aanzienlijke warmte; meerdere Hacker News-reageerders raden dan ook een kelder, garage of aparte serverruimte aan in plaats van een woonkamer of kantoor.
Waarom dit precies nu aanslaat
Dat een technische GitHub-repository zo veel aandacht trekt, past in een bredere trend: steeds meer ontwikkelaars willen weten hoe ver ze kunnen komen zonder een cloud-abonnement, of het nu om kosten, privacy of onafhankelijkheid gaat. Diezelfde afweging tussen lokaal en cloud-gebaseerd rekenen kwam eerder terug in onze uitleg over wat er gebeurt als je een taalmodel iets vraagt, en in het stuk over hoe kleine modellen inferentie steeds vaker naar je eigen browser verplaatsen. Wie zich zorgen maakt over wat een AI-aanbieder met zijn data doet, vindt in versleutelingstechnieken als homomorfe encryptie een ander stukje van diezelfde puzzel.
Voor de meeste lezers is een investering van tienduizenden dollars aan videokaarten niet aan de orde. Maar de gids laat wel zien hoe snel de kloof tussen “iets voor grote techbedrijven” en “iets wat je zelf in een kast kunt zetten” kleiner wordt, en dat de mensen die dat uitzoeken niet per se uit de AI-wereld zelf komen.