Bonsai 27B is een AI-model met 27 miljard parameters dat volledig op een telefoon draait, zonder cloud. Normaal neemt zo’n model zo’n 54 GB geheugen in beslag, ruim meer dan de meeste laptops aankunnen; het Amerikaanse PrismML perst het in 3,9 GB. Volgens PrismML, dat het model op 14 juli 2026 aankondigde, is het daarmee het eerste model van dit formaat dat op een iPhone draait (Bron: PrismML). Een abonnement of internetverbinding is niet nodig.
Update 25 september 2026 PrismML bracht op 17 september 2026 de opvolger Ternary Bonsai 2 27B uit, gebaseerd op Qwen3.8 27B. Die is er alleen als ternary-versie van 5,9 GB (voor laptops) en behoudt volgens PrismML 98,2% van de prestaties van het origineel (bron); de telefoonversie blijft de 1-bit Bonsai 27B uit dit artikel. Gecorrigeerd: niet PrismML maar gebruikers op Hacker News noemden de app Locally AI om het model op een iPhone te draaien.
Wat heeft PrismML precies uitgebracht?
Bonsai 27B is geen nieuw model van de grond af, maar een extreem gecomprimeerde versie van Qwen3.6 27B, het open model van Alibaba. PrismML levert twee varianten. De ternary-versie gebruikt gewichten die alleen -1, 0 of +1 kunnen zijn en weegt 5,9 GB: bedoeld voor laptops, met de hoogste kwaliteit. De 1-bit-versie gaat nog een stap verder (alleen -1 of +1) en komt uit op 3,9 GB: klein genoeg voor het geheugenbudget van een iPhone 17 Pro (Bron: PrismML).
Het model is multimodaal (het verwerkt ook screenshots, documenten en camerabeelden), heeft een contextvenster van 262.000 tokens en staat onder de Apache 2.0-licentie gratis op Hugging Face. Op de iPhone draait het via PrismML’s eigen aangepaste versie van Apples MLX Swift-software (Bron: Hugging Face); ontwikkelaars krijgen tijdelijk een gratis preview-API.
Beginner-tip Die “parameters” zijn de interne knoppen waarmee een AI-model kennis opslaat. Hoe meer, hoe capabeler doorgaans. Normaal kosten die 27 miljard knoppen elk 16 bits opslag. PrismML brengt dat terug naar ruim 1 bit per knop, vandaar de enorme krimp. Het resultaat: een model van deze klasse past in het werkgeheugen dat een telefoon aan één app gunt.
Hoe kan een model van 54 GB in 3,9 GB passen?
De techniek heet extreme quantisatie. In plaats van elk gewicht op te slaan als een precies getal, rondt PrismML af naar één van twee (of drie) waarden, met per groepje gewichten een schaalfactor die de nuance terugbrengt. Dat levert 1,125 effectieve bits per gewicht op in de 1-bit-versie, tegenover 16 bits in het origineel (Bron: PrismML).
Opvallend is dat de compressie het hele taalnetwerk beslaat: embeddings, attention, MLP-lagen én de uitvoerlaag. Eerdere pogingen van andere partijen hielden vaak delen van het netwerk op hogere precisie, waardoor de winst beperkt bleef. PrismML, opgericht door onderzoekers van Caltech en gesteund door onder meer Khosla Ventures, Google en Samsung, werkt al jaren aan precies dit probleem.
Gevorderden De snelheidsclaims zijn serieus: tot 163 tokens per seconde (1-bit) op een RTX 5090 en 87 op een M5 Max, mede dankzij speculative decoding en custom low-bit kernels voor MLX en CUDA. Let wel op de telefoon-demo in de aankondiging: die draait met “cached & prefilled image context”, dus de vlotte beelden zeggen weinig over koude starts op een iPhone.
Wat merk jij hiervan?
Voor de gemiddelde gebruiker is dit vooral een privacy- en portemonnee-verhaal. Een lokaal model betekent dat je vragen, foto’s en documenten je toestel niet verlaten. Wie een AI-assistent zijn agenda, mail of medische vragen toevertrouwt, hoeft bij een on-device model niet na te denken over waar die data heen gaat: nergens heen. En als het model eenmaal op je toestel staat, kost elke vraag niets — geen maandabonnement, geen limiet op je gebruik.
Dat dit meer is dan een technisch kunstje, bleek dezelfde dag nog: volgens CNBC evalueert Apple de technologie van PrismML en voeren beide bedrijven verkennende gesprekken, wat PrismML-topman Babak Hassibi bevestigde (Bron: CNBC). Apple draait nu al delen van z’n AI lokaal op de iPhone en stuurt zwaardere verzoeken naar de cloud; technologie die grotere modellen op het toestel zelf laat draaien past precies in die strategie.
Er zit ook een offline-kant aan. Een model op je telefoon werkt in het vliegtuig, in de trein door Drenthe en tijdens een storing bij een cloudprovider. Apple, Google en Samsung bouwen om die reden al langer aan kleinere on-device-modellen — een beweging die we eerder beschreven in AI in je browser, zonder server; Bonsai 27B laat zien dat ook de zwaardere middenklasse die kant op kan.
Realistisch blijft: de allersterkste modellen draaien in de cloud en dat blijft voorlopig zo. PrismML positioneert Bonsai zelf ook als onderdeel van een hybride opzet, waarin privacygevoelige en routinetaken lokaal draaien en alleen de moeilijkste stappen naar een frontier-model in de cloud gaan.
Er is trouwens ook een compleet andere route naar hetzelfde doel: in plaats van het model krimpen tot het op je telefoon past, bouw je de hardware groter. Nieuwe mini-pc’s met tot 192GB geheugen draaien modellen van vergelijkbare en grotere omvang zonder enige compressie, tegen een prijs en formaat die ver van een telefoon af staan.
De kanttekening: gemiddeldes verhullen de zwakke plek
PrismML meldt dat de ternary-versie 95% van de benchmark-scores van het origineel behoudt en de 1-bit-versie 90%, gemeten over vijftien benchmarks (Bron: PrismML). Dat gemiddelde verdient een kritische blik, en die kwam er ook meteen: in de discussie op Hacker News wezen ontwikkelaars direct op de spreiding onder dat gemiddelde (Bron: Hacker News).
Rekenen blijft in de 1-bit-versie vrijwel op niveau (91,7 tegen 95,3 voor wiskunde), programmeren zakt iets (81,9 tegen 88,7). Maar agentic tool-gebruik — precies de vaardigheid die AI-agents nodig hebben om zelfstandig taken op je toestel uit te voeren — zakt in de 1-bit-versie van 80,0 naar 66,0 punten. Voor een model dat wordt verkocht op lokale AI-agents is dat de rij die ertoe doet. Het zijn bovendien cijfers van de maker zelf, “evaluated in thinking mode”; onafhankelijke tests moeten de claims nog bevestigen.
Waar kun je het proberen?
De modelgewichten staan op Hugging Face, in MLX-varianten voor Apple-hardware en GGUF-builds. Mac-gebruikers met voldoende geheugen kunnen de ternary-versie lokaal draaien (nieuw in lokale modellen? Onze uitleg Wat is Ollama? is een goed startpunt); iPhone-bezitters met wat technische kennis kunnen de 1-bit-versie via PrismML’s MLX Swift-software testen; gebruikers op Hacker News meldden dat het model ook in de app Locally AI te laden was. Reken op dag-1-kinderziektes: gebruikers op Hacker News melden dat de modellen in tools als LM Studio nog niet werken zonder de aangepaste software-forks van PrismML zelf (Bron: Hacker News).
Bij de lancering ontbraken onafhankelijke benchmarks en metingen van het batterijverbruik op een iPhone. PrismML meldt zelf dat de snelheid op een telefoon bij langer gebruik door warmte terugzakt en dat de energiecijfers voor de iPhone schattingen zijn (Bron: Hugging Face).