TL;DR
- Een NPU (Neural Processing Unit) is een extra processor in je device die speciaal is ontworpen voor AI‑ en ML‑taken.
- NPU’s voeren grote aantallen AI‑berekeningen parallel uit, met minder stroomverbruik dan CPU en GPU voor typische AI‑workloads.
- Grote leveranciers zoals Microsoft en Apple ontwerpen nieuwe pc’s en tablets expliciet rond zo’n NPU.
Wat is een NPU?
Een NPU is een gespecialiseerde processor voor neurale netwerken en andere AI‑taken.
Waar een CPU algemene taken uitvoert en een GPU onder andere grafische en zware parallelle berekeningen doet, is de NPU geoptimaliseerd voor de wiskundige bewerkingen in deep‑learning‑modellen, zoals matrixvermenigvuldigingen.
Belangrijke eigenschappen:
- Parallelle verwerking van grote hoeveelheden data.
- Hogere efficiëntie voor veel AI‑taken dan CPU of GPU (minder stroomverbruik).
- Ontlasting van CPU en GPU, zodat die andere processen kunnen afhandelen.
De rekenkracht van een NPU wordt meestal uitgedrukt in TOPS (trillions of operations per second).
CPU, GPU en NPU naast elkaar
In moderne systemen is er een duidelijke rolverdeling tussen CPU, GPU en NPU.
| Component | Hoofdrol | Typische voorbeelden |
|---|---|---|
| CPU | Algemene verwerkingstaken, besturingssysteem, applicatielogica | Programmacode uitvoeren, bestandsbeheer, systeemprocessen |
| GPU | Grafische weergave en visuele output, parallelle berekeningen | Games, video‑rendering, sommige AI‑trainingstaken |
| NPU | Versnellen van AI‑gebaseerde bewerkingen en inference‑taken | Realtime taalvertaling, spraakopdrachten, cameramodellen |
De CPU handelt dus de dagelijkse taken af, de GPU verzorgt graphics en zware parallelle workloads, en de NPU versnelt AI‑operaties op het device.
Voorbeelden uit echte hardware: Apple en AI‑pc’s
Apple M4 Neural Engine
De M4‑chip van Apple bevat een Neural Engine met tientallen TOPS aan AI‑rekenkracht.
In dezelfde generatie consumentenchips worden ook NPU’s van AMD en Intel genoemd, met TOPS‑waardes in vergelijkbare orde, waarbij nieuwere generaties steeds hogere waarden bieden.
De M4‑chip wordt gebruikt in recente iPad Pro‑modellen, die expliciet gepositioneerd worden als apparaten voor AI‑toepassingen.
Copilot+ pc’s en Windows
In de nieuwe generatie Windows‑laptops (vaak aangeduid als AI‑pc of Copilot+ pc) zijn NPU’s geïntegreerd als gespecialiseerde AI‑chips om AI‑processen lokaal te versnellen.
Deze systemen beschikken over een NPU die tientallen TOPS kan leveren, zodat onder andere small language models en andere AI‑modellen lokaal kunnen draaien.
Consumentenvoorlichting benadrukt dat AI‑laptops met NPU AI‑taken kunnen uitvoeren zoals teksten genereren en afbeeldingen maken, met merkbare impact op snelheid en accuduur.
Concreet scenario voor beginners: videogesprekken met Studio Effects
Een beginnende developer kan de impact van een NPU goed zien aan het voorbeeld van videocalls in Windows.
Windows Studio Effects biedt functies zoals:
- Achtergrond vervagen tijdens videogesprekken.
- Eye‑contactcorrectie.
- Ruisonderdrukking voor microfoons.
Voor gebruik van Windows Studio Effects is een geschikte NPU vereist.
De NPU kan AI‑modellen in realtime uitvoeren en wordt daarbij ingezet voor functies zoals spraakopdrachten en beeldbewerking.
Technisch betekent dit voor dit scenario:
- De camera‑ en audio‑data worden lokaal verwerkt door AI‑modellen op de NPU, bijvoorbeeld voor het herkennen van de achtergrond of ongewenste ruis.
- De CPU blijft beschikbaar voor de videobel‑applicatie zelf en andere processen, terwijl de NPU het AI‑deel afhandelt.
- De bewerking gebeurt on‑device, waardoor de ruwe cameradata niet naar de cloud hoeft voor deze effecten.
Dit is een direct observeerbare toepassing van een NPU: dezelfde call met en zonder NPU kan verschillen in beschikbaarheid van Studio Effects en in systeembelasting.
Waarom dit nu in bijna elke AI‑laptop zit
Fabrikanten plaatsen nu standaard een NPU in nieuwe AI‑laptops om meerdere redenen:
- On‑device AI: steeds meer AI‑modellen draaien lokaal op het apparaat in plaats van alleen in de cloud.
- Snelheid: lokale uitvoering vermindert afhankelijkheid van netwerkverbinding en verlaagt de latency.
- Privacy: data zoals audio en video kan lokaal verwerkt worden, wat de hoeveelheid data naar de cloud beperkt.
- Energie‑efficiëntie: NPU’s gebruiken voor typische AI‑taken minder stroom dan CPU’s en GPU’s.
Daarom wordt bij de keuze van een nieuwe pc steeds vaker expliciet naar NPU’s en TOPS‑waarden verwezen.
Wat betekent dit feitelijk voor developers?
Voor developers zijn de volgende punten relevant:
- Besturingssystemen zoals Windows gebruiken NPU’s voor specifieke AI‑features, waaronder videocall‑effecten en taal‑/zoekfuncties.
- Er is ontwikkelaarsdocumentatie beschikbaar voor AI‑toepassingen gericht op NPU‑apparaten, zoals de nieuwe generatie AI‑pc’s.
- NPU’s nemen AI‑inference‑taken over van CPU en GPU, wat invloed heeft op performance‑karakteristieken van toepassingen die intensief AI gebruiken.
- Veel AI‑taken die nu in de cloud draaien, kunnen (deels) lokaal worden uitgevoerd als het apparaat over een geschikte NPU beschikt en het model daarvoor geschikt is.
Kort samengevat in feiten
- NPU’s worden door grote leveranciers omschreven als gespecialiseerde AI‑processors in moderne pc’s en tablets.
- De rekenkracht van deze NPU’s wordt in TOPS gemeten, waarbij recente generaties tientallen TOPS leveren.
- Concreet gekoppelde functies in besturingssystemen, zoals Windows Studio Effects, vereisen een NPU en laten zien hoe AI‑functionaliteit on‑device wordt uitgevoerd.
- Eigenschappen die vaak worden genoemd voor NPU‑gebaseerde AI‑pc’s zijn on‑device AI, lagere latency, betere privacy en hogere energie‑efficiëntie.