Betere prestaties voor lokale AI op Apple Silicon
Ollama, de populaire software voor het draaien van taalmodellen op eigen hardware, heeft ondersteuning aangekondigd voor Apple’s open source MLX-framework. Deze integratie zorgt ervoor dat de grafische rekenkracht en het gedeelde geheugen van Apple Silicon-chips veel efficiënter worden benut. Hierdoor is de tijd dat je moet wachten op een antwoord van een AI-model aanzienlijk verkort.
De update is niet alleen interessant voor de technici. Voor bedrijven betekent dit dat zware modellen, zoals de Qwen3.5-variant met 35 miljard parameters, nu vloeiend kunnen draaien op een high-end MacBook of Mac Studio. Naast MLX-ondersteuning introduceert Ollama ook compatibiliteit met Nvidia’s NVFP4-formaat, wat de compressie van modellen verbetert zonder al te veel kwaliteitsverlies. Dit maakt lokale AI toegankelijker voor zakelijk gebruik.
Hardware-eisen en de opkomst van de M5-chip
Hoewel de softwarematige verbeteringen indrukwekkend zijn, blijven de hardware-eisen fors. Om de nieuwe preview-functies te gebruiken, heb je minimaal 32GB aan werkgeheugen nodig. Voor ondernemers die investeren in de nieuwste hardware is er goed nieuws: Ollama maakt nu direct gebruik van de Neural Accelerators in de M5-serie. Dit resulteert in een hogere snelheid bij het genereren van tekst, de zogenaamde tokens per seconde.
De verschuiving naar lokale AI wordt gedreven door een groeiende frustratie over de kosten en limieten van cloudgebaseerde diensten zoals ChatGPT Plus of Claude. Ontwikkelaars en data-analisten zoeken naar manieren om hun werkstroom te optimaliseren zonder vast te zitten aan maandelijkse abonnementskosten van tientallen euro’s per gebruiker. Lokale AI biedt hier een uitweg, mits de hardware de rekenlast aankan.
Privacy en kostenbeheersing als drijfveer
Het draaien van modellen op eigen systemen biedt een cruciaal voordeel voor de Nederlandse zakelijke markt: privacy. Gevoelige bedrijfsdata verlaat het eigen netwerk niet, wat juridische complicaties met cloudaanbieders voorkomt. Hoewel lokale modellen op sommige benchmarks nog achterblijven bij de allergrootste cloudmodellen, zijn ze inmiddels goed genoeg voor dagelijkse taken zoals coderen, teksten redigeren en data-extractie.
Deze stap van Ollama verkleint het gat tussen professionele clouddiensten en eigen beheer. Voor de gemiddelde Mac-gebruiker blijft de drempel nog enigszins hoog door de afhankelijkheid van de command-line interface, maar de richting is duidelijk. De afhankelijkheid van grote techreuzen voor AI-functionaliteit wordt langzaam maar zeker minder dwingend door de opkomst van krachtige lokale AI oplossingen.
Wat valt ons op?
Lokale modellen zijn inmiddels goed genoeg voor taken waarvoor gebruikers normaal gesproken een maandelijks abonnement afsluiten.
Wat betekent dit voor jou?
Voor het MKB betekent deze update dat je minder afhankelijk wordt van dure maandelijkse AI-abonnementen en dat je gevoelige klantdata veilig binnen je eigen muren houdt.
- Controleer of je huidige Macs beschikken over minimaal 32GB RAM voordat je overstapt op lokale modellen.
- Experimenteer met Ollama voor privacygevoelige taken zoals het samenvatten van interne documenten.
- Evalueer of de kosten van hardware-upgrades opwegen tegen de besparing op SaaS-abonnementen voor AI-tools.
