Google splitst hardware voor AI-chips
Google gooit de handschoen in de ring met een nieuwe strategie voor eigen hardware. In plaats van één universele processor lanceert de techreus twee varianten: de TPU 8t voor training en de TPU 8i voor inference. Waar concurrenten zoals Nvidia inzetten op breed inzetbare versnellers, kiest Google voor specialisatie om de operationele kosten van kunstmatige intelligentie beheersbaar te houden.
De TPU 8t is het werkpaard voor de zware rekentaken. Met clusters van 9.600 chips en twee petabyte aan gedeeld geheugen moet dit type de ontwikkeltijd van complexe modellen verkorten van maanden naar weken. Volgens Google schaalt de infrastructuur lineair tot wel een miljoen chips in een enkel cluster, wat de rekencapaciteit naar 121 EFlops per pod tilt. Dit type AI-chips is puur gericht op de bouwers van de allergrootste modellen.
Efficiëntie en de kosten van AI-chips
De tweede variant, de TPU 8i, is ontworpen voor de praktijk: het uitvoeren van opdrachten door bestaande modellen. Deze chip is geoptimaliseerd voor het tijdperk van autonome agenten die taken overnemen. Door het on-chip SRAM-geheugen te verdrievoudigen naar 384 MB, kunnen deze AI-chips grotere hoeveelheden data tegelijk verwerken zonder kostbare vertragingen. Dit is cruciaal voor bedrijven die snelle reactietijden verwachten van hun digitale assistenten.
- De prestaties per watt zijn verdubbeld ten opzichte van de vorige Ironwood-generatie.
- Een geavanceerd systeem met vloeistofkoeling reguleert de hitte via actieve kleppen.
- De chips draaien volledig op Google’s eigen Axion ARM-processoren voor maximale synergie.
Voor de zakelijke markt draait alles om de return on investment. Het trainen en draaien van modellen vreet momenteel kapitalen aan stroom en infrastructuur. Google claimt dat de nieuwe opzet tot zes keer meer rekenkracht levert per verbruikte eenheid elektriciteit. Dit zet niet alleen de marges van hardwareleveranciers onder druk, maar biedt ondernemers ook een potentieel goedkoper pad naar schaalbare toepassingen via de cloud.
Wat valt ons op?
Google claimt dat de nieuwe opzet tot zes keer meer rekenkracht levert per verbruikte eenheid elektriciteit.
Wat betekent dit voor jou?
Voor de gemiddelde ondernemer betekent dit dat de drempel voor het inzetten van complexe AI-assistenten omlaag gaat door lagere cloud-tarieven en hogere snelheid.
- Evalueer de overstap naar Google Cloud voor specifieke trainingstaken nu de efficiëntie stijgt.
- Focus op de inzet van ‘agents’ voor klantenservice en administratie, aangezien de nieuwe hardware hier specifiek voor is gebouwd.
- Houd rekening met dalende kosten voor rekenkracht bij het maken van je meerjarige IT-begroting.
