GPU:n byggdes för grafik men är bra på att räkna många saker samtidigt, vilket är precis vad en AI-modell gör. Minnet är den viktigaste gränsen, eftersom modellen måste få plats i det för att gå snabbt.
En vanlig GPU räcker för transkribering, sökning och mindre språkmodeller. De största språkmodellerna kräver flera GPU:er i ett datacenter och körs därför oftast som en tjänst.