De bekende generatieve AI-programma’s (GenKI), zoals ChatGPT, draaien vooralsnog allemaal in de cloud. Maar daar komt binnenkort verandering in, want een nieuwe systeemgeneratie maakt AI-bediening op de desktop al mogelijk, wat veel voordelen biedt. Dit meldt het toonaangevende Duitse medium ComputerWoche.
Ten eerste zijn er de kosten die een steeds grotere uitdaging vormen bij het gebruik van AI in de cloud. Om GenAI-oplossingen kosteneffectief in de hele onderneming te implementeren, moet een groot deel van de uitvoering lokaal, op het endpoint plaatsvinden. Drie andere cloudproblemen zijn responstijden, netwerkbelasting en gegevensbescherming. “Het draaien van Large Language Modellen op een pc of ander endpoint elimineert de noodzaak om gevoelige gegevens via internet of naar externe serviceproviders te verzenden”, zegt een Forrester-onderzoek naar de voordelen van lokaal AI-gebruik.
Ook Copilot komt naar pc
Dat hebben de grote aanbieders ook onderkend, stelt ComputerWoche. Zo hebben Microsoft en Intel een overeenkomst bereikt om Copilot van de cloud naar de pc te brengen.
Microsoft noemt de nieuwe systemen “Copilot+ PC’s”. Maar niet alleen Copilot kan erop draaien, maar ook alle andere AI-toepassingen. Het nieuwe prestatiespectrum wordt bereikt door een speciale systeemarchitectuur die niet alleen de CPU en GPU gebruikt, maar ook een “Neural Processing Unit” (NPU). In de kern is dit een gespecialiseerde versneller voor AI-workloads die fundamenteel verschilt van een CPU of een GPU. De NPU kan het besturingssysteem niet uitvoeren of grafische afbeeldingen verwerken. Het kan echter beide ondersteunen als deze werklasten moeten worden versneld met behulp van neurale netwerken. NPU’s kunnen geselecteerde AI-taken snel, efficiënt en bijzonder energiebesparend uitvoeren.
Een blik vooruit
Er zou een grote behoefte zijn aan de nieuwe AI-pc’s, noteert ComputerWoche. Marktonderzoekers bij IDC zijn van mening dat AI-pc’s in 2027 60 procent van alle pc-verzendingen zullen uitmaken. Deze snel toenemende vraag wordt deels gevoed door het feit dat de prestaties van deze systemen aanzienlijk zullen toenemen. Intel heeft met zijn ‘Lunar Lake’ de volgende generatie processors al aangekondigd.