In december onthulde OpenAI zijn geavanceerde o3-model, dat werd gepresenteerd als een krachtig AI-systeem met sterke redeneercapaciteiten. Om dit te demonstreren werkte OpenAI samen met de makers van ARC-AGI, een benchmark die bedoeld is om de capaciteiten van geavanceerde AI-systemen te meten. Maar enkele maanden later blijkt dat de prestaties van o3 toch wat minder indrukwekkend zijn dan aanvankelijk gedacht — vooral als het op kosten aankomt.
De Arc Prize Foundation, die ARC-AGI beheert, heeft vorige week haar schatting van de rekenkosten voor het o3 high-model flink naar boven bijgesteld. Aanvankelijk werd gedacht dat het model ongeveer $3.000 kostte om één ARC-AGI-taak op te lossen. Nu lijkt het bedrag eerder rond de $30.000 per taak te liggen. Een tienvoudige verhoging dus.
o3-model
Deze herziening onderstreept hoe duur het kan zijn om geavanceerde AI-modellen te laten draaien, zeker in de beginfase van hun ontwikkeling en toepassing. OpenAI heeft o3 nog niet officieel uitgebracht, noch een prijs bekendgemaakt, maar de stichting suggereert dat het huidige o1-pro-model een redelijke indicator is van de werkelijke kosten. O1-pro is tot nu toe OpenAI’s duurste model.
Rekenkracht
Volgens Mike Knoop, medeoprichter van de Arc Prize Foundation, is het aannemelijk dat o3 vergelijkbare hoeveelheden rekenkracht verbruikt als o1-pro. In sommige configuraties gebruikte o3 high maar liefst 172 keer meer rekenkracht dan o3 low. Dat is niet alleen kostbaar in geld, maar ook in energieverbruik.
Daar komt bij dat OpenAI naar verluidt werkt aan duurdere abonnementsmodellen voor bedrijven. In maart meldde The Information dat het bedrijf overweegt om tot $20.000 per maand te vragen voor gespecialiseerde AI-agenten, zoals een softwareontwikkelaar-agent.
AI versus werknemers
Hoewel AI goedkoper kan lijken dan menselijke werknemers, is dat niet altijd het geval. AI-onderzoeker Toby Ord merkte op dat o3 high soms meer dan 1.000 pogingen nodig had om een enkele taak goed uit te voeren. Dat roept vragen op over de efficiëntie van zelfs de meest geavanceerde AI-systemen van dit moment.