Generatieve AI wordt steeds populairder, maar zoals Gartner tijdens hun IT Symposium/Xpo 2024 benadrukte, kunnen de kosten van AI net zo risicovol zijn als beveiliging. Bij Y.digital houden we hier vanaf het begin bewust rekening mee bij elke AI-oplossing die we ontwikkelen. Veel CIO's onderschatten de complexiteit en kosten van AI-implementaties, vooral als het gaat om datamanagement en opschaling.

Gartner wijst erop dat de kosten van AI vaak pas duidelijk worden wanneer projecten op schaal draaien. Veel bedrijven hebben data verspreid over verschillende bronnen, wat leidt tot hoge kosten voor dataverwerking en -integratie. Organisaties besteden volgens Gartner vaak al meer dan € 300.000,- alleen al in de proof-of-concept-fase. Dit zonder de garantie dat projecten succesvol in productie gaan.

De verborgen kosten van Large Language Models (LLMs)

Naast de initiële investeringen komen de hoge operationele kosten van large language models (LLMs) zoals gebruikt worden voor ChatGPT, Copilot of Gemini om de hoek kijken. Deze modellen vereisen enorm veel rekenkracht, wat niet alleen duur is maar ook belastend voor het milieu. Elke interactie met een LLM verbruikt aanzienlijke hoeveelheden energie. En naarmate AI-projecten groeien, nemen de kosten voor infrastructuur exponentieel toe.

Hoe kun je kosten voor AI beheersen?

Er zijn verschillende manieren om AI-kosten te beheersen en te besparen:

1. Kies voor kleinere, specifieke modellen: Grote AI-modellen zijn krachtig, maar vaak meer dan wat nodig is voor veel zakelijke toepassingen. Het inzetten van kleinere, domeinspecifieke modellen kan zowel kosten als energieverbruik drastisch verminderen.

2. Gebruik AI op een slimme manier: Niet elke taak vereist AI. Door AI alleen in te zetten voor workflows die er echt baat bij hebben, voorkom je onnodige kosten voor rekenkracht. Maak daarnaast gebruik van "on-demand" AI, waarbij rekenkracht alleen wordt gebruikt wanneer dat nodig is, in plaats van continue, dure processen te draaien.

3. Optimaliseer dataverbruik: Efficiënt omgaan met data kan de benodigde rekenkracht van AI aanzienlijk verlagen. Door je data slim te structureren en alleen de noodzakelijke informatie door AI-modellen te laten verwerken, kun je kosten beperken.

4. Schaal AI geleidelijk: Start met kleinere AI-projecten en schaal pas op als de voordelen en benodigde investeringen duidelijk zijn. Dit voorkomt dat organisaties direct grote sommen investeren zonder dat er zicht is op rendement.

5. Hybride oplossingen gebruiken: Overweeg hybride AI-oplossingen die zowel on-premise als in de cloud kunnen werken. Dit biedt meer flexibiliteit in kostenbeheersing en maakt het mogelijk om benodigde rekenkracht te verdelen over verschillende infrastructuren.

‍

Bij Y.digital helpen we organisaties om AI op een kostenefficiënte en duurzame manier te implementeren. Dit door slim gebruik te maken van AI en bewust met de benodigde rekenkracht om te gaan. Zo behaal je niet alleen je AI-doelstellingen, maar houd je ook bewust rekening met je (ESG) doelen als het gaat om duurzaamheid.

‍