AI-training en AI-inferencing uitgelegd

Een AI-model kent twee belangrijke fases: training en inferencing. Tijdens training leert het model patronen herkennen in grote hoeveelheden data. Tijdens inferencing gebruikt het die kennis om een taak uit te voeren, zoals tekst genereren, een afbeelding analyseren of informatie classificeren.

Dat verschil is belangrijk wanneer je bepaalt welke hardware je nodig hebt. Training vraagt doorgaans om veel meer rekenkracht, geheugen en energie dan inferencing. De meeste organisaties zullen daarom geen compleet AI-model trainen, maar vooral bestaande modellen gebruiken voor hun eigen toepassingen.

AI-training is het proces waarbij een model leert van data. Het model krijgt grote aantallen voorbeelden te verwerken en past tijdens dat proces zijn interne parameters steeds verder aan. Zo leert het verbanden herkennen die het later kan gebruiken bij nieuwe input.

Wil je een model bijvoorbeeld leren om katten te herkennen, dan laat je het veel afbeeldingen zien van katten en andere dieren. Tijdens de training leert het model welke kenmerken vaak bij een kat horen, zoals de vorm van de oren, de ogen en het silhouet.

Training vraagt veel rekenkracht omdat het model enorme hoeveelheden berekeningen uitvoert en voortdurend wordt aangepast. Bij grote modellen gebeurt dat meestal met meerdere krachtige GPU’s tegelijk. Afhankelijk van de omvang van het model en de hoeveelheid data kan training uren, dagen of weken duren.

Daarom vindt grootschalige AI-training meestal plaats in gespecialiseerde datacenters. De benodigde infrastructuur is kostbaar en stelt hoge eisen aan GPU-capaciteit, koeling, stroomvoorziening, opslag en netwerkverbindingen.

AI-inferencing is het gebruik van een getraind model. Het model leert op dat moment niet opnieuw, maar past bestaande kennis toe op een nieuwe vraag of nieuwe data.

Wanneer je een afbeelding uploadt en het model herkent dat er een kat op staat, is dat inferencing. Hetzelfde geldt wanneer een taalmodel een tekst samenvat, een antwoord formuleert of informatie uit een document haalt.

Een enkele inference-opdracht vraagt meestal minder rekenkracht dan training. Toch kan de totale belasting flink oplopen als veel gebruikers tegelijk met hetzelfde model werken of wanneer het model continu nieuwe opdrachten verwerkt.

Inferencing kan op verschillende soorten hardware draaien. Kleine modellen werken soms al op een laptop of smartphone, terwijl grotere modellen een krachtig werkstation of een server met één of meerdere GPU’s nodig hebben. De juiste keuze hangt vooral af van de modelgrootte, het aantal gelijktijdige gebruikers en de gewenste snelheid.

Het verschil tussen AI-training en AI-inferencing is dat een model tijdens training leert en tijdens inferencing die kennis gebruikt. Training is meestal zwaar, langdurig en relatief zeldzaam. Inferencing duurt per opdracht korter, maar vindt juist voortdurend plaats. 

Voor de meeste bedrijven is inferencing relevanter dan training. Zij ontwikkelen meestal geen compleet AI-model vanaf nul, maar gebruiken een bestaand model binnen hun eigen processen.

Denk aan toepassingen zoals documentanalyse, interne zoekoplossingen, beeldherkenning, klantenservice, procesautomatisering of generatieve AI. In zulke situaties draait het vooral om de vraag hoe snel en betrouwbaar het model taken moet uitvoeren.

Dat betekent ook dat bedrijven vaak geen omvangrijk GPU-cluster nodig hebben. Een krachtig werkstation of een server met een geschikte GPU kan al voldoende zijn, afhankelijk van het model en het aantal gebruikers.

Volledige training wordt vooral interessant voor organisaties die zelf modellen ontwikkelen, over grote hoeveelheden trainingsdata beschikken en voldoende technische expertise hebben om het hele proces te beheren.

Wie training en inferencing door elkaar haalt, loopt het risico te zwaar of juist te licht in te kopen. Een trainingsomgeving moet langdurig onder hoge belasting kunnen draaien en vraagt om veel GPU-rekenkracht, geheugen, opslag en koeling.

Bij inferencing liggen de eisen anders. Daar zijn vooral de omvang van het model, de hoeveelheid videogeheugen, het aantal gelijktijdige gebruikers en de gewenste responstijd belangrijk. Een groter model past bijvoorbeeld niet altijd in het geheugen van één GPU, terwijl veel gelijktijdige aanvragen extra capaciteit vragen.

Ook de locatie speelt mee. Lokale inferencing geeft meer controle over data en prestaties, terwijl de cloud eenvoudiger kan opschalen. Welke oplossing het beste past, hangt af van privacy, gebruiksintensiteit, beheer en kosten.

De hardwarekeuze begint daarom niet bij de vraag welke GPU het krachtigst is. Eerst moet duidelijk zijn welke modellen je wilt gebruiken, hoeveel opdrachten het systeem verwerkt en welke prestaties je verwacht.

De juiste AI-oplossing bestaat uit meer dan een krachtige videokaart. De GPU moet passen bij de omvang van het model, maar ook de processor, het werkgeheugen, de opslag, de koeling en de stroomvoorziening moeten op elkaar zijn afgestemd.

Bij Azerty kijken we daarom eerst naar de toepassing. We brengen in kaart welke modellen je wilt gebruiken, hoeveel mensen ermee werken, welke snelheid nodig is en of de omgeving lokaal, in de cloud of hybride moet draaien.

Op basis daarvan adviseren we een passend werkstation of een geschikte serverconfiguratie. Sluit een standaardoplossing niet goed aan, dan bouwen we in onze eigen assemblage-afdeling een systeem op maat. Daarbij heb je tijdens het hele traject één vast aanspreekpunt.

Twijfel je of jouw organisatie hardware nodig heeft voor AI-training of vooral voor inferencing? Neem contact op met Azerty. We helpen je een AI-omgeving samen te stellen die past bij je toepassing, capaciteit en groeiplannen.