En eval-pipeline larmar när kvaliteten börjar glida. Det kan hända när modellen uppdateras, när instruktionerna till modellen (prompterna) ändras eller när datan förändras över tid. Med andra ord är den för AI vad automatiska tester (enhets- och integrationstester) är för vanlig kod, men den byggs på ett annat sätt.
Vår ståndpunkt
Allt vi bygger har en eval-pipeline från första piloten. Inget undantag. Utan den vet varken du eller vi om lösningen fortfarande svarar rätt efter nästa modelluppdatering.