Hoe maak je veilige, bruikbare trainingsdata voor AI?

Waarom begin je bij de taak en de herkomst?

Trainingsdata zijn geen verzameling documenten die toevallig beschikbaar is. Ze moeten passen bij één duidelijk doel, bijvoorbeeld het herkennen van drie soorten fictieve supportvragen. Schrijf vóór verzamelen op welke invoer het model later ziet, welke uitkomst gewenst is en wanneer een mens corrigeert. Noteer per bron wie de eigenaar is, hoe de data zijn verkregen, welke gebruiksrechten gelden en of persoonsgegevens voorkomen. Een intern toegankelijke map is niet automatisch toegestaan trainingsmateriaal.

NIST AI RMF benadrukt het in kaart brengen en meten van risico's gedurende de levenscyclus. Voor data betekent dat ook herkomst, kwaliteit en mogelijke schade door fouten. Laat de bevoegde privacy- of juridische rol beoordelen welke grondslag of toestemming waar nodig geldt. Dit artikel is een werkmethode, geen juridisch oordeel. Voor een eerste proef zijn openbare of zelfgemaakte fictieve voorbeelden eenvoudiger te beheersen.

Welke gegevens leg je per bron vast?

Maak een kaart met bronhouder, doel, datum of versie, omvang, toegestane verwerking, bewaartermijn, gevoelige velden, opschoningsstappen en verantwoordelijke beoordelaar. Voeg toe wie toegang heeft tot ruwe data, trainingsset en modeluitvoer. Als je een bestaand open model of dataset gebruikt, controleer de exacte licentie en eventuele gebruiksbeperkingen van die versie. Bewaar een verwijzing naar de bron en de besluitdatum, zodat later duidelijk blijft waarom de data mochten worden gebruikt.

Verwijder dubbele rijen, kapotte labels en irrelevante velden. Pseudonimisering vermindert sommige risico's maar maakt persoonsgegevens niet vanzelf anoniem. Test expliciet of herkenbare namen, e-mailadressen en vrije tekst met gevoelige details achterblijven. Leg vast wat je verwijdert en waarom. Bewaar ruwe klantdata niet onbeperkt ‘voor mogelijk later trainen’. Kies een kleine set die voor de huidige taak noodzakelijk is.

Hoe voorkom je dat de training alleen jouw fouten leert?

Schrijf een korte labelinstructie met voorbeelden en grensgevallen. Laat twee mensen een deel van de voorbeelden onafhankelijk beoordelen en bespreek verschillen. Als ‘urgent’ voor de ene beoordelaar een tijdsdruk betekent en voor de andere een boze toon, heeft het model geen stabiele taak. Voeg ook negatieve en onduidelijke gevallen toe. Controleer of de dataset verschillende varianten van taal, lengte en onderwerp bevat die in de echte taak kunnen voorkomen.

Splits data vóór experimenten in training, validatie en test. Houd duplicaten en bijna-identieke versies bij elkaar, zodat een testgeval niet via een kleine variatie in de training belandt. Gebruik de validatieset voor ontwerpkeuzes en raak de testset pas aan bij de uiteindelijke beoordeling. Hugging Face TRL beschrijft invoerformaten voor supervised fine-tuning; het juiste formaat alleen zegt niets over representativiteit of rechten.

Wanneer is de set goed genoeg voor een proef?

Controleer een steekproef handmatig: zijn bron, label en gewenste uitvoer verklaarbaar? Tel ontbrekende waarden, dubbelen en labelconflicten. Beschrijf welke groepen of uitzonderingen de set niet dekt. Bepaal wie fouten in productie kan melden en hoe die melding tot een nieuwe datasetversie leidt. Versieer zowel de data als de labelinstructie, zodat een modelresultaat later herleidbaar is naar de gebruikte set.

Start een training pas wanneer gebruiksrecht, toegang, doel, opschoning en scheiding van testdata zijn vastgelegd. Als één van die punten onduidelijk is, kan een prompt- of documentzoekproef met veilige gegevens een betere eerste stap zijn. De besliskaart over trainen helpt bepalen of dit dataproject überhaupt nodig is.

Controleer ook de opslaglocaties van tussenbestanden. Een opgeschoonde trainingsset helpt weinig als exports, notebooks of gedeelde spreadsheets de ruwe gegevens blijven bevatten. Neem die kopieën op in de datasetkaart en spreek af wie ze verwijdert wanneer de proef eindigt. Herhaal deze controle bij iedere nieuwe datasetversie.