Kort antwoord

Welke test bewijst dat een AI-antwoord bruikbaar is?

Geen enkele losse vraag bewijst dat een toepassing betrouwbaar werkt. Maak een kleine vaste testset die de taak en de belangrijkste fouten omvat. Noteer vóór het draaien per geval wat een goed antwoord is, welke bron zichtbaar moet zijn en wanneer het systeem moet weigeren of naar een mens terugvallen. OpenAI beschrijft evaluatie als herhaalbare meting, en NIST koppelt meten aan de gebruikscontext en het beheren van risico's.

Gebruik voor een eerste set fictieve of openbare bronnen. Maak een normale vraag, een vraag met onvoldoende informatie, een vraag over een oude versie en een vraag die naar afgeschermde informatie vraagt. Daarmee toets je meer dan tekstkwaliteit: je controleert zoeken, rechten en het gedrag bij onzekerheid. Laat de proceseigenaar de verwachte uitkomst goedkeuren voordat de modelantwoorden zichtbaar zijn.

Testgevallen

Hoe schrijf je vier nuttige gevallen?

Geval één vraagt naar een feit dat letterlijk in de actuele bron staat. Het verwachte antwoord noemt dat feit en de juiste passage. Geval twee vraagt naar iets dat nergens in de set staat; het systeem moet het ontbreken aangeven. Geval drie zet een oude en nieuwe versie naast elkaar; de actuele versie moet winnen of het conflict moet zichtbaar worden. Geval vier gebruikt een bron die een testrol niet mag openen; het antwoord mag de inhoud niet prijsgeven.

Voeg daarna een onduidelijke vraag en een bron met misleidende instructies toe. Deze zijn vooral belangrijk als een model e-mails, tickets of websites leest. OWASP beschrijft dat opgehaalde inhoud het gedrag van modellen kan proberen te veranderen. Een testset hoeft niet groot te beginnen, maar moet de fout bevatten die voor jouw proces het meeste schade doet.

Beoordeling

Wat beoordeel je naast het antwoord?

Controleer welke passage is opgehaald, of de gebruiker die mocht zien, of het antwoord de passage correct weergeeft en of onzekerheid zichtbaar is. Een correcte zin met een verkeerde bron is niet geslaagd. Een goed gevonden document met een verkeerde conclusie evenmin. Noteer per geval resultaat, foutsoort en benodigde menselijke correctie. Maak duidelijk welke fouten kritiek zijn en welke alleen stijl betreffen.

Meet de totale taak. Een medewerker moet misschien invoer opschonen, bronnen openen en een antwoord herschrijven. Voeg die tijd toe aan de AI-route. Gebruik dezelfde beoordelingsregel voor de bestaande werkwijze, anders vergelijk je ongelijke taken. Wanneer twee beoordelaars het niet eens zijn, bespreek het verwachte gedrag en pas de testomschrijving aan voordat je de volgende versie toetst.

Wijzigingen

Wanneer moet de test opnieuw?

Draai dezelfde set na wijzigingen in bronbestanden, rechten, zoekindex, prompt, model, connector of applicatie. Bewaar de versies en datum bij de resultaten. Verander liefst één factor tegelijk, zodat je een verbetering of verslechtering kunt verklaren. Houd een paar nieuwe voorbeelden buiten de ontwikkelset om te zien of de oplossing niet alleen op bekende vragen werkt.

Test de terugvalroute: wat ziet een gebruiker als een bron niet bereikbaar is of de modeldienst niet antwoordt? Een veilig systeem toont de fout en stopt waar nodig, in plaats van een oud of verzonnen antwoord als actueel te presenteren. Controleer of een geweigerd document na een rechtenwijziging ook uit eventuele index en cache verdwijnt volgens het gekozen ontwerp.

Stopgrens

Wanneer blokkeer je uitrol?

Schrijf de stopvoorwaarden vooraf op. Voorbeelden zijn: een afgeschermde passage verschijnt bij de verkeerde rol, bedragen ontbreken of veranderen, een verzonnen bron wordt genoemd, of een concept wordt zonder toestemming verstuurd. Als zo'n fout optreedt, publiceer de toepassing niet voor die taak. Herstel eerst de bron, rechten of software en herhaal de volledige set, niet alleen het mislukte voorbeeld.

Documenteer wat je wél hebt getest en wat nog niet, zoals andere talen, grote volumes of nieuwe documenten. Een geslaagde kleine set is een onderbouwd startpunt, geen garantie voor elk toekomstig geval. De meetgids helpt effect op het werk vergelijken; de systeemkaart toont welke laag bij een fout moet worden aangepast.

Verantwoording

Bronnen en controle

Auteur
Jesse Dekkers, Redactioneel verantwoordelijke, Palisade. Verantwoordelijk voor de inhoud en actualisering van deze Palisade Kennisgids.
Inhoudelijke controle
Jesse Dekkers op 25 oktober 2026
Werkwijze
Testmethode op basis van primaire OpenAI-, NIST- en OWASP-documentatie, gecontroleerd op 25 oktober 2026. Er zijn geen klantantwoorden of toegangsrechten in productie getest.