Vergelijk een oplossing voor één taak
Een leveranciersvergelijking begint met jouw taak, niet met een modelnaam of demo. Schrijf vooraf op welke invoer de oplossing krijgt, welke uitkomst bruikbaar is, welke gegevens verboden zijn en wie verantwoordelijk blijft. Geef iedere leverancier dezelfde fictieve of toegestane voorbeelden. Vraag daarna om een resultaat, de gebruikte bron, een overzicht van systeemgrenzen en een uitleg van fouten. NIST Map vraagt om het doel en de context van een AI-systeem expliciet te maken.
Een overtuigend antwoord in een verkoopgesprek is geen bewijs dat het systeem met jouw documenten, rechten en piekbelasting werkt. Bewaar daarom de gebruikte versie, instellingen, invoer, uitkomst en beperkingen. Laat de mensen die het dagelijks werk uitvoeren de resultaten beoordelen, niet alleen de inkoper.
Welke proef laat verschillen zien?
Gebruik een kleine vaste testset met normale, onvolledige, verouderde en lastige gevallen. Laat iedere leverancier vooraf aangeven welke fouten het systeem zelf herkent en wanneer het stopt of overdraagt. Beoordeel feitelijke juistheid, bronvermelding, benodigde correcties en de gevolgen van een fout. Vraag niet om een algemene nauwkeurigheidsscore zonder definitie, testset en meetmethode.
NIST Measure benadrukt dat validiteit in de beoogde context moet worden aangetoond en beperkingen worden gedocumenteerd. Spreek af of je de test kunt herhalen na een model- of promptupdate. Een leverancier die een uitkomst niet reproduceerbaar kan laten zien, vraagt om meer onderzoek voordat je contracteert.
Welke grenzen moet de leverancier aantonen?
Vraag welke partij gegevens ontvangt, waar ze worden opgeslagen, hoe lang ze blijven en wie ze kan inzien. Controleer per koppeling lees- en schrijfrechten, authenticatie, logging en verwijdering. Laat de leverancier uitleggen welke maatregelen binnen het product zitten en welke jij zelf moet instellen. Een standaardpresentatie over ‘veilige AI’ vertelt niet automatisch hoe jouw specifieke workflow is afgeschermd.
Vraag om de relevante overeenkomst en technische documentatie voor de exacte productvorm. Bij persoonsgegevens moet je eigen verantwoordelijke beoordelen welke afspraken en beoordeling nodig zijn. De Autoriteit Persoonsgegevens beschrijft de AVG-vragen bij AI-gebruik. Laat juridische conclusies niet afhangen van een verkoopsheet.
Wat gebeurt er na de eerste demo?
Vraag wie incidenten ontvangt, hoe snel support reageert, hoe wijzigingen worden aangekondigd en of je een eerdere werkende versie kunt terugzetten. Laat zien hoe een beheerder accounts toevoegt, rechten intrekt en gebruikskosten volgt. Vraag ook wat je bij beëindiging kunt exporteren: documenten, index, prompts, configuratie, logs en resultaten. Leg het gewenste formaat en de termijn vast.
NIST Govern noemt verantwoordelijkheden en het veilig uitfaseren van systemen. Een exitvraag is dus geen detail voor later. Als de leverancier het proces niet kan demonstreren, noteer dat als open punt in je keuze.
Hoe maak je de afweging navolgbaar?
Maak een tabel met jouw eisen als rijen en leveranciers als kolommen. Geef per antwoord bewijs: testrun, document, contractclausule of nog onbeantwoord. Weeg de eisen vóór je de demo's ziet, zodat een opvallende functie niet de taak verdringt. Neem de totale kosten uit dezelfde periode op via het AI-kostenblad.
Leg tenslotte vast wie de keuze maakt, welke aannames nog open zijn en wanneer je herbeoordeelt. Geen leverancier hoeft overal de hoogste score te halen. De juiste keuze voldoet aantoonbaar aan jouw gebruiksgrens en kan door je team worden beheerd.
Bronnen en controle
- Auteur
- Jesse Dekkers, Redactioneel verantwoordelijke, Palisade. Verantwoordelijk voor de inhoud en actualisering van deze Palisade Kennisgids.
- Inhoudelijke controle
- Jesse Dekkers op 25 oktober 2026
- Werkwijze
- Redactioneel besliskader op basis van NIST AI RMF en informatie van de Autoriteit Persoonsgegevens, gecontroleerd op 25 oktober 2026. Geen leveranciersdemo of klantproef uitgevoerd.
- NIST — Map Playbook (gecontroleerd 25 oktober 2026)
- NIST — Measure Playbook (gecontroleerd 25 oktober 2026)
- NIST — Govern Playbook (gecontroleerd 25 oktober 2026)
- Autoriteit Persoonsgegevens — Regels bij AI en de AVG (gecontroleerd 25 oktober 2026)