Nee, de AI is meer dan een ondersteunend of voorbereidend hulpmiddel

Eisen voor hoog risico AI

Wanneer een AI-systeem wordt aangemerkt als hoog risico, gelden er strenge verplichtingen. Het uitgangspunt is dat zulke systemen wél gebruikt mogen worden, maar alleen als de veiligheid en de bescherming van grondrechten voldoende zijn gewaarborgd. Daarvoor moeten aanbieders en gebruikers aan een aantal eisen voldoen.

Allereerst moet er een Fundamental Rights Impact Assessment worden gedaan. Dit houdt in dat vooraf in kaart wordt gebracht welke risico’s er kunnen ontstaan voor zaken als veiligheid, privacy, discriminatie en gelijke toegang tot essentiële diensten zoals zorg en onderwijs. Het doel hiervan is om al vóór gebruik bewust te zijn van de mogelijke effecten op mensen en maatschappij.

Daarnaast moet er een risicomanagementsysteem worden ingericht. Dit systeem zorgt ervoor dat mogelijke risico’s systematisch worden geïdentificeerd, geëvalueerd, beheerd en waar mogelijk verminderd. Het gaat hierbij niet om een eenmalige check, maar om een doorlopend proces gedurende de hele levenscyclus van het AI-systeem.

Ook het gegevensbeheer is belangrijk. De datasets waarmee de AI wordt getraind en getest moeten kwalitatief goed, representatief en onbevooroordeeld zijn. Alleen dan kan worden voorkomen dat de uitkomsten oneerlijk of discriminerend zijn.

Verder geldt dat er technische documentatie beschikbaar moet zijn. Hierin staat beschreven hoe het systeem werkt en hoe gebruikers het op de juiste manier kunnen inzetten. Dit zorgt voor duidelijkheid en voorkomt verkeerd gebruik.

Daarmee hangt ook de eis van transparantie samen. Voor gebruikers moet helder zijn hoe het AI-systeem functioneert, welke beperkingen het heeft en op basis waarvan het beslissingen neemt. Bovendien moet het systeem loggen wat er precies gebeurt, zodat achteraf kan worden gecontroleerd hoe een bepaalde uitkomst tot stand is gekomen.

Een ander belangrijk vereiste is menselijk toezicht. Een hoog risico AI mag nooit volledig zelfstandig opereren zonder dat een mens kan ingrijpen. Er moet altijd iemand zijn die de werking van het systeem kan monitoren en zo nodig kan corrigeren.

Tot slot geldt er een conformiteitsbeoordeling. Dit is een beoordelingsprocedure die speciaal is ontwikkeld voor AI-systemen. Het lijkt enigszins op de bekende CE-markering, maar is meer toegespitst op de unieke risico’s van AI. Hiermee wordt gecontroleerd of het systeem daadwerkelijk voldoet aan de regels en veilig kan worden toegepast.