“Data is het nieuwe olie!” “Algoritmes zijn overal!” Er wordt veel geschreven over de vele mogelijkheden en succesvolle toepassingen van data en algoritmes. Maar naast dit veelbelovende nieuws verschijnen er ook regelmatig verontruste berichten met voorbeelden van algoritmes die discrimineren. Dit gaat om toepassingen waarbij de uitkomsten van algoritmes onterecht afhangen van iemands opleidingsniveau, inkomen, leeftijd, gender, geloof of ras, zoals bijvoorbeeld gezichtsherkenningssoftware die beter werkt bij gezichten met een witte huidskleur, politie die algoritmes inzet om misdaad te voorspellen of verzekeraars die algoritmes gebruiken om automatisch te bepalen of een claim mag worden uitbetaald. Zijn deze zorgen terecht en werkt het gebruik van algoritmes inderdaad discriminatie in de hand? Is daar iets aan te doen?
Auteur: Maaike Harbers
Een algoritme is een reeks van instructies om een taak uit te voeren of een probleem op te lossen. De term wordt vooral gebruikt om te verwijzen naar digitale algoritmes (software) en dan met name naar algoritmes gebaseerd op machine learning, een discipline binnen het vakgebied kunstmatige intelligentie. In plaats van dat mensen een reeks instructies coderen, worden machine learning-algoritmes ontwikkeld door ze te ‘trainen’ met (veel) data. Dit soort algoritmes zijn goed in herkennen, bijvoorbeeld van objecten, personen of spraak in beeld en geluid, en voorspellen, bijvoorbeeld van beurskoersen, criminaliteit of in welke series, films, berichten of producten iemand geïnteresseerd is.
Discriminatie ontstaat als een algoritme wordt getraind met vooringenomen data. Bijvoorbeeld, een algoritme dat bijstandsfraude voorspelt kan bewoners uit een bepaald postcodegebied aanmerken met een verhoogd frauderisico wanneer er in dat gebied voorheen vaker fraude is gepleegd. De data waarmee het algoritme is getraind bevat echter geen informatie over alle gevallen van fraude, maar alleen over geregistreerde fraudezaken. Wanneer in een bepaalde wijk in het verleden vaker controles zijn uitgevoerd, is de kans groter dat er in die wijk meer gevallen van fraude zijn gevonden dan in wijken waarin minder gecontroleerd is. In dat geval geven de data dus geen representatief beeld van de werkelijke situaties en ‘leert’ het algoritme van vooringenomen data. Gebruik van algoritmes kan bestaande vooringenomenheden ook nog eens versterken. Als in de wijk met verhoogd risico, op advies van het algoritme, meer controles worden uitgevoerd, zullen naar alle waarschijnlijkheid nog meer fraudegevallen gevonden worden, waardoor de bewoners in de toekomst met een nog hoger frauderisico aangemerkt zullen worden.
Ook al kan het gebruik van algoritmes (onbedoeld) tot discriminatie leiden, dat betekent niet dat we algoritmes helemaal niet meer moeten gebruiken. Juist nu er zoveel data beschikbaar is en computers krachtig genoeg zijn om daarmee om te gaan, kunnen zelflerende algoritmes veel voor de maatschappij betekenen. Zo zijn er algoritmes die beter dan artsen afwijkingen op lichaamsscans kunnen herkennen, zelfrijdende auto’s hebben de potentie om het verkeer veiliger te maken en we hebben veel baat bij algoritmes die ons helpen bij het vinden van nuttige informatie of het ontdekken van nieuwe muziek. Het niet inzetten van algoritmes zou betekenen dat we mogelijkheden mislopen die kunnen bijdragen aan het welzijn in de samenleving.
Doordat de wereld continu in verandering is, kan discriminatie door algoritmes niet volledig uitgebannen worden. Algoritmes worden getraind met data uit het verleden en een algoritme is niet in staat om nieuwe categorieën of patronen te ‘herkennen’ die het nog niet eerder gezien heeft. Het risico op discriminatie door algoritmes kan echter wel zo klein mogelijk gemaakt worden.
Verschillende partijen kunnen op verschillende manieren bijdragen aan het verkleinen van het risico op discriminatie door algoritmes. Zo zijn overheden op verschillende niveau’s beleid aan het maken dat het gebruik van algoritmes reguleert en bedrijven kunnen ervoor kiezen om alleen algoritmes te ontwikkelen of te gebruiken die aan bepaalde standaarden voldoen. Maar ook degenen die algoritmes en hun toepassingen ontwerpen en ontwikkelen kunnen bijdragen. Hieronder volgen drie aanbevelingen voor ontwerpers en ontwikkelaars van algoritmes om het risico op discriminatie door algoritmes te verkleinen.
Lees de rest van het artikel ' Discriminatievrije algoritmes ’ in het gratis magazine Nieuwe technologieën in het sociaal domein, zorg en welzijn .
Dit artikel is ook te vinden in de dossiers Privacy in de zorg en Privacy in het sociaal domein
