Gebruik algoritmes Rotterdam kan leiden tot vooringenomen uitkomsten

15-04-2021

De gemeente Rotterdam maakt ter ondersteuning van haar besluitvorming gebruik van algoritmes. Hoewel er binnen de gemeente aandacht bestaat voor het ethisch gebruik van algoritmes, is het besef van de noodzaak hiervan nog niet heel wijdverbreid. Dit kan leiden tot weinig transparantie van algoritmes en vooringenomen uitkomsten, zoals bij een algoritme gericht op de bestrijding van uitkeringsfraude. Dit en meer concludeert de Rekenkamer Rotterdam in het rapport ‘Gekleurde technologie’.

Algoritmes kunnen worden toegepast om besluitvorming sneller, doelmatiger en effectiever te laten plaatsvinden. Een voorbeeld van een algoritme dat de gemeente Rotterdam gebruikt, is het project ‘analytics uitkeringsfraude’. Dit algoritme brengt mogelijk onrechtmatige uitkeringen in kaart, op basis waarvan uitkeringsgerechtigden voor een heronderzoek kunnen worden uitgenodigd.

De verantwoordelijkheid voor dit algoritme is niet goed georganiseerd, waardoor er te weinig aandacht is voor de transparantie en de eerlijkheid van het algoritme. Zo is niet navolgbaar welke keuzes rondom ethische vraagstukken zijn gemaakt en is het voor de betrokken burger onmogelijk goed zicht te krijgen hoe het algoritme een rol speelt bij de uitnodiging voor een heronderzoek. Daarnaast is er een kans dat het algoritme, bijvoorbeeld door het gebruik van een zogeheten proxyvariabele laaggeletterdheid, tot vooringenomen uitkomsten leidt. Hiertegen zijn onvoldoende maatregelen genomen.

In bredere zin bestaat in het gemeentelijke programma Datagedreven Werken terechte aandacht voor de noodzakelijke borging van de kwaliteit en ethiek van algoritmes en is de gemeente bezig met het ontwikkelen van de juiste instrumenten. Het ontbreekt op dit moment echter nog aan een volledig overzicht van het gebruik en de aard van algoritmes (een algoritmeregister), waardoor ook niet duidelijk is welke maatregelen genomen zouden moeten worden om de ethische risico’s te beheersen.

Ook ontbreekt nog een centrale regisseur en integraal eindverantwoordelijke voor algoritmes. Er vindt onvoldoende afstemming plaats tussen bijvoorbeeld ontwikkelaars en gebruikers van algoritmes, met het risico dat de ethische principes van algoritmes worden verwaarloosd. Binnen het gehele concern bestaan nog te weinig instrumenten om de transparantie en eerlijkheid van algoritmes te waarborgen.

Ten slotte zijn er geen richtlijnen voor de evaluatie van algoritmes. Of een algoritme daadwerkelijk beter presteert dan ‘oudere en meer traditionele’ werkwijzen, wordt niet geëvalueerd. Dat geldt dus ook voor het algoritme ‘analytics uitkeringsfraude’, terwijl die juist risico’s op vooringenomen uitkomsten bevat.

De rekenkamer heeft aan het college van B en W zes aanbevelingen gedaan om de verantwoordelijkheid, transparantie en eerlijkheid van bestaande en toekomstige algoritmes te waarborgen. Het college heeft al deze aanbevelingen overgenomen.

Lees hier het rapport van de Rotterdamse rekenkamer


Bron: Rekenkamer Rotterdam

Nieuwsbrief

Blijf op de hoogte van het laatste nieuws over privacy, cybersecurity en data. Abonneer op onze gratis nieuwsbrief.

Abonneer