De Wetenschappelijke Raad voor het Regeringsbeleid (WRR) werkt momenteel aan een rapport over kunstmatige intelligentie, ook wel AI, en publieke waarden.
Daarnaast heeft de WRR de afgelopen jaren verschillende publicaties geschreven die (mede) over het gebruik van nieuwe technologieën gaan, zoals voorbereiden op Digitale Ontwrichting (2019), Veiligheid in een wereld van verbindingen (2017), Big Data in een vrije en veilige samenleving (2016), iOverheid (2011) en Het betere werk (2020). Vanuit de WRR-expertise over nieuwe technologieën leveren wij in dit position paper een korte bijdrage aan het Tweede Kamerdebat over de introductie van een corona-app.
Als startpunt is het belangrijk op te merken dat nieuwe digitale technologieën de samenleving veel voordelen kunnen brengen. Ook tijdens de coronacrisis is de waarde daarvan gebleken. Voorbeelden zijn de snelle informatievoorziening, video-conferencing software, online leeromgevingen en bezorgdiensten. Dat de regering door middel van een app wil proberen digitale technologie verder in te zetten bij de bestrijding van de coronacrisis is op zichzelf dan ook heel begrijpelijk. Maar het is ook belangrijk daar kritisch naar te kijken.
Cruciaal is dat een zorgvuldig proces in acht wordt genomen. In het bijzonder zijn er twee grote gevaren. Ten eerste is er het risico dat gehaast beslissingen worden genomen die op de lange termijn gevolgen hebben die dan moeilijker te verhelpen zijn dan wanneer ze aan het begin zorgvuldig overwogen worden, en die geen ruimte meer laat voor een alternatieve aanpak. Het tweede probleem is dat onvoldoende aandacht wordt besteed aan de inbedding in de sociale en technologische context. Wij lichten beide punten toe.
In een vroeg stadium wordt een nieuwe technologie vaak onvoldoende gereguleerd, omdat er veel optimisme is en er nog veel onzekerheid is over de werking en gevolgen ervan. In een later stadium is het echter moeilijk om het te reguleren, omdat belangrijke beslissingen al zijn genomen en er vaak machtsstructuren zijn ontstaan die verandering moeilijk maken (het Collingridge-dilemma).
Het is bij een ingrijpende technologie dan ook van het grootste belang om vroegtijdig zoveel mogelijk valkuilen te identificeren, zoals:
Afhankelijkheid van de ontwikkelaar. Bekend is dat grote technologiebedrijven ook aan een corona app werken (denk aan de samenwerking tussen Google en Apple). Rondom veel hedendaagse technologie speelt nu al de vraag naar afhankelijkheid van sterke buitenlandse spelers. Met deze gezondheidsdata is dit vraagstuk nog nijpender.
De relatie publiek-private belangen. Naast de geografische dimensie speelt ook de vraag naar het type ontwikkelaar. Omdat het een publiek vraagstuk betreft is het belangrijk om vroeg stil te staan bij de vraag wat de effecten kunnen zijn van een vermenging met een commerciële logica, en daar heldere begrenzingen aan te stellen.
Mission creep. Veel technologieën worden ontwikkeld voor een bepaald doel, maar ontwikkelen nieuwe toepassingen wanneer zij eenmaal geïnstalleerd zijn. Het betreft in dit geval een app voor een specifieke crisissituatie en het doel van de app, van de gegenereerde data en de duur van het gebruik ervan moet daarmee helder afgebakend zijn. Het lijkt erop dat coronamaatregelen voor de langere duur zijn in de anderhalve- metersamenleving. Het gevaar dreigt dan van gewenning, en vervolgens ook van verschuiving van doelen. Daarom is het van belang vooraf te definiëren waar de app niet dan wel nooit voor bedoeld kan zijn.
Democratische controle. Een te gehaast proces kan dergelijke controle, ook achteraf, moeilijk maken. Onvoldoende zorg voor randvoorwaarden wat betreft de applicatie, het ontwikkeltraject en de broncode kan in een later stadium een obstakel zijn voor een geïnformeerd parlementaire debat.
Voortijding negeren van alternatieven. Door snel te kiezen voor een app kunnen ook alternatieven die mogelijk beter zijn voortijdig worden genegeerd. De premier van Nieuw-Zeeland, bijvoorbeeld, heeft alle burgers gevraagd een dagboek bij te houden met de contacten die ze elke dag onderhouden, om te kunnen gebruiken bij contactonderzoek. En Massachusetts, schreef The New York Times, ‘is the first state to invest in an ambitious contact-tracing program, budgeting $44 million to hire 1,000 people’ (16 april 2020). We kunnen niet beoordelen of dit ook voor ons land goede ideeën zijn en weten niet of dit soort varianten in het OMT of de regering overwogen zijn.
Risicovol aan gehaaste beslissingen is, tot slot, ook dat zij verkeerde verwachtingen wekken. Alhoewel een appathon een veelgebruikte methode is om ideeën te genereren, is het slechts een rudimentaire stap in een groter proces. De uitkomst van veel appathons/hackatons wordt dan ook vaak voorgesteld als ‘vaporware’: grote aankondigingen van technologieën die nooit ontwikkeld zullen worden of vooralsnog technisch niet haalbaar zijn.
Een andere verkeerde verwachting die door een gehaast proces kan ontstaan is het idee dat er een keuze gemaakt moet worden tussen langer thuis zitten en weer de straat op kunnen onder voorwaarde dat burgers hun data prijsgeven. Dit is een vals dilemma.
Een tweede vaak voorkomend probleem is dat technologieën in isolatie als oplossing worden beschouwd zonder voldoende rekening te houden met de context waarin zij geplaatst moeten worden. Zonder die contextualisering kunnen grote problemen ontstaan.
Het gaat ten eerste over de technologische context. Een app is afhankelijk van een set aan ondersteunende technologieën om goed te kunnen functioneren. In dit geval is een breed verspreid gebruik van smartphones vereist, en dat is – zeker bij oudere en minder vermogende doelgroepen – niet vanzelfsprekend. Er zijn voldoende gebruikers van de app nodig om netwerkeffecten te generen. Een goed-dekkend communicatienetwerk is ook van belang, wat juist in drukbezochte gebouwen een probleem kan zijn. Bluetooth is een veelgenoemde ondersteunende technologie voor de geplande app, en daar speelt o.a. de vraag of nabijheid een adequate representatie is van besmettingsgevaar (denk aan het voorbeeld van een buur die achter een muur minder dan een meter afstand kan hebben). Zelfs als een app naar behoren functioneert, kan onvoldoende aandacht voor deze technologische context het functioneren daarvan ondermijnen.
Naast de technologische is ook de maatschappelijke inbedding in de sociale context van groot belang wat verschillende dimensies kent:
Juridisch. Het gaat o.a. om de juridische context. In verschillende fora is aandacht gevraagd voor privacy, keuzevrijheid en de gevaren van profilering van burgers. Wanneer de App bovendien niet voldoende nuttig blijkt is het mogelijk dat een gerechtvaardigd belang van het willen opsporen van besmettingsgevallen zich niet verhoudt tot de inbreuk die daarmee wordt gemaakt op de privacy van burgers
Vertrouwen. Een gevaar is dat mensen blind gaan vertrouwen op de werking van een technologie, waardoor burgers zich roekelozer gaan gedragen. Een bekend voorbeeld hiervan is Tesla’s zogenaamde Autopilot-functie. In de gebruiksaanwijzing staat dat de bestuurder hierbij verantwoordelijk blijft voor het besturen, maar veel bestuurders handelen daar niet naar, met verschillende ongelukken tot gevolg. Ook de corona app waar nu sprake van is, mag geen vervanging worden van gezond verstand, en juiste communicatie is van het grootste belang.
Bedrog. Rekening houden met de context van menselijk gedrag houdt ook in dat de mogelijkheid van bedrog serieus wordt genomen: mensen die elkaars telefoon gebruiken, de telefoon bewust thuis laten liggen, of de grenzen van de app willen verkennen.
Macht. Hoewel gecommuniceerd is dat de overheid de app niet verplicht, bestaat het risico dat partijen als werkgevers of vervoersorganisaties installatie van de app als voorwaarde voor toegang gaan inzetten, waarmee de weg geopend wordt naar ‘zachte dwang’, misbruik van machtsposities en ongelijkheid van mogelijkheden.
Samenvattend zijn grote voorzichtigheid en zorgvuldigheid geboden bij de eventuele introductie van een ingrijpende nieuwe technologie. Gewaakt dient te worden voor wat wel ‘techno-optimisme’, ‘techno-chauvinisme’ of ‘techno-solutionisme’ genoemd wordt: het idee dat de introductie van een nieuwe technologie op zichzelf een oplossing kan bieden voor complexe weerbarstige maatschappelijke vraagstukken. Er zijn veel voorbeelden van projecten waarbij dit tot zeer problematische gevolgen heeft geleid.
Deze publicatie is ook te vinden in het dossier Digitale transformatie
