Steeds meer lokale overheden maken gebruik van algoritmen. Patronen zijn sneller te herkennen en burgers worden sneller geholpen. Maar bij een algoritme hoort ook verantwoordelijkheid.

Had de toeslagenaffaire zo uit de hand kunnen lopen als hij deed, als er een eerlijker algoritme was gebruikt? Misschien wel. Het geautomatiseerde systeem dat fraude bij het aanvragen van huur-, zorg- en kinderopvangtoeslag opspoorde, werkte namelijk discriminatie in de hand, oordeelde de Autoriteit Persoonsgegevens (AP) in de zomer van vorig jaar na meer dan een jaar van (zeer moeizaam) onderzoek.

De precieze achtergrond is nog steeds niet helemaal helder. Maar wat de AP zag was dat op zoek naar fraude het algoritme onder meer keek naar de tweede nationaliteit van de ontvanger. Die tweede nationaliteit is niet nodig om te weten of iemand recht heeft op een toeslag. Daarvoor hoeft alleen maar gecontroleerd te worden of iemand de Nederlandse nationaliteit heeft. Waarom dan toch ook naar de tweede nationaliteit werd gekeken? De ambtenaren die zich met de opsporing bezighielden meenden dat er een verband was tussen dit kenmerk en fraude. Deze groep zou significant veel vaker proberen het toeslagensysteem te manipuleren. Het was daarom een van de selectiecriteria om iemand extra te controleren.

Uiteindelijk leidde dat tot talloze valse beschuldigingen en onterecht ingevorderde uitkeringen. De gevolgen stortten sommige slachtoffers jarenlang in de misère en lieten een kabinet vallen. Maar was dat de ‘schuld’ van het algoritme achter het fraudedetectiesysteem?

Patronen in grote hoeveelheden data

Ja en nee. Algoritmen zijn van zichzelf objectief. Ze kijken naar grote hoeveelheden data en vinden daar patronen in. Dat maakt ze ook zo handig voor overheden en bedrijven. Voor Netflix kunnen ze op basis van kijkgedrag gebruikers redelijk adequaat films en series voorschotelen. En voor een gemeente kunnen ze binnen een handomdraai bijvoorbeeld de juiste vergunning vinden bij een bouwaanvraag of voorspellen hoe druk het gaat zijn bij de balie.

Maar al die keuzes die een algoritme maakt, zijn hem aangeleerd door de mens. En mensen zijn nooit helemaal objectief. Ze hebben vooroordelen, al dan niet bewust. Die vooroordelen komen terug in de uitkomsten van de programma’s die op basis van deze algoritmen gebouwd zijn.

Bovendien kunnen ook data gekleurd zijn. Een bekend voorbeeld daarvan zijn de algoritmen die gebruikt worden voor ‘predictive policing’, een vooral in de Verenigde Staten populaire manier om politie-inzet te verdelen over een regio op basis van data. Daarbij wordt bijvoorbeeld gekeken naar hoe vaak wordt ingebroken in een wijk en rond welke tijd. Aan de patronen die je daaruit kan destilleren, kan je vervolgens de routes van je politiepatrouilles aanpassen zodat agenten in een wijk rondrijden op een moment dat de kans groot is dat er inbrekers op pad zijn.

Dat klinkt innovatief. Je zet je agenten op die plekken en tijdstippen in, dat ze ook daadwerkelijk nodig zijn. Maar er zit ook een keerzijde aan. De data waarop het algoritme gebaseerd zijn, komen onder meer uit de rapporten van de politie zelf. Wijken waar inwoners na een inbraak niet zo snel naar de politie gaan, omdat ze bijvoorbeeld weinig vertrouwen in hen hebben, lijken zo virtueel veel veiliger dan ze in werkelijkheid zijn. Terwijl een rijke wijk met weinig inbraken maar wel veel aangiftes in de data juist als hoog risicogebied uit de bus kan komen.

Hoe bruikbaar is een oneerlijk algoritme?

Hoe bruikbaar en eerlijk is zo’n algoritme dan nog? Het is een vraag die ook de onderzoekers van Data Fryslân bezighoudt. ,,Steeds meer organisaties werken ermee. Want het heeft heel veel voordelen. Je ziet patronen die je anders niet herkent’’, vertelt Jasper Heslinga, een van de programmamanagers van de organisatie. ,,Amsterdam zet bijvoorbeeld een algoritme in om illegale verhuur aan toeristen te ontdekken. En ook in het sociaal domein zie je dat ze steeds vaker ingezet worden. Bijvoorbeeld om mensen eruit te filteren die grotere kans hebben om in de schulden te raken.’’

Tegelijkertijd ziet Heslinga dat voor veel gemeenten de toepassing van de techniek ook nieuw en lastig is. ,,Men is heel erg beducht voor de gevaren. Maar tegelijkertijd hebben ze niet helemaal goed zicht op wat die dan zijn.’’

Om overheden te helpen bij het gebruik van algoritmen liet Data Fryslân vijf studenten vanuit verschillende achtergronden binnen de minor datawise van de Campus Fryslân van de Rijksuniversiteit Groningen onderzoek doen naar eerlijke algoritmen. Ze werkten daarbij samen met het Centraal Bureau voor de Statistiek dat al langer onderzoek doet naar hoe algoritmen zo eerlijk mogelijk te maken zijn.

Ongewenste discriminatie voorkomen

De studenten keken bij hun onderzoek vooral naar ongewenste discriminatie, zoals gebeurde bij de toeslagenaffaire. Hoe kan je zoiets voorkomen?

Het is vooral een kwestie van kritisch kijken, zegt Tjardo van der West, student bedrijfseconomie. ,,Maakt het algoritme bijvoorbeeld gebruik van incomplete data? Als dat zo is, vertekent dat onbedoeld je uitkomsten.’’

,,Vooroordelen neem je op die manier onbewust mee’’, vult Matthias Kooij, student sociologie, aan. ,,Van zoiets als een tweede nationaliteit is heel duidelijk dat het een variabele is die direct discriminatie in de hand werkt. Maar zoiets kan ook indirect gebeuren als je bijvoorbeeld postcodes meeneemt. Bijvoorbeeld als je te maken hebt met sterk gesegregeerde wijken.’’

Hun onderzoek leidde tot een lijst gevoelige kenmerken met daarop onder meer geslacht, ras en leeftijd. Maar ook een technische checklist om bij het bouwen van de software de vinger aan de pols te houden.

,,Werken met een algoritme is een continu proces’’, zegt Kooij erover. ,,Je zult telkens het algoritme moeten blijven controleren. Als je te maken hebt met demografische ontwikkelingen, dan zal je dat in de techniek ook aan moeten passen.’’

Het bouwen van de techniek moet om die reden ook niet alleen de verantwoordelijkheid zijn van de data-afdeling, menen de studenten. ,,Het is heel belangrijk om de discussie te voeren’’, zegt Kooij. ,,Het gaat er niet alleen om dat het algoritme goed werkt maar ook dat het ethisch is.’’ Van der West: ,,Als je er met een multidisciplinair team aan werkt, deel je ook samen de verantwoordelijkheid.’’

De checklist die ze maakten, kan op enthousiasme rekenen van gemeenten. ,,We hebben hem besproken met de gemeente Groningen dat een project heeft lopen om algoritmen in te zetten voor fraudebestrijding’’, vertelt Van der West. ,,Zij waren erg enthousiast. Volgens hen was het denken over de ontwikkeling van het algoritme met de checklist veel sneller gegaan dan nu het geval was. Mogelijk hadden ze dan een half jaar sneller gekund.’’ Al is de lijst ook niet heilig. Kooij: ,,De checklist is heel handig maar niet waterdicht. Hij zet je vooral aan het denken en daar moet je wat mee.’’

Voorzichtigheid bij ontwikkelen

Ze merken dat gemeenten voorzichtig zijn met het ontwikkelen van algoritmen. Ook omdat bij het grote publiek de nodige scepsis leeft. Heslinga van Data Fryslân denkt dat die alleen weg te nemen is als overheden transparant zijn over de techniek en de keuzes erachter. ,,Transparantie is heel erg belangrijk. Anders krijg je ook geen draagvlak.’’

Daarbij gaat het niet om het delen van alle technische keuzes maar wel om openheid over de morele afwegingen die gemaakt zijn. Van der West: ,,Een van de vragen in onze checklist gaat over wat wij het ‘social impact statement’ noemen, welke gevolgen heeft dit systeem voor de burger? Dat moet je uit kunnen leggen. Je moet antwoord hebben op vragen als: Wie is er verantwoordelijk als burgers schade ondervinden? En hoe zeker zijn de beslissingen van het algoritme? En wie heeft er mogelijk voordeel of nadeel bij?’’

Het vraagt om veel denkwerk. Toch zijn zowel Heslinga als Kooij en Van der West ervan overtuigd dat algoritmen een steeds belangrijkere rol zullen gaan spelen binnen de overheid. Van der West: ,,Simpelweg omdat het zo efficiënt is.’’

‘De computer mag nooit het oordeel geven’

Súdwest-Fryslân is een van de gemeenten in Friesland die algoritmen gebruikt om de dienstverlening te verbeteren. Hoeveel algoritmen de gemeente precies heeft, vindt Jan-Daem de Langen, programmamanager datagedreven werken, lastig te zeggen. ,,Het is ook maar net wat je onder een algoritme verstaat. Als je breed kijkt gebruikt elke gemeente er tientallen.’’

Het gaat dan bijvoorbeeld om systemen die automatisch bellers naar het juiste loket leiden, in grondregisters zoeken naar stukjes sprokkelgroen of het bezoek op de website monitoren. Volgens De Langen zijn dat standaard toepassingen.

Algoritmen worden ook gebruikt om onregelmatigheden te signaleren. Súdwest-Fryslân gebruikt ze daarbij voor het opsporen van fraude. De gemeente gebruikt daarvoor een standaardsysteem van een externe leverancier dat met enige regelmaat een lijst met mogelijke onregelmatigheden produceert. ,,Voor ons is dat reden om te kijken of er ook daadwerkelijk wat aan de hand is.’’

De gemeente maakt geen gebruik van voorschrijvende algoritmen, benadrukt De Langen. ,,Het mag nooit zo zijn dat we er data ingooien en de computer met een oordeel komt.’’ Naar iedere suggestie kijken dan ook sowieso twee mensen. ,,Daarmee voorkomen we willekeur.’’ Overigens heeft het algoritme vaak wel gelijk. ,,Ruwweg 80 procent van de suggesties blijkt te kloppen. Het gaat hierbij overigens niet alleen om fraude. Het kan bijvoorbeeld ook gaan om onvolledigheid of een administratieve fout.”

Als gemeente zijn we verplicht om fraude op te sporen. Daarvoor gebruiken wij standaard software, waar meer gemeentes gebruik van maken. Om de algoritmen te verbeteren zijn wij in overleg met de leverancier. Op die manier hopen we te komen tot een nog hoger percentage aan juiste suggesties over onregelmatigheden.

Je kunt deze onderwerpen volgen
Friesland
Tech
Plus artikel gelezen
Je las zojuist een artikel.
Onbeperkt PREMIUM-artikelen lezen?

Lees nu PREMIUM vanaf € 1,15 per week. Je krijgt dan onbeperkt toegang tot al onze artikelen, video’s, columns en meer.

Probeer PREMIUM direct