Is de slimme overheid een discriminerende overheid?

De overheid probeert steeds slimmer en efficiënter te worden door digitale middelen en algoritmes te gebruiken. Maar is dat wel te verenigen met de verantwoordelijkheid om een eerlijke, inclusieve en rechtvaardige samenleving te beschermen? Algoritmes blijken voorlopig de bestaande vooroordelen, discriminatie en ongelijkheid te versterken. Een echt slimme overheid kent haar eigen zwakke plekken en die van de burgers. Daarom is het verstandig voorlopig weg te blijven van slimme algoritmen en iedereen “ouderwets” volgens dezelfde procedures te behandelen.

Dit artikel verscheen in editie 21 (juli 2020) van Publiek Denken, tijdschrift voor de publieke sector. Afbeelding uit PD21 door Dimitry de Bruin.

De ‘slimme’ overheid?

Uit ervaring is gebleken dat mensen die ooit in het buitenland hebben gewoond of een dubbele nationaliteit hebben, meer fouten maken bij het aanvragen van subsidies en het invullen van belastingformulieren.
Met deze indicatie kan de Nederlandse Belastingdienst gerichter controleren op fouten en fraude, iets waar de Kamer steeds meer om vraagt.

Is een onafhankelijke, inclusieve, niet discriminerende overheid wel te verenigen met de huidige kunstmatige intelligentie en algoritmes?

Bij de ontwikkeling van chatbots, waarmee je met de computer kunt praten, zijn Chinese onderzoekers erachter gekomen dat de virtuele assistenten betrouwbaarder worden gevonden als ze een mannenstem hebben en formele taal gebruiken met af en toe wat moeilijke woorden. Diverse overheden willen dit soort assistenten inzetten om burgers te helpen bij het invullen van formuleren voor het doen van aanvragen, als klantenservice of zelfs als digitale arts.

De Amerikaanse stad Baltimore en de staat Pennsylvania gebruiken software die misdaad kan voorspellen zodat ze gericht politieagenten in kunnen zetten. De voorspellingen zijn gebaseerd op historische misdaadcijfers, etnische samenstelling en het aantal personen met een strafblad. Na experimenten in Den Haag en Amsterdam, werkt de Nationale Politie sinds 2017 met een Criminaliteits Anticipatie Systeem
(CAS). Dit systeem ontdekt patronen uit meerdere jaren misdaadgegevens over fietsendiefstallen, inbraken, zakkenrollerij en autokraken.

Dit zijn drie heel concrete voorbeelden van “de slimme overheid”, die gebruikmaakt van digitale middelen zoals data en kunstmatige intelligentie, om haar werk efficiënt en klantgericht uit te voeren. Met minder agenten, belastinginspecteurs en andere ambtenaren, werden meer gevallen van fraude en criminaliteit opgespoord.

Slimme’ algoritmes

Het gebruik van slimme algoritmes en zelflerende computersystemen past helemaal bij deze tijd van digitalisering en personalisering. Bedrijven passen profilering op grote schaal toe en burgers verwachten een efficiënte overheid die hen persoonlijk en op maat aanspreekt. Toch is het gebruik van algoritmes in de praktijk niet zozeer een technologische uitdaging, maar een maatschappelijke en culturele. Het profileren, het “handig” gebruikmaken van wat de geschiedenis ons leert en persoonlijke dienstverlening op maat, kan bijna ongemerkt overgaan in discriminatie.

Dat is vrijwel onvermijdelijk wanneer de intelligente systemen gevoed worden met historische data, zoals gebeurt bij een veelgebruikte vorm van kunstmatige intelligentie, de zogeheten machine learning: de computer ontdekt patronen in grote hoeveelheden gegevens. Handig als je robots wilt leren om veelvoorkomende handelingen van mensen na te doen en niet zo problematisch als algoritmes bepalen welke reclames er bij websites getoond worden. Maar het wordt venijnig zodra er ingrijpende consequenties aan de data en profielen worden verbonden, zoals de hoogte van een te betalen premie, de pakkans, of je kans op een baan.

Discriminatie en vooroordelen

Hierbij loop je tegen het fundamentele probleem aan dat je altijd gebruikmaakt van oude gevallen en historische data, die verzameld en gecategoriseerd zijn op basis van oud beleid en systemen die vol zitten met onze menselijke beperkingen zoals de neiging tot vooroordelen en discrimineren.

We geven graag de algoritmes de schuld maar eigenlijk zijn die niet meer dan een weerspiegeling van de discriminatie die diep in onze samenlevingen zit.

De misstanden bij de Belastingdienst bij het opsporen van uitkeringsfraude trof zo onevenredig veel Nederlanders met een migratieachtergrond en lagere inkomens. Retailgigant Amazon kwam erachter dat er bij het rekruteren per computer steeds blanke mannen als meest geschikte kandidaat kwamen bovendrijven. De software zocht naar gelijkenissen tussen kandidaten en bestaande en succesvolle medewerkers van het bedrijf: met een meerderheid aan blanke mannen wees de software vrijwel nooit een gekleurde vrouw als geschikte kandidaat aan.
Door kunstmatige intelligentie te gebruiken loopt de overheid het risico dat ze de bestaande systematische maat- schappelijke vooroordelen efficiënt automatiseert in ondoorzichtige compu- tersystemen en daarmee versterkt. Bovendien geven dit soort systemen de overheid weinig houvast om toekomst- gericht te werken bijvoorbeeld in het nastreven van maatschappelijke gelijk- heid van vrouwen of nieuwe duurzame ondernemersvormen.

Morele machines

Dit probleem is niet op te lossen met algemene richtlijnen opgesteld door een ethische toetsingscommissie. Het kritisch toetsen van de uitvoeringspraktijk, zowel de gebruikte technologie als de organisatiecultuur (het systeem), wordt steeds belangrijker. Ondanks de druk op financiële middelen om de overheid efficiënter te maken, zou het gebruik van slimme algoritmes alleen moeten worden toegestaan als dat verantwoord kan. Misschien moet onze hoop daarom gevestigd zijn op een meer geavanceerde vorm van kunstmatige intelligentie, de deep learning: computersystemen en algoritmes die op basis van heel veel ervaringen en eigen waarnemingen tot eigen unieke inzichten komen en kennis opbouwen over de wereld om zich heen. Dat gaat dus verder dan patroonherkenning.

Een slimme overheid is (voorlopig) een ‘traditionele’ overheid

In potentie zouden hier systemen uit kunnen komen die moreel en cognitief superieur zijn aan de mens. De ontwikkeling van dit soort systemen is begonnen maar krachtige toepassingen door de overheid, zoals rechtsprekende computers, laten naar verwachting nog minstens twintig jaar op zich wachten.

In de sciencefictiontelevisieserie Westworld zien we hoe zo’n samenleving eruit kan zien, met intelligente humanoïde robots die niet van mensen zijn te onderscheiden. Deze robots komen er echter achter dat het oorspronkelijke ideaal, zo menselijk mogelijk zijn, verre van nastrevenswaardig is vanwege de “verdorvenheden” van de menselijke aard. Uiteindelijk stijgen zij hierboven uit maar krijgen te maken met de mens die zijn controle over de robots terug wil. (In de serie gaat dit gepaard met veel geweld en slachtoffers).

Eerlijk, inclusief en rechtvaardig

Het toepassen van slimme zelflerende algoritmes kan er dus toe leiden dat bestaande vooroordelen en discriminatie in systemen geprogrammeerd worden of dat we systemen bouwen die we uiteindelijk niet meer kunnen begrijpen en controleren. Hoe kan de overheid dan zorgen dat het toepassen van slimme algoritmes zorgt voor een eerlijke en rechtvaardige samenleving? Hoe kunnen we de mensheid en onze samenleving dan toch naar een hoger niveau tillen? Voor we een goed antwoord op deze vragen hebben moet de overheid durven om voorlopig bewust niet “intelligent”
te handelen. Zonder willekeur, waarbij iedereen een gelijke kans krijgt. Dat wil zeggen: een overheid zoals die vroeger was en die iedereen volgens dezelfde procedures en gelijkheidsbeginsels behandelt. Een overheid die haar eigen (en de menselijke) zwakke plekken kent. Dat is pas een echt slimme overheid.