AlgoritmenOnderzoeksopzet

Om de bewustwording te vergroten en kennis en competenties te ontwikkelen, heeft het kernteam Algoritme mede een Jaarplan algoritme lifecycle 2023 (november 2022) opgesteld. Onder het doel ‘Bewustwording, training en opleidingen’ worden veertien verschillende activiteiten benoemd, op basis van het kennisniveau van 2022, variërend in type activiteit, omvang en doelgroep (zie kader Activiteiten bewustwording, training en opleidingen). Eerder gaf de ambtelijke organisatie in algemene zin aan dat het huidige beheerskader nog onvoldoende effectief is (december 2022). Volgens de ambtelijke organisatie is verdere bewustwording in de organisatie nodig over dat er voor algoritmen aanvullende voorwaarden gelden. Het is ook nodig dat het beheerskader verder wordt doorontwikkeld om beter aan te sluiten bij de ambtelijke praktijk en veranderende wetgeving. Het beheerskader is continu in ontwikkeling en zal in de komende jaren nog wijzigen, aldus de ambtelijke organisatie.

Ons valt op dat in het jaarplan vijf doelen worden genoemd, die qua formulering en inhoud afwijken van de zeven doelen die met het beheerskader worden beoogd. Paragraaf 2.2.4 bevat onze bevindingen over de vraag of het Amsterdamse beheerskader voldoet aan deze aanvullende normen uit de concept-AI-verordening. In de volgende paragrafen gaan we in op de aanleiding van het onderzoek, de Amsterdamse context rondom algoritmen, het doel en de onderzoeksvragen van het onderzoek, de aanpak, en tot slot de leeswijzer bij dit rapport. Tegelijk zijn er risico’s verbonden aan het gebruik van algoritmen door de overheid, zoals discriminatie. Rapport van de Auditdienst Rijk (ADR) over onderzoek naar het gebruik van algoritmen binnen de Rijksdienst.

Dit met als doel om meer grip te krijgen op en transparantie te creëren in de door Amsterdam gebruikte algoritmen. De eerste opdrachtomschrijving van dit programma (maart 2020) was om een kwaliteitsraamwerk te ontwikkelen dat ondersteunend zou zijn bij het ontwikkelen van “een samenhangend beleid voor algoritmen”. Het is belangrijk om te vermelden dat het Amsterdamse beheerskader voor algoritmen in augustus 2023 nog in ontwikkeling is, en dat de bevindingen in dit hoofdstuk daarom in dat licht gelezen zouden moeten worden. Met het Amsterdamse beheerskader voor algoritmen wil het college van B en W meer grip krijgen op de gemeentelijke algoritmen, en deze algoritmen eerlijker en transparanter maken voor de inwoners van Amsterdam.

Vertrouwen in AI – een aanpak

Er is daarom altijd sprake van menselijke tussenkomst bij het nemen van een sanctiebesluit. De kwaliteitscontrole heeft veel weg van een self-assessment en kent veel diepgang. De ambtelijke organisatie geeft aan dat het stedelijk team Algoritmen in 2023 een aanvullende controle heeft uitgevoerd op dit algoritme. Ook het inrichten van risicomanagement ten aanzien van het gebruik van algoritmen is een verantwoordelijkheid van de CIO. Jaarlijks zou de naleving van de vastgestelde uitgangspunten voor algoritmen en de naleving van de taken en verantwoordelijkheden voor het gebruik van algoritmen moeten worden gecontroleerd. In concernrapportages en in een jaarlijkse rapportage aan de raad zou over deze controles verantwoording moeten worden afgelegd.

Instrumentarium voor beheersing

In het bekende experiment van Pavlov hoort een hond een belletje en krijgt daarna eten. Na deze handeling een aantal keer te hebben herhaald, begint de hond na het horen van dezelfde bel direct te kwijlen, omdat hij verwacht dat er voer komt. Skinner voort met de theorie van ‘instrumenteel leren’, dat in plaats van onvrijwillige reflexen (kwijlen) om vrijwillig gedrag gaat. Op basis van het verzamelde onderzoeksmateriaal kan de aanpak gedurende het onderzoek worden bijgesteld.

• In het eerste onderdeel wordt de ambtelijke organisatie gevraagd om voordelen van het algoritme voor de Amsterdammer en de gemeente Amsterdam te beschrijven.
• Omdat het gemeentelijke instrumentarium nog niet zo lang bestaat, is het tot op heden slechts bij enkele algoritmen toegepast.
• En zwak, omdat bijvoorbeeld door het ontbreken van voorschriften voor de overige typen algoritmen risico’s over het hoofd kunnen worden gezien en er minder transparantie richting burgers is vereist.
• Dit zorgt voor een holistische aanpak en leidt tot beter geïnformeerde beslissingen tijdens het ontwikkelproces.
• De Rekenkamer Rotterdam concludeerde in zijn rapport Gekleurde technologie (2021) bijvoorbeeld dat er te weinig overzicht is van de toegepaste algoritmen in de organisatie.

De DPIA bevat geen uitleg bij de term profilering, bevat geen vraag of profilering is toegestaan, en bevat geen suggestie dat de betrokkenen moeten worden geïnformeerd. Het team dat verantwoordelijk is voor het algoritme Behandeling aanvraag Bbz-uitkering heeft tijdens het rekenkameronderzoek een nieuwe concept-DPIA opgesteld en heeft daarin aangegeven dat er wel sprake is van profilering. Bij het algoritme Detectie illegale onderhuur is tijdig een DPIA opgesteld en zijn nieuwe DPIA’s opgesteld naar mate het algoritme verder werd ontwikkeld en de gegevensverwerking wijzigde. Voor de overige twee algoritmen is te laat gestart met het opstellen van een DPIA. Voor het algoritme Behandeling aanvraag Bbz-uitkering is de gemeente pas nadat het algoritme al in de praktijk werd toegepast gestart met het opstellen van een DPIA.

Om goede regels te maken, is het nodig om een rangorde te maken van kansspelen van laag naar hoog risico. Daarmee kan de overheid haar beleid verbeteren, risicovolle spelelementen verbieden, en mensen beter informeren over de risico’s van verschillende kansspelen. Handhaving illegale verhuurVoor het opsporen van mogelijke illegale vakantieverhuur gebruikt de gemeente een algoritme. Dit algoritme helpt bij het prioriteren van meldingen door gegevens te analyseren en de kans in te schatten dat de woning op het gemelde adres illegaal wordt verhuurd.

Verder moet de aanvrager in Nederland wonen, ingeschreven staan bij de Kamer van Koophandel, en voor zijn levensonderhoud zijn aangewezen op het inkomen uit het bedrijf. Het is ook belangrijk om te benadrukken dat bias ook op een veelvoud aan andere manieren kan ontstaan. Beeldherkenning reclamebelastingVoor uitingen die zichtbaar zijn van de openbare weg (zoals gevelreclames, uithangborden en raamreclames) moet reclamebelasting worden betaald. Het formaat van de reclame-uiting bepaalt, naast onder andere het tarief(gebied) en de soort uiting, het bedrag dat betaald moet worden. Om de belastingen te kunnen heffen rijden er een aantal keer per jaar scanauto’s op straat. De camera’s in de scanauto’s herkennen automatisch de reclame en de oppervlakte ervan.

De data, resultaten of adviezen van een algoritme kunnen neutraal lijken, maar op grotere schaal kunnen ze onwenselijke systematische afwijkingen (bias) en ongelijkheden produceren. Het is daarom belangrijk om de adviezen en/of de informatie die voortkomen uit algoritmen uitgebreid op kwalitatieve en kwantitatieve wijze te toetsen op bias (zie ook paragraaf 3.3.1). De directeur, respectievelijk de dagelijks bestuurder, moet volgens het beheerskader een expliciete afweging maken over de openbaarheid van informatie richting burgers. De informatiecommissaris is verantwoordelijk voor het interne toezicht op het ‘openbaar tenzij principe’. Dit principe houdt in dat het model (code en werking) en de data in principe openbaar zijn. BeoordelingWe zien dat er in het beheerskader voldoende aandacht is voor een blijvende goede werking van het algoritme; ook bij inkoop is dat het geval.

We gaan na of dit instrumentarium de verantwoorde toepassing van algoritmen in Amsterdam bevordert. Dit doen we door het instrumentarium op hoofdlijnen te toetsen aan meerdere (nog te selecteren) erkende normenkaders en richtlijnen, zoals het kader van de Algemene Rekenkamer of de Code Goed Digitaal Openbaar Bestuur en de aankomende Europese verordening inzake AI. Bij onze beoordeling betrekken wij ook de Beoordeling stedelijk beheersingskader voor Algoritmen (februari 2022) van de afdeling Internal Audit en beleidsonderzoek van de gemeente Amsterdam.

Het vullen van het landelijke register gaat, net als bij het Amsterdamse register, vrij langzaam, zo blijkt uit de berichtgeving van Tweakers (22 mei 2023) en de NOS (18 juni 2023). Door de tijd heen verschilt de ambitie over de snelheid van het ‘vullen’ van het algoritmeregister. In november 2022 beoogt de ambtelijke organisatie eind 2023 zestig algoritmen volledig (maximaal transparant) te hebben beschreven en honderd algoritmen in algemene zin te hebben beschreven. In januari 2023 heeft de wethouder Digitale Stad, in lijn met het ambtelijk plan van aanpak, toegezegd dat in het eerste kwartaal van 2023 zo’n dertig algoritmen gepubliceerd zouden zijn. In april 2023 verwachten de CIO en directeur DS&I dat vóór de zomer alle algoritmen zouden zijn geïnventariseerd, en dat eind 2023 alle algoritmen in het register zullen staan. Het algoritmeregister bevat in september 2023 negentwintig algoritmen (zie figuur 2.5).

Onderzoeksverantwoording

Deze controle dient voor algoritmen met een hoog risico in ieder geval te worden uitgevoerd voordat het algoritme in productie wordt genomen. De CIO van Amsterdam is verantwoordelijk voor het vergroten van de bewustwording, kennisontwikkeling en competenties, en het laten verzorgen van opleidingen van medewerkers van de gemeente Amsterdam op het gebied van het beleid voor algoritmen, ethiek en het gebruik van algoritmen. Het gaat daarbij om medewerkers die binnen de gemeente Amsterdam werken aan digitalisering (het ‘I-domein’).

Algoritmes zijn net als blockchain en robotic process automation (RPA) een nieuwe techniek waar veel aandacht vanuit de media voor is. Maar wat doet een algoritme, welke risico’s kleven eraan en hoe toets je de effectiviteit? Miranda Pirkovski, strategisch onderzoeker bij de Algemene Rekenkamer, geeft haar visie.

Onderdeel van dit perspectief is het ethische principe dat de privacy van de betrokkene is gewaarborgd en dat de data die door het algoritme worden gebruikt of worden gemaakt, zijn beschermd (ethisch principe 2.1 en 2.2; zie ook paragraaf 2.5). Aan de andere kant kan een dergelijke kwalitatieve analyse bias niet altijd voldoende uitsluiten. Verdachte kenmerken die – zelfs na kwalitatieve analyse van het kenmerk – onschuldig lijken, kunnen alsnog in de praktijk bias opleveren in de selecties. Dergelijke biases kunnen worden opgespoord door middel van kwantitatieve analyse, zoals beschreven in het Amsterdamse Fairness Handbook. Aan de ene kant heeft het voorprogrammeren van verdachte kenmerken het voordeel dat het de mogelijkheid biedt om stil te staan bij wat men als ‘verdacht’ ziet en waarom. Dan is het ook mogelijk om na te gaan of dit wel door de beugel kan in de vorm van een kwalitatieve analyse, waarbij de verdachte kenmerken een voor een tegen het licht worden gehouden vanuit bijvoorbeeld juridische of ethische perspectieven.

Definitie uit het algoritmeregister komt het meest overeen met die van het RijkTussen de definities van de ambtelijke organisatie zijn enkele verschillen en gelijkenissen te bemerken. De definities verschillen op de methode die het algoritme gebruikt, de vorm van de uitkomst van het algoritme, https://evacuatiekaboel.nl/ de mate van geautomatiseerd handelen en de reikwijdte van de impact van het algoritme. Deze doelstellingen zien wij niet een-op-een terug in de zeven instrumenten van het beheerskader. Daarnaast zijn in het document Jaarplan 2023 Algoritme Lifecycle de te realiseren doelen, de daarvoor te ondernemen activiteiten en de beoogde resultaten voor beschreven.

Hoe Amsterdam algoritmen beter kan toepassen

Bernd Figner, Harmen Beurmanjer, en Zhang Chen (Universiteit Gent) leiden een onderzoek naar een nieuw hulpmiddel voor het vroeg herkennen van risicovol gokgedrag. Ze ontwikkelen en testen een online screeningstool om schade door gokken in een vroeg stadium te signaleren en hopelijk te voorkomen. De onderzoekers (BSI, Radboud UMC, en anderen) combineren kennis uit fundamenteel en toegepast onderzoek, verslavingszorg en persoonlijke ervaringen met gokken. Fontys heeft een promotiebeleid met het doel het aantal promovendi fors te verhogen. De komende jaren komen steeds tien promotiebeurzen beschikbaar voor medewerkers.

Leerkrachten maken zich zorgen dat de informatie die hun leerlingen zien eenzijdig is, en invloed heeft op hun meningsvorming op een manier die onwenselijk kan zijn. Ten slotte wordt het als nuttig geacht om voorafgaand aan het ontwikkelen of inkopen van een algoritme een kosten-batenanalyse te maken. Daarbij zouden de potentiële voor- en nadelen van het algoritme geëvalueerd en tegen elkaar afgewogen moeten worden, om tot een beslissing te komen over de ontwikkeling en inkoop van een algoritme.

In september 2023 heeft de ambtelijke organisatie laten weten dat deze sessie inmiddels heeft plaatsgevonden. Twee processen die een algoritme bevatten worden uitgewerkt, zodat ze kunnen worden opgenomen in het algoritmeregister. Afhankelijk van de aanwezige algoritmen die deel uitmaken van een dashboard zal hierna het algoritmeregister verder worden uitgebreid. Daarnaast gelden strenge criteria voor opname van een algoritme in het register. Een algoritme moet volgens de handleiding van het algoritmeregister pas geregistreerd worden op het moment dat het algoritme in gebruik wordt genomen.

Voor dit laatste algoritme geldt dat nog niet alle voorgeschreven informatiecategorieën zijn beschreven (zie paragraaf 2.8.1). De ambtelijke organisatie heeft eind augustus 2023 aangegeven dat het algoritme Detectie illegale passagiersvaart aan het algoritmeregister zal worden toegevoegd zodra de DPIA is afgerond. Het is positief dat in de handreiking het belang van ambtshalve aandacht in bezwaar voor geautomatiseerde besluitvorming wordt benadrukt. Bovendien wordt hiermee concreet invulling gegeven aan de menselijke tussenkomst die in bezwaar plaatsvindt.

Een andere belangrijke reden voor afhankelijkheid kan voorkomen omdat een deel van de voor het algoritme benodigde data in handen is van andere partijen dan de gemeente, aldus de ambtelijke organisatie. Daarnaast wordt bij het algoritme Behandeling aanvraag Bbz-uitkering een verwerkersovereenkomst van de externe partij gehanteerd, waarvan niet is vastgesteld of deze overeenkomt met de standaard Amsterdamse verwerkersovereenkomst. Dit roept bij ons de vraag op of het college haar verantwoordelijkheden als verwerkingsverantwoordelijke in de zin van de AVG waar kan maken. Op het thema sturing en verantwoording zien wij vier rode draden (zie paragrafen 3.2.1 tot en met 3.2.4).

Daarnaast onderzoeken we een aantal casussen (individuele algoritmen), om op microniveau oordeel te kunnen geven over de verantwoorde toepassing van algoritmen in Amsterdam. We werken met een selectieve steekproef van algoritmen en de uitspraken op microniveau zijn daarom niet generaliseerbaar voor alle algoritmen die de gemeente Amsterdam gebruikt. Wel verwachten wij dat de analyse leidt tot enkele algoritme-overstijgende bevindingen. Samen bieden de oordelen op macro- en microniveau de basis om de centrale onderzoeksvraag te beantwoorden. We willen weten in hoeverre algoritmen in Amsterdam verantwoord worden toegepast.

De Nationale ombudsman (2021) benoemt als randvoorwaarden bij het gebruik van algoritmen door overheden dat de grondrechten en ethische normen van burgers gewaarborgd moeten blijven. Het gebruik van algoritmen moet daarbij duidelijk, toegankelijk en oplossingsgericht zijn. Ambtelijke verantwoordelijkheden voor het stelsel geregeldDe Chief Information Officer (CIO) is de belangrijkste actor binnen de ambtelijke organisatie. De Chief Information Security Officer (CISO) is verantwoordelijk voor de ontwikkeling en naleving van het informatiebeveiligingsbeleid bij de toepassing van algoritmen. De Informatiecommissaris (IC) is verantwoordelijk voor het toezicht dat informatie over algoritmen openbaar wordt gemaakt, binnen het uitgangspunt openbaar, tenzij. De directeur Digitalisering & CTO  is verantwoordelijk voor juiste registratie van alle vereiste informatie en documentatie over het algoritmische systeem.