Verslag van de vergadering van 21 maart 2023 (2022/2023 nr. 23)
Status: gecorrigeerd
Aanvang: 15.06 uur
De heer Verkerk i (ChristenUnie):
Voorzitter. Als eerste: ik spreek ook namens de SGP. Lord of the Rings, het meesterwerk van Tolkien, gaat over de strijd tegen het kwaad. Het kwaad komt naar voren in de persoon van Sauron, een duistere heer die probeert om de hele werkelijkheid in zijn macht te krijgen. Hij heeft die macht samengebald in een aantal magische ringen, waarvan er één beslissend is. En Frodo, een hobbit, heeft de meest beslissende ring in zijn bezit. Het bijzondere is dat alleen Frodo, of alleen hobbits, die ring kunnen dragen zonder zelf in de macht van het kwaad te komen. Daarom moet Frodo die ring naar de Doemberg brengen, zodat die vernietigd kan worden. Dan is ook de macht van Sauron gebroken. Gedurende zijn tocht bezoekt Frodo de machtige elfenkoningin Galadriel. Zij nodigt Frodo uit om in haar spiegel te kijken, een spiegel die kan terugkijken in het verleden, die in het heden kan kijken, en die ook de toekomst kan openbaren. Frodo kijkt en ziet dat hem en zijn makkers de meest vreselijke dingen overkomen. Hij is er kapot van. Galadriel legt uit dat die dingen gaan gebeuren als Frodo faalt in zijn taak om de ring te vernietigen. Frodo voelt zich niet in staat tot die taak, en biedt de ring aan Galadriel aan. De almachtige elfenkoningin voelt de verleiding om met die ring nog veel meer macht te krijgen, zo veel macht dat zij Sauron zou kunnen overwinnen. En ze staat op een existentiële tweesprong: pakt ze de ring om de macht van het kwaad met diezelfde macht te bestrijden, of beseft zij dat als zij die ring aanneemt, zij uiteindelijk zelf onder de macht van Sauron komt, en alles zal vernietigen?
Voorzitter. Tolkien snijdt in deze scene twee belangrijke dingen aan. De eerste vraag is: welke middelen zijn geoorloofd in de strijd tegen het kwaad? En de tweede vraag is: wat doet de macht om het kwaad te bestrijden met degene die het kwaad bestrijdt? Kan het gebeuren dat die in de macht van het kwaad komt? Het debat gaat vandaag over algoritmische besluitvorming bij de overheid. Uiteindelijk gaat het om de vraag of het gebruik van dit soort technologieën door overheden leidt tot bloei van de samenleving en ook tot bloei van de individuele burger. En of deze technologieën ook leiden tot een versterking van de rechtsstaat. Dit zijn twee elementen die steeds zullen terugkomen in mijn bijdrage.
Voorzitter. Bij het voorbereiden van dit debat werd ik geconfronteerd met de complexiteit van het onderwerp. Ik vroeg me af, als je denkt in Wpg-termen, zou dit debat niet de eerste tranche moeten zijn? Ik dacht ook aan de opmerking van Arjan Widlak van de Kafkabrigade, die stelde dat het lastig is om een beknopt beeld te geven van de digitale overheid als geheel. In ieder geval vormen de twee vragen van Tolkien in mijn bijdrage, mede namens de SGP, een rode draad.
Voorzitter. Ik begin met enkele fundamentele vragen die ten grondslag liggen aan algoritmes. De eerste fundamentele vraag is: wat voor soort model ligt daaraan ten grondslag? Er zijn namelijk meerdere modellen. Het kunnen beschrijvende modellen zijn, het kunnen verklarende modellen zijn, maar het kunnen ook kansenmodellen zijn. Bij fraudebestrijding — ik denk bijvoorbeeld aan het systeem SyRI en vergelijkbare programma's — wordt gebruik gemaakt van een kansenmodel. Dit soort modellen hebben een fundamenteel probleem. Ze kunnen namelijk geen uitspraak doen over individuele burgers, maar alleen over een groot cohort burgers. Een tweede fundamentele vraag is welke databronnen er gebruikt worden. Leiden deze bronnen misschien tot ongewenste profilering? Een derde fundamentele vraag is hoe we omgaan met het gegeven, of gewoon met het feit dat ontwikkelaars modellen ontwikkelen die hun eigen vooroordelen, ethiek en wereldbeeld weerspiegelen. Een vierde fundamentele vraag is hoe de wetsteksten vertaald worden naar concrete beslisregels. Meestal zullen data-analisten en computerprogrammeurs dat doen, maar kunnen zij omgaan met open normen, met brede kaders, met ambiguïteiten en met tegenstrijdigheden. Ten slotte, ook heel fundamenteel: overvragen we AI niet? Begrijpt AI wat de rechtsstaat is? Begrijpt AI wat de bloei van de samenleving is? En begrijpt AI de pijn van slachtoffers van AI-systemen? De vraag stellen is hem beantwoorden. Liggen hier dan ook niet geweldige beperkingen?
Ik wil aan de staatssecretaris vragen of zij op elk van deze fundamentele vragen apart kan antwoorden en wel vanuit het perspectief van de bloei van de samenleving en het perspectief van de versterking van de rechtsstaat.
Voorzitter. De bovengenoemde vragen leiden ook tot allerlei rechtsstatelijke overwegingen met betrekking tot de trias politica, het legaliteitsbeginsel en het handelingsvermogen van de overheid. Ik begin met de trias politica. Het behoeft geen betoog dat AI de uitvoerende kracht van het bestuur versterkt. Dat is positief. Een ongewenst neveneffect is dat de controlerende macht en de rechtspraak niet zo snel en niet zo gemakkelijk kunnen meekomen. De reden daarvoor is dat AI-systemen ondoorzichtig zijn. Ze zijn complex en niet gemakkelijk te doorgronden, zeker als je systemen en data uit meerdere overheidsorganisaties bijeenbrengt. Dan is een eerlijke vraag: hoe kan in zo'n situatie de controlerende macht haar functie adequaat uitoefenen? Hoe kan de rechtsstaat de burger beschermen tegen een machtige overheid? Graag ook hier een reactie van de staatssecretaris.
Het tweede punt is het legaliteitsbeginsel. Het doel van dit beginsel is onder andere om onderdrukking en willekeurige machtsuitoefening van de overheid tegen te gaan. Een fundamentele vraag is daarom wie formele wetgeving vertaalt naar concrete procesregels. In de praktijk zullen dat, zoals ik al zei, de data-analisten en computerprogrammeurs zijn. Weten zij om te gaan met open normen, brede kaders, ambiguïteiten en tegenstrijdigheden? Hoe garanderen we dat de wet naar letter en geest goed vertaald is naar het algoritme? Hoe is dat democratisch te controleren? Al deze vragen worden nog prangender bij deep learning. Wie kan überhaupt nog garanderen dat de aanpassing van beslisregels gedurende het leerproces nog steeds in overeenstemming met de letter en de geest van de wet is? En wie kan dat controleren?
Voorzitter. De overheid wordt bij de ontwikkeling van AI-systemen steeds meer afhankelijk van grote en machtige bedrijven. Daarmee krijgen deze bedrijven invloed op de manier waarop wetten worden geïnterpreteerd en in de praktijk worden uitgevoerd. Dit leidt tot ondergraving van het primaat van de wetgever. Ook graag hier een reactie van de staatssecretaris.
Ten slotte enkele opmerkingen vanuit het handelingsvermogen van de overheid. Vanuit rechtsstatelijk perspectief gezien is een sterke overheid cruciaal. Het behoeft geen betoog dat AI het handelingsvermogen van de overheid versterkt en in de toekomst verder kan versterken. Tegelijkertijd moeten we erkennen dat AI een bedreiging is voor het handelingsvermogen, met name gezien de macht van de bigtechbedrijven, het falen van zelfregulatie en alle problemen rond handhaving van allerlei wetten met betrekking tot deze bedrijven. En ook graag een reactie van de staatssecretaris op alle drie de punten vanuit het perspectief van versterking van de rechtsstaat.
Voorzitter. De Afdeling bestuursrechtspraak van de Raad van State heeft in 2017 bepaald dat ter voorkoming van een gepercipieerde black box bij geautomatiseerde besluitvorming het bestuursorgaan de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging op een passende wijze openbaar moet maken, zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn. Met andere woorden: het systeem van geautomatiseerde besluitvorming moet worden uitgelegd. Inmiddels is deze jurisprudentielijn overgenomen door de Hoge Raad in belastingzaken waarbij geautomatiseerde besluitvorming aan de orde was.
Een eerlijke vraag is of deze twee uitspraken voldoende bescherming bieden. Of is hier sprake van slechts een second-bestoplossing bij gebrek aan specifieke wetgeving? Is het niet aan de wetgever om concrete en mogelijk zwaardere eisen te formuleren, bijvoorbeeld op het gebied van de uitgangspunten van de modellen en algoritmen, de uitlegbaarheid van de besluiten en het uitsluiten van bepaalde toepassingen? Wat is de visie van de staatssecretaris? Wil zij met wetgeving komen?
Mevrouw Veldhoen i (GroenLinks):
Ik heb zelf in mijn bijdrage gewezen op de Franse wetgeving, waarin is vastgelegd dat een bestuursorgaan altijd in de beschikking moet aangeven of er sprake is geweest van het gebruik van algoritmen, wat de bronnen zijn geweest en hoe die zijn toegepast. Daaraan verbonden is de sanctie dat als dit niet wordt vermeld, de beschikking haar geldigheid verliest. Hoe staat de ChristenUniefractie daartegenover?
De heer Verkerk (ChristenUnie):
Ik vond dat een bijzonder mooi voorbeeld in uw bijdrage. Wat ik hier namens de fractie bepleit, is in goede overeenstemming met wat u heeft gezegd. We zullen die gedachte graag nader doordenken. Ook wij kijken uit naar de reactie van de staatssecretaris op uw bijdrage. Onze eerste indruk is positief.
Mevrouw Veldhoen (GroenLinks):
Dank u wel.
De voorzitter:
Vervolgt u uw betoog.
De heer Verkerk (ChristenUnie):
Ik wil nog zeggen dat onze fractie en de SGP overwegen om een motie op dit gebied in te dienen.
Ten slotte. Zouden de genoemde modellen en algoritmen onder redelijke condities niet beschikbaar moeten zijn voor kritisch wetenschappelijk onderzoek? Zeker gezien alle fundamentele problemen die ik in het begin van mijn bijdrage heb genoemd. Graag een reactie van de staatssecretaris.
Voorzitter. Op een specifieke technologie wil ik nog nader ingaan, namelijk die van deepfake. Van der Sloot en anderen van de universiteit van Tilburg hebben een studie gedaan naar de regulering van deepfakes. Ze laten zien dat de technologie die hieraan ten grondslag ligt grote schade oplevert voor de samenleving en dat wetgeving en regulering noodzakelijk zijn. Meer dan 95% van de deepfakes zijn pornografisch van aard, meestal met een vrouw als slachtoffer. Denk daarbij ook aan de documentaire Welmoed en de seksfakes. Van der Sloot pleit voor een verbod op toegang tot of gebruik van deepfaketechnologie voor burgers. Graag een reactie van de staatssecretaris. Ook hierop overwegen wij een motie.
Voorzitter. Ik kom nu tot de tweede vraag van Tolkien. Wat doet de macht om het kwaad te bestrijden met degene die het kwaad bestrijdt? Die vraag zou ik expliciet aan de orde willen stellen. Lodewijk Asscher zei bij zijn afscheid als partijleider — hij moest aftreden vanwege de toeslagenaffaire — "Ik vind dat we de democratie meer dienen door zelfreflectie dan door brute verontwaardiging." Ik vind dit een intrigerende uitspraak die echt oproept tot denken. Ik beperk me tot de SyRI-affaire. Hoe was het mogelijk dat dit systeem werd ontwikkeld? Was er voldoende aandacht voor fundamentele vragen, voor grondrechten en voor mogelijke ondergraving van de rechtsstaat? Waarom hebben de verantwoordelijke ambtenaren uiteindelijk dit project doorgezet? Waarom hebben zij die de wet dienen te kennen uiteindelijk de wet overtreden? Waarom zijn zij tegen hun burgers gaan procederen? Waarom hebben zij geweigerd om de rechter precies uit te leggen hoe het systeem werkt? Als Rutger Bregman gelijk heeft, namelijk dat de meeste mensen deugen, waarom is het met SyRI dan zo verkeerd gegaan? Waarom is het zo verkeerd gegaan dat het kwaad uiteindelijk geïnstitutionaliseerd werd? Het gaat mij niet om een beschrijving van hoe het is gebeurd, maar om een fundamentele doordenking van de mechanismes. Ik zie wat dat betreft ook uit naar de reflecties van de staatssecretaris.
Voorzitter. Ik kom tot een afronding. In alle stukken ben ik al veel technologische oplossingen tegengekomen. Ik denk bijvoorbeeld aan begrippen als MIA, Mensenrechten Impact Assesment, wetsanalyse, CSAE en FLINT.
De heer Dittrich i (D66):
Ik wil nog even terug naar het vorige punt, waarbij de heer Verkerk het had over ambtenaren en mensen die niet deugen. Als je zo luistert, klonk het een beetje alsof u ambtenaren een beetje wegzet, alsof zij bezig zijn met allerlei algoritmes en beslissingen tegen de belangen van mensen in. Ik zou het willen terugbrengen naar het vorige punt dat u noemde, over zelfreflectie. Als we wetten maken en beoordelen, moeten we volgens mij met z'n allen, niet alleen ambtenaren, maar ook politici, kijken hoe we kunnen leren van het feit dat er door sommige algoritmes uiteindelijk beslissingen zijn genomen die rechtstreeks ingaan tegen de belangen van burgers. Maar ik zou willen waarschuwen dat de indruk gaat ontstaan dat nu ambtenaren de schuld krijgen van bepaalde wetgeving en de toepassing daarvan. Misschien was dat helemaal niet de bedoeling van de heer Verkerk, maar dan hoor ik dat graag.
De heer Verkerk (ChristenUnie):
Ik wil collega Dittrich danken voor zijn commentaar. Dat was expliciet niet mijn bedoeling. Ik heb juist dat citaat van Rutger Bregman gegeven om dat te voorkomen. Ik heb wel vragen gesteld over de ambtenaren en hun leidinggevenden. Daarna kwam ik tot de vraag: wat is er allemaal verkeerd gegaan? Dan onderstreep ik ook graag wat u zegt, want ook de wetgevers hebben daar het nodige aan bijgedragen. Ik dank u.
Voorzitter. Ik zei net dat al die technologische oplossingen belangrijk zijn. Laten we echter niet in de valkuil vallen dat we kiezen voor technologische oplossingen zonder zicht over het veld te hebben. Dan gaat het echt om een visie over het geheel. Het gaat ook over een visie op grondwaarden en ethiek van de technologie.
Voorzitter. De mogelijkheden van AI zijn groot. Opvallend is dat er bij kunstenaars in de vorm van sciencefictionschrijvers en sciencefictionfilmmakers zelden sprake is van utopische beelden. Meestal overheersen de dystopische beelden. Dat is niet voor niets; denkt u maar aan de meest recente goede film Ex Machina. Dat moet ons te denken geven. De fracties van de ChristenUnie en de SGP pleiten ervoor om in het debat over algoritmische besluitvorming twee overwegingen centraal te stellen. De eerste is: leidt algoritmische besluitvorming mede tot versterking van de rechtsstaat? De tweede is: leidt algoritmische besluitvorming tot een bloei van de samenleving? In onze visie moet ook het openbaar bestuur daarop inzetten.
Onze fracties zien uit naar een reactie van de staatssecretaris.
De voorzitter:
Dank u wel, meneer Verkerk. Dan geef ik het woord aan mevrouw Gerkens namens de SP.