Verslag van de vergadering van 21 maart 2023 (2022/2023 nr. 23)
Status: gecorrigeerd
Aanvang: 15.47 uur
De heer Dittrich i (D66):
Dank u wel, voorzitter. De samenleving verandert snel. Dat kunnen we al meteen zien aan de lessenaars. We hebben daar inktpotjes op staan, terwijl het debat gaat over zelflerende algoritmes. Die digitale transitie is zo belangrijk, eigenlijk net zo fundamenteel als de introductie van de boekdrukkunst of de elektriciteit. AI wordt steeds geavanceerder qua technologie en raakt ook steeds meer verweven in de instituties die onze samenleving schragen.
Dan kom ik meteen op het punt van de programmering, want dat is nog steeds een mannending, nog altijd. Hoogleraar computerwetenschappen Felienne Hermans waarschuwt in de Volkskrant van eergisteren voor de gevolgen daarvan. Een voorbeeld vond ik heel pregnant, daar ik er zelf mee te maken heb gehad. Er wordt met algoritmes een nieuw systeem gebouwd, een app waarin je kunt volgen waar iemand is. De heer Recourt gaf daar al een voorbeeld van. Hij stapt in zijn auto en opeens krijgt hij te horen hoeveel minuten hij nog moet rijden. Maar voor een heleboel vrouwen is dat helemaal niet zo'n prettig idee. Die zijn bijvoorbeeld het slachtoffer van stalking en opeens weet men waar zij zich bevinden. Ik wil daar maar mee zeggen dat er bij de bouw van die systemen al een soort genderbalans zou moeten zijn, want veel groepen mensen in de samenleving en hun grondrechten krijgen met de gevolgen van AI te maken. Wij als wetgever uiteraard ook, dus we moeten goed voorbereid zijn, maar wij staan op grote achterstand als het daarom gaat. Dat ben ik met iedereen eens. Ik wil een citaat naar voren brengen van Marc Schuilenburg, hoogleraar digital surveillance aan de Erasmus Universiteit. Hij zegt: "De technologie is er. Het is heel makkelijk voor de politie om steeds sneller en eerder mensen op te zoeken. Maar omdat het hier gaat om grondrechten, moet de politie daarbij terughoudend zijn. Maar als ze bij iedereen zelfs al familieleden gaan opzoeken en nader onderwerpen, blijkt dat ze dat niet zijn." Dat was uit een rapport van Investico.
Wat ik daarmee wil zeggen, is: er gebeurt van alles en we hebben daar geen grip meer op. Digitalisering is een van de twee topprioriteiten van de huidige Europese Commissie. Ik begrijp dat er nog wordt onderhandeld over onder andere de Artificial Intelligence Act, de Data Act en de eIDAS-verordening. Er komt dus nog veel meer wetgeving via Europa op ons af als medewetgever.
De ontwikkelingen gaan steeds sneller. Dat brengt ook een versnelling van sociale veranderingen in de samenleving met zich mee. Digitalisering is nooit waardevrij en zet daarom druk op publieke waarden zoals veiligheid, democratie, zelfbeschikking, werkgelegenheid, de verhouding tussen burgers onderling en de verhouding tussen burgers en de overheid, maar ook op belangrijke beginselen zoals non-discriminatie, participatie, privacy en inclusiviteit.
Het is al door voorgaande sprekers gezegd: machtsevenwichten verschuiven van publiek naar privaat. De macht wordt geconcentreerd bij een beperkt aantal grote technologiebedrijven. Het vertrouwen in de democratie en de publieke instituties neemt echter ook af. Dat komt onder meer door het verkeerd inzetten van data en algoritmes door de overheid en grote uitvoeringsorganisaties, die niet meer in staat zijn hun publieke taken goed uit te voeren. Soms verliezen zij ook de menselijke maat uit het oog. Daarnaast gaan verbeteringen moeizaam. Dat komt met name door verouderde ICT.
Er vinden echter ook machtsverschuivingen plaats binnen de Staat, binnen de trias politica. Die raken ook onze positie als Eerste Kamer. Bij de deskundigenbijeenkomst die wij georganiseerd hebben, zei professor Reijer Passchier het volgende. De uitvoerende macht wordt steeds dominanter. Er gaat een risico op willekeur ontstaan. Er vindt machtsmisbruik plaats. Denk aan het toeslagenschandaal. De regering, de ministeries en de uitvoeringsorganisaties hebben duizenden ambtenaren ter beschikking die fulltime kunnen werken met AI, maar de Staten-Generaal is in deze ontwikkeling hopeloos achtergebleven. Door AI wordt de uitvoerende macht als het ware een black box. Toegepaste algoritmes zijn vaak niet openbaar, vanwege opsporingsbelang of auteursrechtelijke kwesties. De digitale consequenties zijn niet inzichtelijk.
Willen we de regering goed kunnen controleren qua wetgevingskwaliteit en uitvoerbaarheid van tot stand gekomen wetten, dan zal de Eerste Kamer zich absoluut moeten versterken. We hebben als senatoren deskundige ondersteuning nodig aan wie we vragen kunnen stellen over de inzet van AI en de effecten daarvan. Ik heb hier in mijn spreektekst het volgende staan. Over het algemeen zijn Eerste Kamerleden wat ouder in leeftijd dan de gemiddelde Nederlander. Onze generaties zijn niet opgevoed met digitale technieken of een smartphone, zoals bij jonge mensen tegenwoordig het geval is, maar toch moeten wij de toekomstige generaties bekijken. We moeten oordelen vellen die hen met name raken, over 20 jaar, over 30 jaar en over 40 jaar. Daarom is een versterking van de digitale kennis en de impact daarvan op het dagelijks leven een must.
Echter, hoe moeten we dat dan doen? Er is een voorstel gedaan om een Kamercommissie Digitale Zaken op te richten. In interrupties heb ik gezegd dat ik daar voordelen aan zie, maar ook nadelen. Wij zullen daar dus nog een afweging over moeten maken. Het moet niet zo zijn — dat zei mevrouw Gerkens heel pregnant — dat alles wordt geparkeerd in een bepaalde commissie en dat er generiek geen meerwaarde ontstaat. Andere Kamerleden moeten ook beseffen hoe belangrijk AI is. Ik denk dat het heel belangrijk is dat wij als Eerste Kamerleden bij relevante wetgeving aan de voorkant de juiste vragen stellen. Hoe hebben de systeembouwers die aspecten ingebouwd in AI, zodat er geen foute ontwikkelingen plaatsvinden voor wat betreft bijvoorbeeld discriminatie, negatieve etnische profilering enzovoorts?
Deze maand is de Commission on the Status of Women van de Verenigde Naties, de CSW, bij elkaar geweest. Die commissie heeft conclusies getrokken. Die zegt dat regeringen, met het oog op gendergelijkheid bij de bouw van AI, acties zullen moeten ondernemen. Mijn eerste vraag aan de staatssecretaris is hoe de regering omgaat met die conclusies van de CSW. Het gaat natuurlijk niet alleen over de bouw, maar het is ook niet helder wat er gebeurt met de data die worden verzameld. Dat is eerder al door andere sprekers gezegd. Wie krijgt die data nou te zien? Welke beslissingen worden er genomen op basis van data? Aan wie of welke organisaties worden ze verstrekt? Welke beslissingen worden op grond van die verstrekte data genomen door organisaties die nooit met de burger zelf hebben gesproken? Kortom, het is van belang dat de Eerste Kamer een vast denkkader ontwikkelt voor de beoordeling van wetsvoorstellen waarbij AI een rol speelt in de uitvoering. Het moet een bij de rol van de Eerste Kamer passende lijst van vragen zijn die beantwoord moeten zijn, voordat we zo'n wetsvoorstel goedkeuren.
De Raad voor het Openbaar Bestuur heeft daar al een voorzet voor gegeven, zo bleek ook uit de deskundigenbijeenkomst. Het gaat bijvoorbeeld om de volgende vragen. Wat is eigenlijk het doel van de wet? Willen we daar ook AI voor inzetten? Welke data willen we daarvoor gebruiken? Betreft het een zelflerend algoritmesysteem? Is het gebouwd met inachtneming van het respect voor grondrechten? Zijn het recht op persoonlijke levenssfeer, het recht op gelijke behandeling en het recht op een eerlijk proces daarin verankerd? Wie waren er betrokken bij de bouw? Is er altijd een menselijke tussenkomst mogelijk tijdens de toepassing? Zijn de algemene beginselen van behoorlijk bestuur verankerd bij de toepassing van de betreffende algoritmische besluitvorming? En zo bepalen het motiverings- en zorgvuldigheidsbeginsel dat de overheid ervoor moet zorgen dat er inzicht in en controleerbaarheid van door algoritmes gemaakte keuzes is. Nu is het zo dat de burger eerst de fout in een door een AI genomen beslissing moet herkennen. Vervolgens moet hij in bezwaar gaan. Vaak ontbreekt het aan een menselijk contactpunt om vragen te stellen over wat er precies is gebeurd. De burger wordt dan van het kastje naar de muur gestuurd. Wij vinden dus dat een mens altijd door AI genomen beslissingen aan de burger moet kunnen uitleggen.
Hoe ver reikt dataeigenaarschap? Dat is een vraag die Kathalijne Buitenweg opwerpt in haar boek over AI. Wij vinden dat individuele mensen — je kunt dat natuurlijk laten zeggen via het cookiesysteem — afstand doen van hun eigenaarschap, maar wij zouden het vergaren van data, de profielen die daaruit voortkomen door zelflerend AI en het beheer daarover eigenlijk moeten gaan zien als een publiek goed en niet meer als een particuliere beslissing. Mijn vraag is hoe de staatssecretaris dat ziet en wat voor consequenties dat zou hebben voor onze wetgeving.
De heer Recourt i (PvdA):
Hoe interessant die laatste vraag ook is — ik geloof dat ik het wel eens ben met de impliciete waardering die onder die vraag ligt — heb ik een vraag over het onderwerp daarvoor. Hoe kunnen de algemene beginselen van behoorlijk bestuur de burger helpen om op te komen tegen beslissingen van de overheid die deels genomen zijn op basis van de toepassing van AI? Mijn vraag is hoe de burger weet dat er AI ten grondslag ligt aan de beslissing, ook al is AI uitlegbaar, gemotiveerd enzovoort.
De heer Dittrich (D66):
Dat is een hele goede vraag. Ik ga die nu beantwoorden; dat scheelt weer wat spreektekst. De fractie van D66 vindt dat er een informatieplicht van de overheid moet komen. Daar waar AI in wetgeving gehanteerd wordt, moet de burger dat horen van de overheid, zodat het veel duidelijker wordt. We hebben gezien dat in Frankrijk bijvoorbeeld het informatierecht van de burger op dat punt in wetsvoorstellen is opgenomen. Wij denken dat dat in Nederland een goede zaak zou zijn.
De heer Recourt (PvdA):
Praktisch betekent dat dus dat bij een besluit door een bestuursorgaan moet staan: bij dit besluit is gebruikgemaakt van AI. Dan zou je als burger, op het moment dat je het niet eens bent met dat besluit, in bezwaar moeten gaan en vragen: kunt u uitleggen wat AI heeft gedaan? Moet ik het me zo praktisch voorstellen?
De heer Dittrich (D66):
Ja, zij het dat wij vinden dat de overheid veel servicegerichter zou moeten zijn. Zoals u het vraagt, moet de burger gaan vragen wat er precies bedoeld wordt of wat er gedaan is. Wij vinden dat de overheid een informatie- en uitlegplicht heeft. Dat was mijn vraag aan de staatssecretaris: hoe gaan we dat dan precies allemaal doen? Maar dat is het uitgangspunt, niet het steeds de lasten bij de burger leggen. De overheid moet servicegerichter zijn dan ze tot voor kort geweest is.
Mevrouw Veldhoen i (GroenLinks):
Collega Dittrich wijst ook op Franse wetgeving. Ik heb daar ook iets over gezegd. Ik wil nog even invullen wat daar precies noodzakelijk is. Dat is begrijpelijke informatie over het doel, de mate van algoritmegebruik, het type gegevens en bronnen. Is dat ook waar u op doelt als u zegt "er moet een informatieplicht zijn"? Gaat het dan zo ver?
De heer Dittrich (D66):
Ja, want je moet kunnen beoordelen: ben ik het eens met deze beslissing die via AI uiteindelijk tot mij als burger komt, en hoe is die tot stand gekomen? Daar moet je dan een discussie over aangaan. Het zou overigens best zo kunnen zijn dat die beslissing goed is — althans, de burger is het daar misschien niet mee eens, maar uiteindelijk kan het overheidsorgaan dat wel ondersteunen — maar dan moet er ook uitleg zijn, het moet begrijpelijk zijn, er moet menselijk contact zijn.
Mevrouw Veldhoen (GroenLinks):
De Franse wetgeving gaat nog een stap verder. Daarin is ook bepaald dat als niet aan die informatieplicht wordt voldaan, het besluit ongeldig is. Hoe staat de fractie van D66 daartegenover?
De heer Dittrich (D66):
Nou, ik heb gehoord dat de fractie van GroenLinks dat een heel goed idee vindt. U legde ook de link met het strafrecht. U zei: dat kan dan leiden tot bijvoorbeeld niet-ontvankelijkheid, omdat het overheidsorgaan te ver is gegaan. Daar moet ik toch echt nog wel even over nadenken. Ik heb net gezegd: soms kan het natuurlijk zo zijn dat die beslissing wel goed is in een concreet geval, ook al is de burger het er niet mee eens. Als dan de sanctie automatisch zou zijn dat het hele besluit weggaat en ongeldig wordt en wat dan ook … Dat weet ik niet. Daarom denk ik dat de staatssecretaris daar haar licht over kan laten schijnen.
De voorzitter:
Tot slot, mevrouw Veldhoen.
Mevrouw Veldhoen (GroenLinks):
Het is sowieso heel fijn als de staatssecretaris haar licht erover laat schijnen. Maar het is natuurlijk bedoeld als correctiemechanisme, om ervoor te zorgen dat bestuursorganen het daadwerkelijk gaan doen. Dat is natuurlijk hetzelfde bij onrechtmatig verkregen bewijsmateriaal. Het is natuurlijk heel pijnlijk als daardoor een verdachte vrijuit gaat waarvan je wel denkt "dat is degene die het strafbare feit heeft begaan", maar het maakt ook dat de politie beter oplet bij bijvoorbeeld het verkrijgen van bewijs of onrechtmatige staandehouding. Dat zou je natuurlijk bewerkstelligen, net als dat de bestuursorganen zorgvuldiger omgaan met het nemen van dat soort besluiten en het vastleggen in de beschikking. Dan heeft het op die manier een zelfreinigend effect.
De heer Dittrich (D66):
Ja, ik snap heel goed dat er een soort stok moet zijn om uiteindelijk tot verbetering van werkwijzen te komen. Maar ik vind het nogal wat om te zeggen: dan is het hele besluit niet geldig. Maar laat ik het zo beantwoorden: ik kan op dit moment nog niet helemaal overzien waar dat toe leidt. Daarom vind ik dat de regering daar wat duidelijkheid over moet kunnen geven. Maar de gedachte dat je niet ongestraft alles als overheid kan doen, ook al heb je een regel van een informatieplicht … Als je dan toch gewoon doorgaat met geen informatie geven, helpt dat niet. Dus ik snap wel dat we zoeken naar een stok, maar of dat de juiste reactie is, weet ik eigenlijk niet.
Voorzitter, ik ga weer door. Wetsvoorstellen die door de Eerste Kamer zijn aangenomen en die met behulp van AI ten uitvoer worden gelegd, zullen echt een heel heldere evaluatiebepaling moeten gaan behelzen. Het gebruik en de effecten van AI moeten daarin onder de loep worden genomen. Maar — het is ook al eerder door anderen gezegd — er zijn natuurlijk ook wetsvoorstellen, denk aan de Wet politiegegevens, die helemaal geen AI regelen. Dus we hebben ons daar in de Eerste Kamer helemaal niet over uitgesproken. De praktijk gaat het dan wel doen met dat Criminaliteits Anticipatie Systeem, het CAS. Dat is door de rechter natuurlijk opzijgezet, omdat dat ging discrimineren en aan etnisch profileren ging doen. Dus er zijn wetten die al aanvaard zijn door de Kamer, waar op zichzelf geen AI-element in zit, maar waarbij de praktijk het gaat doen. Daar moeten we natuurlijk ook een vinger achter zien te krijgen. Mijn vraag aan de staatssecretaris is hoe zij staat tegenover het opnemen van toetsing op AI-gebruik bij evaluaties van alle relevante wetten.
Mevrouw Veldhoen heeft voorgesteld dat er een soort commissie komt waar je vragen aan kan stellen. Een interessant idee. Ik wacht nog even de beantwoording van de staatssecretaris erover af. Maar structureler toezicht is echt nodig op algoritmische besluitvorming, door bijvoorbeeld de Algemene Rekenkamer, de Autoriteit Persoonsgegevens of de Auditdienst van het Rijk. In de hoofdlijnenbrief van maart 2022 heeft de staatssecretaris al geschreven dat het kabinet gaat investeren in een sterke positie van de Autoriteit Persoonsgegevens, dat het een algoritmetoezichthouder gaat introduceren en dat het de samenwerking en de samenhang tussen diverse digitale toezichthouders gaat versterken. Wat is hiervan de recente stand van zaken? Ik geef hierbij aan dat controle en toezicht op algoritmische besluitvorming essentieel zijn, niet alleen in Nederland, maar ook binnen de EU. Regels en beleid opstellen is één ding, maar toezicht en handhaving zijn essentieel. Daarmee kom ik op de vraag die anderen ook al hebben gesteld: hebben de Autoriteit Persoonsgegevens en andere toezichthouders voldoende menskracht en middelen om hun taken goed uit te voeren? Wat is daarvoor het perspectief?
Door andere sprekers is een AI-jaarplan al naar voren gebracht. Daar is de fractie van D66 het erg mee eens. De Raad voor het Openbaar Bestuur heeft daar ook al aandacht voor gevraagd. Graag een reactie van de regering daarop, dus. Wat D66 betreft moet er altijd een betekenisvolle menselijke tussenkomst op AI zijn, zowel in het begin van het proces als tijdens het proces als bij de beslissingen die op grond van AI worden genomen. Daarbij dient bedacht te worden dat er allerlei ethische dilemma's kunnen ontstaan en keuzes worden gemaakt tijdens dat hele proces. Daar zijn al mooie woorden over gesproken, onder anderen door de heer Verkerk. Ik sluit me bij een aantal van zijn vragen aan.
Een mens met verantwoordelijkheid moet daarop altijd aanspreekbaar zijn. Hoe geeft de staatssecretaris dit met haar collega's vorm in de komende wetgeving? Professor Wolswinkel, die wij gehoord hebben als deskundige, zei: er zullen altijd een aantal normen specifiek in de wet moeten worden opgenomen om de burger iets meer houvast te geven. Zo moet het altijd worden duidelijk gemaakt als AI wordt toegepast. Ik heb daar met de heer Recourt al over gesproken, over het informatierecht.
Over een algoritme-impactassessment zou ik, in aanvulling op voorgaande sprekers, alleen het volgende willen zeggen. Als de overheid een digitaal systeem aankoopt bij een derde, moet in de contractvoorwaarden zijn opgenomen dat een deugdelijk mensenrechtenimpactassessment is uitgevoerd. De staatssecretaris wil dat verplicht stellen bij wetgevingsvoorstellen. D66 ondersteunt dat. Maar ook bij het bouwen van algoritmes moeten afwegingen met betrekking tot grondrechten worden gemaakt. De vraag of een inbreuk op een grondrecht proportioneel is, bijvoorbeeld, is eigenlijk al een politieke vraag. Wij willen dan ook dat die afweging door ons kan worden beoordeeld. Is de staatssecretaris bereid de uitkomsten van zo'n mensenrechtenimpactassessment met de Eerste Kamer te delen, of blijft zij erbij dat de uitkomsten van zo'n assessment alleen maar met de toezichthouder hoeven te worden gedeeld, zoals in een van de brieven staat? Als dat zo is, hoe verhoudt zich dat dan tot de noodzakelijke transparantie waartoe bijvoorbeeld het Rathenau Instituut oproept?
Voorzitter, ik ga afronden.
De voorzitter:
Dat hoop ik wel, want u bent al over uw spreektijd heen.
De heer Dittrich (D66):
Ja, en daarom ga ik ook afronden. Niet alleen de technologie van AI en de impact ervan moeten ruim aandacht krijgen van de Eerste Kamer, maar ook de mensen die daarmee werken, qua opleiding en dergelijke. Er is al naar voren gebracht dat de overheid soms mensen goed opleidt. Dan komen er opfriscursussen en andere dingen. Die mensen doen dan werkervaring op bij de overheid op kosten van de overheid en springen vervolgens over naar het bedrijfsleven, dat daar de vruchten van plukt. Mijn vraag aan de regering is dus: hoe gaan we daarmee om?
Helemaal tot slot. De IT-infrastructuur bij de overheid is verouderd. Soms zijn er hele goede dingen ontwikkeld, maar kunnen die niet eens ingevoerd worden omdat de informatietechnologiestructuur verouderd is. Wat is hiervoor het perspectief?
Dank u wel, voorzitter.
De voorzitter:
Dank u wel, meneer Dittrich. Dan is het woord aan de heer Otten namens de Fractie-Otten.