Amsterdam en AI: Een kritische beschouwing

De expertsessie van de Amsterdamse gemeenteraad over AI is hier terug te zijn

Dank voor de uitnodiging om hier te spreken over AI. Mijn naam is Sennay

Ghebreab. Ik ben hoogleraar Sociaal Intelligente AI aan de Universiteit van

Amsterdam, en oprichter en wetenschappelijk directeur van het Civic AI Lab, een

samenwerking tussen de Universiteit van Amsterdam, de Vrije Universiteit

Amsterdam, het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, en de

Gemeente Amsterdam.

Ik heb even getwijfeld - moet ik bekennnen - of het nog zin heeft om wéér een

presentatie te geven aan ambtenaren over risico’s en kansen van AI. AI is

tegenwoordig overal; iedereen lijkt ermee bezig en velen noemen zich – terecht of

niet – expert. Tegelijkertijd krijg ik de indruk dat vooral wordt geluisterd naar die

experts die bevestigen wat men wil horen, in plaats van naar burgers die

aangeven wat ze nodig hebben. Toch besloot ik deze lezing te geven, omdat ik drie

ontwikkelingen signaleer die mij zorgen baren. Die zorgen wil ik hier met u delen.

Eerst neem ik u mee terug in de tijd, naar het begin van deze eeuw. AI was toen

nog een niche nauwelijks bekend bij de gemiddelde ambtenaar of burger.

Wetenschappers waaronder ikzelf werkten toen onder andere aan AI-

modellen voor bijvoorbeeld gezichtsherkenning. In de academische wereld en in

Silicon Valley was de transformatiekracht van AI toen al duidelijk zichtbaar.

Toch was er weinig aandacht voor de mogelijke maatschappelijke risico’s, zoals

vooroordelen en discriminatie. De dominante overtuiging was – en is soms nog

steeds – dat technologie neutraal en objectief is, en dus losstaat van menselijke

waarden. Het duurde bijna twintig jaar voordat wetenschappers, ambtenaren,

bestuurders, politici en CEO’s bewust begonnen te worden van de risico’s.

Die bewustwording kwam mede dankzij een kleine groep wetenschappers en

experts die werkten aan of met geavanceerde AI-technologieën, die verder

dachten dan hun eigen vakgebied, en die maatschappelijk betrokken waren, en

soms zelf als burger ervoeren hoe discriminerend en uitsluitend AI kon zijn. Zij

trokken vroeg aan de bel, benadrukten zowel de kansen als de risico’s van AI, en

onderstreepten het belang van mediawijsheid, digitale geletterdheid en inclusie

en sociale rechtvaardigheid in en met AI – ook al werden ze vaak niet serieus

genomen vanwege hun ideeën. Zij waren de kanaries in de koolmijn.

Ik was deel van die groep. En omdat ik keer op keer merkte dat overheden

structureel achterliepen met kennis over en toepassing van AI … besloot ik 2015

de basis te leggen voor een lab dat zich richt op ZOWEL de ontwikkeling van

geavanceerde AI-technologie als op de maatschappelijke impact ervan. Een lab

dat een brug moest vormen tussen de wetenschap, de publieke sector, en de

maatschappij. Amsterdam leek me daarvoor de ideale plek: een superdiverse

stad, met een lange geschiedenis in AI en een dynamisch, innovatief ecosysteem.

Vijf jaar later, in 2020, werd het Civic AI Lab gelanceerd.

Het Civic AI Lab is het resultaat van jarenlange fundamentele en toegepaste AI-

ervaring, vanuit diverse wetenschappelijke disciplines en maatschappelijke

domeinen. Het is onderdeel van het Nationaal Innovatie Centrum voor AI (ICAI),

een ecosysteem waarin kennisinstellingen, bedrijven van start-ups tot

multinationals, NGO’s en overheden samen AI-technologie ontwikkelen.

Het lab is een vijfjarige publiek-publieke samenwerking tussen de UvA, de VU, de

gemeente Amsterdam en het ministerie van BZK. De visie van het lab is een

samenleving waarin álle burgers ook zij die in de marge verkeren gelijke

kansen hebben om bij te dragen aan en te profiteren van de samenleving. De

missie is AI-technologie ontwikkelen die economische en sociale mensenrechten

bevordert – zoals het recht op gezondheid, onderwijs en werk – met inachtneming

van fundamentele rechten zoals privacy, non-discriminatie en gelijkheid.

De afgelopen vijf jaar werkte het Civic AI Lab aan vijf domeinspecifieke projecten:

onderwijs, gezondheid, welzijn, mobiliteit en omgeving. Daarnaast zijn er twee

domeinoverstijgende projecten: één op het snijvlak van AI en recht, en één op het

snijvlak van AI en beleid. Elk project beoogt inzicht te geven in kansenongelijkheid

in de (digitale) stad, en het handelingsperspectief op kansengelijkheid te

vergroten met behulp van nieuwe AI-technologie.

Een concreet voorbeeld is het schoollotingsalgoritme dat het lab ontwikkelde om

kinderen beter toe te wijzen aan scholen. Dit algoritme was onlangs nog

onderwerp van discussie in deze raad. Het weerspiegelt waar het Civic AI Lab

voor staat: een wetenschappelijke, technische basis én een praktische

toepassing, met als doel betere oplossingen voor leerlingen in Amsterdam.

Cruciaal hierbij is dat het algoritme niet in isolatie is ontwikkeld, maar in overleg

met onder meer OSVO, OCO, scholen en ouders. Het Civic AI Lab bleek niet

alleen een brug maar ook een ontmoetingsplaats.

Dit sluit aan bij de lange termijn ambitie van het Civic AI Lab: eerst vijf jaar werken

aan “AI technology for people” via publiek-publieke samenwerking tussen

overheid en universiteit, dan weer vijf jaar aan “AI technology with people” via

publiek-civieke samenwerking tussen overheid, universiteiten en

burgergemeenschappen en uiteindelijk aan “AI technology by people” – een

samenleving waarin burgergemeenschappen zelf technologieën ontwikkelen

voor hun eigen en het algemeen belang. Een lange termijn ambitie dus om AI te

democratiseren door meer burgelijke autonomie en eigenaarschap rond AI.

Het Civic AI Lab is een voorbeeld en aanjager geweest van deze ontwikkeling –

van lokaal, in Amsterdam, tot nationaal zoals het nieuwe lab in Rotterdam, en

zelfs internationaal. Er zijn talloze initiatieven waar de vingerafdruk van het Civic

AI Lab zichtbaar is. Misschien wel het belangrijkste is dat het lab in de afgelopen

jaren een breed en diep netwerk heeft opgebouwd met burgergemeenschappen

die weinig vertrouwen hebben in autoriteiten of in AI. Ik ben hier als burger en

wetenschapper, met oprecht trots op.

Toch maak ik me zorgen, en voel ik me genoodzaakt om opnieuw als een

kanarie in de koolmijn mijn zorgen te uiten.

Ten eerste: ik zie dat publiek-publieke samenwerkingen tussen overheden

en universiteiten op het gebied van AI onder druk staan. Samenwerken

met AI-wetenschappers is minder ‘hot’, zeker als het gaat over thema’s als

gelijkheid, rechtvaardigheid en discriminatie. Dit komt niet alleen door

geopolitieke ontwikkelingen en kortetermijndenken en beleid in nationale

politiek, maar ook omdat men lokaal denkt: “wij kunnen nu zelf wel aan AI

bouwen”. Daar is AI te fundamenteel, te complex en te dynamisch voor. Dit

vergroot de AI achterstand die overheden toch al hebben.

Ten tweede: er is steeds meer nadruk op publiek-private samenwerking

tussen overheden en bedrijfsleven. Dat is op zich goed: het versterkt het

Amsterdams AI-ecosysteem met start-ups, scale-ups en bedrijven. Maar

niet als dit af doet aan publieke waarden. Je kunt niet tegelijk streven naar

het waarborgen van publieke waarden, en handelen vanuit private

waarden. Je kunt niet de machtsconcentratie van internationale BigTech

beperken, en tegelijk bouwen aan een eigen Big Tech-ecosysteem dat

steeds meer invloed krijgt op hoe onze maatschappij werkt. Dit ondermijnt

de publieke waarden waar overheden zeggen voor te staan.

Ten derde: er wordt veel gesproken over inclusie, samenwerking en co-

creatie met burgers en gemeenschappen – ook in de context van AI.

Maar vaak is dit oppervlakkig, zonder echte gelijkwaardigheid tussen overheid en

burger, of tussen wetenschap en burger. Er is veel sprake van lipservice,

ethics washing en participatieparadox. Ook in projecten waar ik zelf bij betrokken

ben en waar co-creatie met gemarginaliseerde groepen centraal staat.

Oprechte kritiek op deze oppervlakkigheid –bedoeld om het gezamelijk beter

te doen – wordt nauwelijks serieus genomen. Voor veel burgers voelt dit alsof

diversiteit, inclusie en particpatie slechts dienen om een checkbox af te vinken,

als onderdeel van een politiek schouwspel. Dit vergroot de kloof tussen overheid en burgers.

Wil Amsterdam een leidende rol blijven spelen in AI binnen een publiek-private-

civieke samenwerking, is een langetermijnvisie onmisbaar. Een visie waarin de

genoemde zorgen serieus worden genomen en gestuurd wordt op “AI technology

for, with and by People” — hoe moeizaam of traag dat proces soms ook verloopt.

Daarom deze oproep tot actie:

1. Voorkom fragmentatie: Initiatieven die uitsluitend vanuit de gemeente of

het bedrijfsleven ontstaan, leiden tot silo’s en tegenstrijdige belangen.

Zoek verbinding met wetenschappers die bezig zijn met de state-of-the-art

van AI, en werk samen aan een geïntegreerde aanpak.

2. Denk buiten kaders: Kijk hoe publieke, civieke en private waarden elkaar

raken. Ook als deze niet vanzelfsprekend op één lijn liggen, kan hun

samenspel leiden tot vernieuwende manieren waarop burgers hun rol in de

samenleving vormgeven en hun relatie met overheid en private sector

herdefiniëren.

3. Durf in de spiegel te kijken: AI zelf, en de manier waarop we aan AI werken

zegt veel over ons. Neem die reflectie serieus, leer ervan, durf bestaande

systemen en werkwijzen kritisch te bevragen, en geef verbeelding de

ruimte. Er is niets Amsterdamser dan tegendraads durven zijn.