Neuro-informaticus Sennay Ghebreab strijdt tegen racistische machines

In 2016 lanceerde Google een app voor automatische gezichtsherkenning die zwarte mensen categoriseerde als gorilla’s. Neuro-informaticus Sennay Ghebreab trekt aan de alarmbel nu artificiële intelligentie steeds meer deel wordt van ons dagelijks leven.

‘Rond het jaar 2005, enkele jaren na mijn promotie, renoveerden ze het Centrum voor Wiskunde & Informatica.’ Ghebreab wijst naar het gebouw aan de overkant van de straat. ‘Er kwam een draaideur die automatisch draaide als hij een mens zag aankomen. Dan hoefde er na vijf uur niemand meer op de receptie te zijn. Mijn witte collega’s gingen zonder problemen naar buiten, maar telkens wanneer ik aankwam, weigerde de deur te draaien. Omdat mijn promotieonderzoek ging over slimme beeldherkenningssystemen, zocht ik uit hoe de draaideur werkte. De camera’s van de draaideur werden vermoedelijk getraind om mensen te herkennen op basis van een vijftigtal voorbeeldplaatjes van mensen. Dat was toen heel wat, nu zouden het miljoenen plaatjes zijn. Als je die oefenplaatjes bekeek, zag je wel variatie in geslacht, maar niet in huidskleur. Het waren vooral plaatjes van witte mensen. Toen heb ik aan de receptie gevraagd: “Is het mogelijk dat de camera mij niet herkent als mens?” Na een paar maanden wilde de deur wel voor me draaien.’ Systemen op basis van artificiële intelligentie discrimineren net zoals mensen. Sennay Ghebreab, hoofd sociale wetenschappen aan het Amsterdam University College, onderzoekt al decennia zelflerende systemen. Van artificiële intelligentie en biologische systemen zoals het brein tot sociale systemen, want ook de samenleving kun je volgens Ghebreab zien als een zelflerend systeem. ‘De basismechanismen zijn hetzelfde. Er is input, de verwerking van de input en de output.’ Het voorbeeld van de draaideur was een van de eerste aanleidingen voor hem om na te denken over de gevaren van artificiële intelligentie. ‘De input bepaalt de output. Dat geldt zowel voor mensen als voor artificiële intelligentie. Als je als individu, sociale groep of artificieel systeem heel weinig wordt blootgesteld aan mensen met een andere huidskleur, dan ontwikkel je niet de capaciteit om fijnmazig met dat verschil om te gaan.’

Crimineel

Ik ontmoet Ghebreab in het café tegenover zijn werkplaats, op het Amsterdam Science Park. Ik vind hem niet meteen. Een aantal keer loop ik zoekend binnen en buiten. Hij heeft zich in het lichte en kalmere achterzaaltje gezet, een plek die ik blijkbaar keer op keer over het hoofd had gezien. Je zou kunnen zeggen dat ik mezelf er met een overhaaste visuele scan van de omgeving van had overtuigd dat er helemaal geen achterzaaltje was. De stokkende draaideur is maar één voorbeeld van hoe computers discrimineren op huidskleur. Onlangs lanceerde Google een app die automatisch gezichten herkent, maar zwarte mensen categoriseerde als gorilla. Politieteams gebruiken artificiële systemen om verdachten op te sporen, gerichte controleacties uit te voeren op bepaalde leefgebieden, of potentiële recidivisten te bepalen. Nu de inzet van artificiële intelligentie razendsnel toeneemt, moeten we volgens Ghebreab oog hebben voor de gevaarlijke implicaties hiervan. ‘Uitsluiting of discriminatie bekijkt men meestal vanuit een sociaal perspectief: de sociale of politieke mechanismen van uitsluiting. Nu moeten we ook naar artificiële intelligentie kijken. In de rechtszaal bijvoorbeeld blijkt artificiële intelligentie zwarte mannen onterecht meer kans te geven op criminaliteit dan witte mannen.’ In welke zin lijken zelflerende systemen als het brein, artificiële intelligentie en sociale gemeenschappen op elkaar? ‘Als er één gemene deler is in alles wat ik gedaan heb, dan is het patroonherkenning. Dat hebben alle zelflerende systemen gemeen. Patroonherkenning is het proces van veralgemenen en categoriseren, het leren van vooroordelen eigenlijk. Vooroordelen helpen om de complexe werkelijkheid eenvoudig te maken. Wij kunnen als mens niet alles verwerken. Ons brein heeft een bepaalde capaciteit en beperkingen. Daarom moeten we de werkelijkheid vereenvoudigen.’ ‘Deze vooroordelen leren we op basis van de input die we krijgen. Jij kunt bijvoorbeeld in één oogopslag zien wat binnen en wat buiten is, daar hoef je niet over na te denken. Als ik je vraag op basis waarvan je dat onderscheid maakt, kun je me niet expliciet vertellen om welke kenmerken het gaat. We maken daarvoor gebruik van low level cues, heel eenvoudige onbewuste verschillen die op zich geen betekenis hebben, zoals randen van objecten of de kleurovergang tussen mijn witte hemd en mijn huid. Computers doen dat ook zo. Dat hebben ze zichzelf aangeleerd door visuele kenmerken af te leiden uit afbeeldingen van binnen- en buitenlocaties.’ Hoe trekken we die parallellie tussen artificiële systemen en het brein door naar sociale systemen? ‘Vergelijk de samenleving met hersencellen die met elkaar communiceren. Elke hersencel heeft net zoals ieder mens een eigen perspectief en gelijkaardige hersencellen verwerken op een gelijkaardige manier informatie. Bewustzijn ontstaat als er genoeg interactie is tussen hersencellen en hersengebieden. Collectief bewustzijn ontstaat ook als er voldoende interactie is tussen mensen. Als mensen collectief een bepaald type informatie krijgen, via sociale media, televisie, school of familie, zullen ze daar ook op een gelijkaardige manier mee omgaan.’ ‘Het internet wordt één groot collectief brein. Er is een overvloed aan diverse informatie aanwezig, maar onze persoonlijke breinen zoeken informatie op die de eigen ideeën bevestigt. Het internet heeft niet geleid tot een verbreding van inzichten, maar tot vernauwing.’ Is dat ook een probleem van zelflerende systemen, dat ze steeds informatie zoeken die zichzelf bevestigt? ‘Nee, dat is niet het probleem van artificiële systemen, dat is het probleem van de mensen die de systemen maken. Ik zie het internet als een verrijking, mits het goed gebruikt wordt. Dat is nu niet altijd het geval. De input die we gebruiken komt vanuit onze impulsen. Het is bullshit in, bullshit out. Racism in, racism out.’

Input

We kunnen de technologische ontwikkelingen dus ook als een verrijking gebruiken. Hoe doen we dit? Volgens Ghebreab is dat de hamvraag. ‘Eigenlijk is het heel simpel. Het gaat vooral om de input. Het is niet zo dat mensen of artificiële systemen intrinsiek racistisch zijn. Dat hangt af van de input. We moeten dus de input die we krijgen, verbreden en diverser maken. Dat kan deels door bewustwording te creëren over de input die mensen en systemen krijgen. Als we zien dat de input racistische consequenties heeft, kunnen we onze fouten corrigeren. Zo deed Google het. Toen bleek dat de app zwarte mensen als gorilla herkende, voedden ze de app met meer voorbeeldplaatjes van mensen met een donkere huiskleur, en dat werkte. Maar zo blijven we gebonden aan de input die mensen geven. Als wij, mensen, bevooroordeeld zijn, is de kans groot dat onze gegeven input dat ook is. Dus we moeten naar artificiële intelligentie kijken om ons te helpen in het vinden van verbreding en diversiteit. De AI-technologie is zo vergevorderd dat het onbevooroordeelde input kan aanbieden. Het kan bijvoorbeeld een mate van randomness inbouwen, of noise (ruis).’ ‘Facebook kijkt nu naar wie of wat jij interessant vindt. De algoritmes zijn gemaakt om tegemoet te komen aan jouw eerder bepaalde interesses, het is zelfbevestigend. Maar ze zouden ook een willekeurige vriend kunnen aanbieden, of een artikel dat niet in je eigen zoeksfeer past. Iets dat niet meteen in je wereldbeeld past, kan jou in gang zetten om breder over de wereld na te denken. Gevoelsmatig is dit misschien geen fijne oplossing, omdat je op artificiële systemen moet vertrouwen, maar anders blijf je hangen in je eigen menselijke tekortkomingen.’ Waarom zou ik op een artikel klikken dat niet in mijn zoeksfeer past? Ik zou misschien nog eerder aangeven aan Facebook dat ik zoiets niet op mijn tijdlijn wil zien verschijnen. ‘Jij, als mens, staat vrij, maar als jij beseft dat zo’n artikel, geïnspireerd door artificiële intelligentie, jou nieuwe dingen wil en kan bijleren, zou je er misschien wel op klikken. Dat is juist het dal waaruit je probeert te komen, je probeert je eigen inzicht te verbreden.’ Is dat niet paradoxaal? We willen een grotere diversiteit aan informatie om ons opener te maken, maar we hebben al een zekere openheid nodig om die diverse informatie toe te laten. ‘Die openheid is niet essentieel, het is een facilitator om stapsgewijs dichter bij een verbreed inzicht te komen. De crux is om die openheid stapsgewijs te creëren.’ We blijven ook afhankelijk van de goodwill van de grote digitale spelers, de mensen die hun input geven. Hoe probeert u hen te verleiden? ‘Zeker, ik neem de taak op mij om dit onder de aandacht te brengen. Ik doe een ethisch appel, maar ik realiseer me ook dat Facebook en Google zich laten leiden door wat winstgevend is. Uit ethische overtuigingen gaan ze niet hun algoritme aanpassen. Ik ben maar één persoon, maar als elders nog meer mensen die taak op zich nemen, kunnen er collectieve tegenacties komen.’ ‘Helaas is het zo dat de mensen die bezig zijn met discriminatie zich richten op de sociale mechanismen van uitsluiting. Ze beseffen nog niet dat ook artificiële systemen discrimineren. Stel dat kranten zoals het NRC of De Volkskrant algoritmes gaan gebruiken om artikelen te schrijven. De algoritmes gebruiken bijvoorbeeld alle artikelen die verschenen zijn in de afgelopen tien jaar om nieuwe nieuwsberichten te genereren. Maar als alle artikelen van de afgelopen tien jaar heel negatief geweest zijn over Marokkanen, als die input al vertekend is, dan zal de output ook niet rooskleurig zijn. Data hebben context en als je de context niet meeneemt, dan ben je alleen maar zelfbevestigend bezig. Aan de ene kant heb je dus mensen uit de technologische wereld die weinig geven om het ethische appel. Aan de andere kant heb je mensen die vechten tegen sociale discriminatie, maar beperkt zijn in hun technologisch inzicht.’ Het klinkt misschien cynisch, maar het lijkt alsof technologische spelers alleen tegemoet zullen komen aan dat ethisch appel wanneer de bevolkingsgroepen die onderwerp van discriminatie zijn kapitaalsterk genoeg staan om hen af te straffen. ‘Ja, en dat gebeurt nog niet. Juist omdat men de consequenties van de technologie nog niet goed genoeg kan inschatten. Daarom investeer ik nu veel meer in technologische bewustmaking van sociale activisten dan in ethische bewustmaking van technologische spelers. Daar ben ik minder hoopvol over.’ Hij bevindt zich dus in een moeilijk strijdveld, maar nu mens en technologie steeds meer met elkaar vergroeien, spreekt Ghebreab niet meer tegen dovemansoren. ‘Ik bekijk het internet als een uitbreiding van ons brein. Evolutionair gezien ontstond eerst het reptielenbrein, dat voor de basale functies als ademhalen, voortplanten en vluchten zorgt. Daarbovenop kwam later het emotionele brein, het limbische systeem,dat onze emoties en impulsen reguleert. Vervolgens ontwikkelde zich het cognitieve brein in de buitenste laag van onze hersenen, de neocortex, ons abstract en rationeel denkvermogen. Ik beschouw het internet als een nieuwe externe laag rondom de neocortex, een evolutionaire toevoeging die ik de exocortex noem. De exocortex zou de neocortex met nuttige informatie kunnen verrijken, maar appelleert nu vooral aan het emotionele brein. Al die mensen die op het internet hun donkerste kant laten zien, dat is de exocortex die een extensie is geworden van emotionele impulsen.’

Terreur

Ghebreab bereikte zelf Nederland als vluchteling. Ten tijde van de militaire dictatuur van Mengistu Haile Mariam in Ethiopië (1977-1991), waren zijn ouders lid van het Eritrese verzetsleger, dat de onafhankelijkheid van Eritrea nastreefde. Toen de oorlog tussen Ethiopië en het geannexeerde Eritrea, alsook Mengistu’s Rode Terreur – het brutale en gewelddadige uitschakelen van politieke tegenstanders – een macaber hoogtepunt bereikte, werd het voor het ouderpaar te gevaarlijk. Met een zes jaar oude Sennay en zijn twee zusjes, vluchtten ze in 1979 per kameel, jeep en te voet naar Sudan. Omdat zijn vader werkte bij Philips in Addis Abeba (Ethiopië) en Asmara (Eritrea), leidde de vlucht uiteindelijk tot Nederland. ‘Het is niet te vergelijken met wat vluchtelingen vandaag meemaken. Tot Sudan was het spannend, maar vanaf Sudan verliep onze vlucht als het ware tv-kijkend in het vliegtuig. Wij hadden de luxe om het vliegtuig te nemen, in tegenstelling tot de mensen nu. Ik ben normaal gesproken een positief denkend mens, maar het is schrikbarend wie er nu in het vluchtelingendebat gecriminaliseerd wordt. Een Eritrese priester in het Vaticaan (Muzzie Zera, red.) helpt bijvoorbeeld al sinds 2012 Eritrese vluchtelingen in nood. Hij heeft werkelijk duizenden Eritreeërs van de dood gered. Anderhalf jaar geleden zat hij op de shortlist voor de Nobelprijs, nu is hij door de Italiaanse overheid beticht van mensenhandel. Hij heeft namelijk contact met mensensmokkelaars. Natuurlijk, iedereen belt hem op. Wie mensen helpt, wordt nu gecriminaliseerd. De geest van de tijd, helaas.’ Het draagt bij tot de sense of urgency die bij Ghebreab leeft. ‘Ik wil werken aan meer bewustwording van het publiek. Social justice warriors vandaag worden alsmaar heftiger in hun acties, maar hebben geen oog voor de technologische ontwikkelingen die ons te wachten staan. Als ze ooit hun strijd tegen racistische mensen gewonnen hebben, wacht hen nog een veel grotere strijd tegen racistische machines. Vijf jaar geleden lachten mensen je uit als je over racistische machines sprak. Mijn studenten dachten: “Leuke cursus, maar wat moeten we er nou mee?” Nu komt het echt dichtbij. Ik wil helpen om een voedingsbodem te creëren om deze problemen ernstig te nemen.’