Over algoritmen, ongeletterdheid en ongelijkheid
Kunstmatige intelligentie is niet meer iets uit horrorfilms en stripboeken. Het is er, het bestaat. Hoe zorgen we ervoor dat machines niet dezelfde fouten maken als wij? In deze Brainwash talk gaat Neuro-informaticus Sennay Ghebreab op zoek naar een antwoord op die vraag. Hieronder volgt de tekst van de lezing.
Dames en heren,
Ik neem U mee naar een incident in 2006. Na een hele dag op de Universiteit te hebben gewerkt, besloten een aantal collega’s en ik, om naar huis te gaan. Het was na zessen en de balie was al gesloten. Daarom moesten wij het gebouw verlaten via een kleine automatische draaideur. Mijn collega’s gingen een voor een naar buiten. Toen ik de deur naderde, stopte het met draaien. Ik dacht dat er wat mis was met de deur, maar toen een collega het probeerde liep hij moeiteloos naar buiten. Bij mij bleef de deur maar weigeren. Mijn collega’s lachten er om, ik kreeg een ongemakkelijk gevoel van de draaideur. Een gevoel dat snel plaats maakte voor nieuwsgierigheid. Waarom draaide de deur wel voor mijn collega’s, maar niet voor mij. Waarom werden zij wel gezien, en ik niet?
Het toeval wilde dat ik gepromoveerd was op algoritmen voor automatische beeldherkenning. Bijvoorbeeld voor herkenning van tumoren in medische beelden, of herkenning van mensen in videobeelden die zijn opgenomen door een draaideur. Ik wist dus hoe zulke algoritmen werkten. Je geeft een algoritme voorbeeldplaatjes van een te herkennen object, bijvoorbeeld een mens, en van andere voorwerpen. Vervolgens leert het algoritme zelf regels opstellen om dat object te onderscheiden van andere voorwerpen. Wat een algoritme niet eerder gezien heeft, kan het dus niet onderscheiden of herkennen. Ik vermoedde dat de draaideur op de universiteit een algoritme gebruikte dat was getraind met plaatjes van witte personen, zoals mijn collega’s, waardoor het zwarte personen, zoals ik, niet goed herkende.
Door het draaideur incident realiseerde ik me dat algoritmen niet neutraal zijn. Ten eerste zijn algoritmen afhankelijk van de makers van die algoritmen. Die makers voeden die algoritmen immers met voorbeeldplaatjes. Ten tweede leren algoritmen ook van de input van hun gebruikers. Zo leren Facebook en Google algoritmen bijvoorbeeld van het klik- en zoekgedrag van hun gebruikers. Als makers en gebruikers van algoritmen, wij mensen dus, bewust of onbewust, uitsluitend gedrag vertonen zullen algoritmen dat gedrag overnemen.
Neem nou als voorbeeld de app die Google in 2016 lanceerde voor automatische objectherkenning. Die app bleek zwarte personen te categoriseren als gorilla. Veel zwarte mensen gaven hier natuurlijk aanstoot aan. Zij zagen de app als een bevestiging van racisme en uitsluiting in de maatschappij. Wat bleek, Google’s algoritme had niet genoeg voorbeelden gezien van zwarte personen om hen te kunnen categoriseren als mens. Google betuigde publiekelijk spijt voor deze app encorrigeerde het algoritme door het te voeden met voorbeeldpaatjes van Europeanen, Amerikanen, Aziaten en Afrikanen. Google’s algoritme werd dus inclusiever gemaakt door het als het ware in “aanraking” te brengen met de diversiteit aan mensen.
Dit voorbeeld laat zien dat algoritmen zowel een gevaar als een kans vormen. Het gevaar is dat algoritmen onze foute menselijke impulsen, zoals uitsluitend gedrag, massaal overnemen en propageren. De kans is dat algoritmen ons een spiegel voorhouden, en ons technische oplossingen bieden voor onze menselijke tekortkomingen. Google’s incident bijvoorbeeld maakt veel mensen bewust van hoe uitsluiting werkt. Wat de mechanismen erachter zijn. En Google’s oplossing laat het belang zien van diversiteit in de strijd tegen sociale discriminatie en uitsluiting.
Helaas zijn er tal van andere voorbeelden waarin algoritmen bepaalde bevolkingsgroepen systematisch uitsluiten. Algoritmen discrimineren migranten in juridische zaken, benadelen vrouwen bij financiele transacties, en ouderen bij medische behandelingen. Om maar enkele voorbeelden te noemen. Algoritmen worden zelfs ingezet om bepaalde bevolkingsgroepen op te hitsen en te mobiliseren voor politieke doeleinden. Denk bijvoorbeeld aan het bedrijf Cambridge Analytica, dat een kwalijke rol speelde in de verkiezingscampagne van Trump. Het bedrijf zette in het geheim algoritmen in voor cognitieve manipulatie en emotionele mobilisatie van miljoenen kiezers. Daarmee deed het bedrijf een systematische aanval op de Amerikaanse rechtsstaat.
Bedrijven zoals Cambridge Analytica maken behendig gebruik van de onwetendheid van burgers over hoe algoritmen werken en waartoe ze in staat zijn. Facebook maakt daar zelfs haar business model van. Vorig jaar nog onthulde een ex-topman dat Facebook verslavend werkt. Dat het bedrijf inspeelt op het beloningssysteem – het dopamine systeem - in het brein van haar 2.2 miljard gebruikers. Maar het merendeel van bedrijven, organisaties en overheidsinstellingen is niet bewust van het feit dat hun algoritmen bevolkingsgroepen benadelen. Daarin schuilt een groot gevaar, want dit kan bestaande sociaal-economische ongelijkheid versterken.
Het onschuldige draaideur incident van 2006, en soortgelijke incidenten die anderen hebben ervaren in de afgelopen decennia, motiveerden mij om werk te maken van digitale geletterdheid en digitale gecijferdheid. Digitale geletterdheid omhelst zachte vaardigheden zoals het kunnen omgaan met computers, het kunnen opzoeken van informatie op het internet en mediawijsheid. Digitale gecijferdheid gaat juist om harde vaardigheden zoals algoritmisch denken en programmeren. Zowel digitale geletterdheid en digitale gecijferdheid zijn nodig om te begrijpen hoe algoritmen gemaakt worden, hoe ze werken, welke gevaren ze vormen en welke kansen ze bieden voor burgers en de samenleving als geheel. Ik leer mijn studenten digitale geletterdheid en gecijferdheid, omdat deze vaardigheden voorwaarden zijn voor inclusie en participatie in de moderne samenleving. Net zoals lezen en schrijven in het verleden belangrijk bleken voor emancipatie.
Terugkijkend bracht de draaideurervaring mij in de voetsporen van mijn grootvader en overgrootvader. Mijn overgrootvader, Teweldemedhin, zag lezen en schrijven, als voorwaarde voor participatie in de samenleving. Hij voerde daarom een strijd tegen ongeletterdheid. Van 1880-1884 theologie gestudeerd in Uppsala, Zweden. Daar hij ook twaalf talen leren spreken waaronder Engels, Zweeds, Grieks, Latijn, Arabisch en Hebreeuws. Zijn kennis van de bijbel en zijn talenknobbel gebruikte hij niet alleen om evangelische en humanistische waarden te verspreiden. Maar ook om anderen aan het lezen en schrijven te krijgen. Zo vertaalde hij de Bijbel naar het Tigrinja en Tigre, de talen die in de Eritrese hooglanden worden gesproken.
Zijn zoon Isahac, mijn grootvader dus, leerde van kleins af aan het belang van lezen en schrijven. Maar Isahac vond rekenen net zo belangrijk. In zijn ogen was rekenen een universele taal waarmee je over al kunt functioneren. Hij heeft zich dan ook zijn hele leven lang ingezet voor geletterdheid en gecijferdheid, zoals beschreven in zijn biografie The War on illiteracy. Met zijn strijd verzette hij zich tegen het onderwijs beleid van de Italiaanse kolonisator. Want dat beleid was gericht op minimale onderwijs aan Eritreeers, in een taal die niet hun eigen was. Via ongeletterdheid probeerden de Italianen, en later de Britten, Ethiopiers, de Eritrese bevolking uit te sluiten en uit te buiten. Ook vandaag de dag nog wordt ongeletterheid in Eritrea gebruikt als middel voor staatsonderwerping.
Teweldemedhin en Isahac hebben zich beiden ingezet voor emancipatie van achtergestelde groepen in de samenleving. De een deed dat door ze te bewapen met geletterdheid, en de ander met gecijferheid. Vandaag de dag zijn lezen, schrijven en rekenen niet meer toereikend voor emancipatie in welke maatschappij dan ook. Niet in Eritrea en niet in hier in Nederland. Digitale geletterdheid en digitale gecijferdheid zijn net zo belangrijk geworden. Via onderwijs en via publieke lezingen als deze zet ik mij daarom in voor digitale geletterdheid en gecijferdheid voor iedereen! Voor jong en oud. Hoog of laagopgeleid. Nieuwkomer of niet. Ook voor U! Want ook U kunt, zonder dat U daar bewust van bent, een achtergesteld positie hebben in deze digitale samenleving.
Dank U!