Wat computers ons over discriminatie kunnen leren
"This is 100% not OK," zei Google executive Jonatan Zunger vorig jaar over een door Google zelf ontwikkelde app. De Google app kan automatisch je mobiele foto’s categoriseren. Op zich heel handig, vooral als je heel veel foto’s hebt. De app kwam vorig jaar veelvuldig in de media omdat het mensen met een donkere huidskleur categoriseerde als gorilla in plaats van als mens.
De technologie maakt gebruik van vooroordelen. De app leert zelf het onderscheid tussen foto’s in de stad of foto’s op het strand, of tussen foto’s van katten en foto’s van koeien. Het leert verschillen tussen categorieën op basis van onderscheidende kenmerken in miljoenen van voorbeeld plaatjes. Het leert bijvoorbeeld dat katten vooral binnenshuis voorkomen en koeien in de wei. Dit vooroordeel gebruikt de app om een koe snel en grof te herkennen op basis van een stukje groen in een foto, dus op basis van gras.
Generalisaties, vooroordelen dus, hebben wij allemaal, bewust of onbewust. Het is een snelle en grove manier van onze hersenen om doelmatig te zijn. Je bent bijvoorbeeld meer op je hoede bij een vrachtwagen dan bij een personenauto simpelweg omdat je uit ervaring weet dat vrachtwagens vaker zwabberen op weg. Zonder vooroordelen zou je op de weg bij alle voertuigen in de hoogste staat van paraatheid zijn. Dat is slopend en niet nodig. Je zou kunnen zeggen dat vooroordelen ontstaan omdat je leert. Claimen dat je niet bevooroordeeld bent, staat gelijk aan claimen dat je geen hersenen hebt.
Vooroordelen helpen dus om de wereld om ons heen te ordenen. Tegelijkertijd kunnen vooroordelen negatieve gevolgen hebben voor de wijze waarop mensen met elkaar omgaan. Uit onderzoek blijkt bijvoorbeeld dat werkgevers zich tijdens het werving- en selectieproces regelmatig laten leiden door vooroordelen over groepen. Zo krijgen autochtone Nederlanders veel meer positieve reacties op hun sollicitaties dan Marokkanen en Surinamers, ook al hebben ze precies dezelfde kwalificaties. Als mensen worden achtergesteld vanwege vooroordelen … dan is er sprake van discriminatie.
Ook technologie kan dus discrimineren. De Google app was discriminerend … omdat het gevoed werd met enkele donkere mensen als voorbeeld van gorilla’s. Het leerde onderscheidende kenmerken tussen aan de ene kant blanke personen en aan de andere kant donkere mensen en gorilla’s. Was de app gevoed met aan de ene kant foto’s van allerlei verschillende mensen – Afrikanen, Amerikanen, Aziaten, Europeanen, vrouw, man, jong , oud - en aan de andere kant gorilla’s, dan zou deze app donkere mensen niet als gorilla’s beschouwen. Diversiteit als voeding zorgt dus voor minder discriminatie.
Google heeft inmiddels de categorieën en kenmerken aangepast waarmee het de wereld ordent. En misschien wel belangrijker: het gebruikt nu veel meer gevarieerde voorbeelden van alle beschikbare categorieën. Zo weet de Google app nu dat mensen heel diverse zijn, en tegelijkertijd specifieke kenmerken hebben waarmee ze zich onderscheiden van Gorilla’s.
Wij leven in een maatschappij waarin het verboden is mensen ongelijk te behandelen, achter te stellen of uit te sluiten op basis van persoonlijke kenmerken zoals huidskleur, sekse, leeftijd of religie. Toch komt discriminatie dagelijks voor. Kinderen met een donkere huiskleur worden systematisch ondergewaardeerd op school, op de arbeidsmarkt maken vrouwen minder kans op promotie, en moslims, tja die worden nu overal in de maatschappij achtergesteld. Maar misschien helpen machines ons om in te zien dat diversiteit juist een oplossing is, een medicijn, tegen vooroordelen die leiden tot discriminatie.