Vorige week ontmoetten we onze onderzoeksgroep bij HEMD voor een brainstorm / inspiratiesessie over hoe ontwerpers kunnen bijdragen aan oplossingen voor data bias door een specifieke tool te ontwikkelen – een potentiële ‘data bias detector’ of ‘data bias thermometer’. We willen de resultaten hieronder graag met je delen.
Tijdens de bijeenkomst hebben we twee algemene soorten data-bias geïdentificeerd:
- Vooringenomenheid bij het verzamelen van gegevens, wat resulteert in een vertekende gegevensset
- Vooringenomen clustering, categorisering en rangschikking van de gegevens uit de dataset, resulterend in het samen clusteren van verschillende groepen gegevens en die invloed hebben op de algehele gegevens (vertekende parameters, algoritmische vertekening, vertekende categorieën)
Verzameling van gegevens
De eerste categorie van gegevensbias vereist dat we opnieuw nadenken over hoe we onze gegevens verzamelen. Wanneer overheden, bedrijven of mensen nieuwe producten of diensten ontwerpen, doen ze dat vaak omdat ze iets willen ontwerpen dat mensen helpt, problemen oplost en waarde biedt. Om te zien of het werkt, moeten ze hun producten of diensten testen en gegevens verzamelen. Het kan voor hen aantrekkelijk zijn om gegevens te verzamelen binnen hun bestaande netwerken, of vrienden te vragen hun gegevens te delen. Om bijvoorbeeld tijd te besparen en snelle resultaten te krijgen, zou een ontwerper gebruikers / respondenten voor een test kunnen rekruteren uit haar vrienden, familie en collega’s. Deze delen vaak vergelijkbare kenmerken in termen van etniciteit, opleiding, inkomen enzovoort. We hebben de neiging om samen te komen met mensen die deze dingen met ons gemeen hebben. De ontwerper krijgt dan mogelijk gebruikersgegevens van individuen die er eigenlijk min of meer hetzelfde uitzien. Stel je een blanke ontwerper voor die voornamelijk goed opgeleide blanke vrienden uit de middenklasse heeft, die zelf veel vrienden hebben met een vergelijkbare achtergrond, en die allemaal hun gegevens delen. Die gegevens zeggen misschien veel over deze specifieke groep mensen, maar zijn niettemin bevooroordeeld – aangezien ze geen andere potentiële gebruikersgroepen vertegenwoordigen. Huidskleur is slechts een voorbeeld; u kunt het in feite ruilen voor vele andere demografische, culturele, taalkundige en fysieke kenmerken (accent, lengte, geslacht, leeftijd, gezondheid enz.).
Mainstream
Het kost tijd en geld om gegevens te verzamelen van een diverse groep mensen, en soms beschikken overheidsorganisaties, bedrijven of individuele techmakers niet over deze bronnen. Dat is de reden waarom ze waarschijnlijk alleen de gegevens gebruiken die ze hebben over mensen die relatief dicht bij hen staan of die ze beschouwen als de “mainstream”. Een voorbeeld van de gevolgen die dit kan hebben, komt uit Michigan: daar werd onderzocht hoe goed apparaten, die waren ontwikkeld om het zuurstofgehalte van mensen in hun bloed te meten, werkten. Het bleek dat de apparaten niet goed werkten bij zwarte mensen. Dit betekent dat zwarte mensen een hoger risico hebben om aan ziekten te lijden die te wijten zijn aan te hoge of te lage zuurstofniveaus in hun bloed, zonder dat dit wordt gedetecteerd. Dit kan na verloop van tijd erg gevaarlijk zijn.
Een ander voorbeeld van bevooroordeelde gegevensverzameling betreft coronavaccins. De gegevens over de effecten van het AstraZeneca-vaccin zijn voornamelijk verzameld van mensen onder de 60 jaar. Dit komt deels omdat het gevaarlijk kan zijn voor mensen boven de 60 om deel te nemen aan het testen van het vaccin. Als gevolg hiervan zijn er nu echter tal van mensen in de leeftijdscategorie 60+ die worden gevaccineerd met de nieuwe vaccins en het is niet zeker hoe dit hen kan beïnvloeden, aangezien ze geen deel uitmaakten van de tests. Maar data bias wordt ook een uitdaging in minder voor de hand liggende situaties. Wanneer lokale overheden bijvoorbeeld buitenspeeltuinen willen bouwen, gebruiken ze ook data van de doelgroep, kinderen die buiten spelen. Omdat dit om verschillende redenen vaak jongens zijn, kan het ontwerp van de speelplaats enigszins genderafhankelijk zijn, d.w.z. niet volledig inclusief voor meisjes in dezelfde leeftijdscategorie.
Clustering, categorisering en rangschikking van gegevens
De tweede categorie van data bias, waarbij het probleem in de output wordt opgemerkt, is moeilijker. Het betreft gegevens die organisaties al hebben en hun algemene vertegenwoordiger voor de hele bevolking. Voorbeelden zijn overheidsgegevens over belastingen of volkstellingen. Het probleem is hier vooral een ongunstige clustering en rangschikking van gegevens over mensen. Stel je een algoritme voor dat mensen met een migratieachtergrond beschouwt als meer vatbaar voor fraude of dat inwoners van bepaalde stedelijke gebieden vatbaarder zijn voor criminaliteit, alleen omdat ze daar wonen. De algoritmen die beslissingen nemen over mensen worden geleid door de aannames, doelen en bedoelingen van de organisaties die ze gebruiken. Het is handig om een tool te hebben die mensen automatisch categoriseert en rangschikt, maar wat als het algoritme menselijke vooroordelen weerspiegelt en b.v. racistisch of seksistisch? Hoe krijgen we (als ontwerpers) controle over het algoritme?
Een hoofdvraag zou dan zijn: hoe kunnen ontwerpers organisaties helpen zich bewust te worden van en handelen naar de vooroordelen in hun systemen? Tijdens de bijeenkomst van de onderzoeksgroep pitchen onze teamleden concepten en ideeën die organisaties mogelijk zouden helpen bij het identificeren van verschillende vormen van vooringenomenheid: geslacht, ras, etc.
De producties voor deze missie worden ondersteund door redacteur Aaron Golub, illustratie is gemaakt door Natascha van der Vegt
Bekijk hier andere items van deze missie:
Waarom data bias een lastig fenomeen is
