Een kritische blik op het discours van de beoefenaars en een weg voorwaarts
In september 2019 gaf Mike Monteiro, directeur van Mule Design en een echte autoriteit in zijn vakgebied, een uitlokkende keynote op de internationale EuroIA-conferentie voor informatiearchitecten en UX-designers. De titel was “Laten we Silicon Valley vernietigen” en zijn boodschap was relatief eenvoudig: alles wat momenteel mis gaat in de technologische wereld is op die manier ontworpen. Zijn kritiek was breed en hield verband met verschillende actuele uitdagingen, variërend van haatzaaiende uitlatingen op sociale media, cyberpesten, algoritmische manipulatie en racisme, tot aan seksisme en inbreuken op de privacy. Zijn niet zo subtiele bewering was dat al deze vervelende zaken het resultaat zijn van bewuste ontwerpbeslissingen. Monteiro wilde professionals uit de digitale vormgeving hiermee rechtstreeks aanspreken. En hen ook beschuldigen van deze schadelijke effecten. In harde, maar wel zeker duidelijke bewoordingen probeerde hij een belangrijk punt duidelijk te maken: dat ontwerpers een grote verantwoordelijkheid dragen en zich niet langer moeten verschuilen achter de ‘enge’ focus van hun dagelijkse werk die meestal draait om vrij praktische ontwerpvragen.
“Ontwerpers zijn poortwachters en moeten streven naar maximale positieve impact; ze kunnen dit niet doen zonder een standpunt in te nemen en een stem te hebben in het debat”
Volgens Monteiro, die er een boek over schreef, zijn ontwerpers namelijk net zo schuldig aan de schade van technologie als hun managers en CEO’s. Hij zegt dat stellen dat “Ik ben maar een ontwerper” misschien niet alleen naïef is, maar ook ronduit onverantwoordelijk. Aan het einde van wat sommigen een epische tirade zouden kunnen noemen, deed Monteiro een pleidooi voor ontwerpers om zich bewust te zijn van de kracht die ze uitoefenen, om zich te verenigen en zich te verzetten tegen onethische praktijken die zo wijdverspreid zijn geworden in de technische sector. Ontwerpers zijn poortwachters en moeten streven naar maximale positieve impact; ze kunnen dit niet doen zonder een standpunt in te nemen en een stem te hebben in het debat. Velen in het publiek waren het daarmee eens, terwijl anderen zich overmatig aangevallen voelden en sommigen zelfs duidelijk overstuur vertrokken.
Ik was een van de weinige aanwezigen op het evenement die geen connectie hadden met het gebied van UX-design. Als buitenstaander was het interessant om de reacties te observeren en daarna met enkele aanwezigen te praten. Wat opviel waren de verschillende niveaus waarop design practitioners aandacht schonken aan de kritieke kwesties die ik vaak samenvat als data risico’s en/of data malpraktijken. Verschillende van mijn gesprekspartners hadden een behoorlijk diepgaand begrip van wat er mis ging in de technologie. Anderen schenen niet veel aandacht te hebben besteed aan deze uitdagingen of waren zich slechts even goed bewust van de problemen als ieder ander die het nieuws volgt. Vaak waren dezelfde mensen een beetje verbaasd, zo niet overweldigd, dat al deze “slechte problemen” plotseling onder hun verantwoordelijkheid vielen. Monteiro’s toespraak stond in contrast met de sfeer van de conferentie tot dan toe: positief, creatief en gericht op technologie, maar zeker ook innovatie. De meesten waren daar om ervaringen en ideeën uit te wisselen en over trends te praten. Precies zoals je zou verwachten van een conferentie voor ontwerpers. Velen zagen deze fundamentele kritiek op hun beroep niet aankomen.
“Veel mensen waren een beetje verbaasd, zo niet overweldigd, dat al deze “slechte problemen” plotseling onder hun verantwoordelijkheid vielen”
Wat me een beetje verbaasde, was dat ik geen van de dingen waar Monteiro over sprak als echt nieuw of verrassend beschouwde. Hij versterkte zeker de visuele en retorische beelden, maar in de kern vatte hij kwesties samen die in de academische wereld in ieder geval sinds het begin van de jaren 2010 aan kritische discussies waren onderworpen. Je zou kunnen zeggen dat het bespreken en analyseren van sociale impact en het formuleren van kritiek de hoofdtaak is van veel “academische types” zoals ikzelf. Ik ging er echter vanuit dat beoefenaars van technologie en design evenveel aandacht schonken aan de nadelen van de digitale transformatie als hun collega’s op de universiteit. Nu was ik daar niet meer zeker van. Het voelde een beetje alsof hij uit mijn “intellectuele bubbel” barstte. Sindsdien probeer ik beter te begrijpen hoeveel ontwerpprofessionals praten over ethische uitdagingen, hoe ze die begrijpen en welke oplossingen ze voorstellen. Om de reikwijdte echter te beperken, richt ik me voornamelijk op data bias als een concreet datarisico. Hieronder vat ik samen wat ik zou kunnen verzamelen over het UX- en tech-debat over data bias en discriminatie in de digitale samenleving. Het is geen representatieve kwantitatieve studie, maar eerder een verkenning van anekdotische bevindingen uit mijn zeer beperkte onderzoek tot dusver. Toch bevat dit een overzicht van actuele thema’s en onderwerpen en een voorlopige categorisering van vooringenomenheid gerelateerde uitdagingen in UX.
Data Bias als een uitdaging voor UX
Kijkend naar de huidige discussies over vooroordelen en discriminatie, vooral in “big tech”, kan men gerust zeggen dat er de afgelopen twee jaar weinig ten goede is veranderd. Het zou echter verkeerd zijn om aan te nemen dat ontwerpers onwetend, lui of gewoon nog steeds niet op de hoogte zijn van het probleem. De realiteit ziet er veel ingewikkelder uit. Het heeft veel te maken met de complexiteit van het probleem, de wortels in de cultuur en de samenleving, de manier waarop de digitale economie werkt en hoe lang het simpelweg duurt om tastbare verandering te initiëren.
Data bias is altijd een belangrijk onderwerp geweest voor UX-professionals. Om te beginnen, om UX-oplossingen te ontwerpen die waarde bieden, is grondig onderzoek naar de doelgroep vereist. Uw waarnemingen zijn pas zinvol als wat u waarneemt ook daadwerkelijk representatief is voor de mensen voor wie u een digitale oplossing wilt bedenken. UX-onderzoekers testen veel, en de kwaliteit van de resultaten hangt sterk af van de gekozen onderzoeksopzet en een kritische blik op alle factoren die een rol kunnen spelen, vooral op een deel van ‘de gebruiker’ (die haar verwachtingen, sociale omgeving of technologisch ecosysteem). Onderzoek vergt ook veel middelen en u wilt ervoor zorgen dat u geen tijd en geld verspilt aan resultaten die mogelijk misleidend zijn. Daarom zal een snelle Google-zoekopdracht nogal wat hits opleveren voor websites die advies geven over hoe om te gaan met verschillende vormen van bias van onderzoekers: voorkeur voor bevestiging, vooringenomenheid in de beschikbaarheid, vertekening in formuleringen, Hawthorne-effecten, sociale wenselijkheid etc. Dit zijn inderdaad onderzoeksvooroordelen die gegevens kunnen opleveren en die vervolgens niet heel erg geschikt zijn om een effectief ontwerp te ontwikkelen. Dit zijn echter meer technische soorten vooroordelen die niet (altijd) direct verband houden met vormen van uitsluiting en (onvrijwillige) discriminatie. Dergelijke meer diepgaande uitdagingen vloeien vaak voort uit een complex samenspel tussen culturele vooroordelen, een gebrek aan diversiteit in ontwerpteams, praktische beperkingen en economische druk. Toegegeven, veel UX-sites noemen ‘culturele vooringenomenheid’ ook als een valstrik die moet worden vermeden, maar het kan gaan om een gebrek aan culturele gevoeligheid bij het ontwerpen voor buitenlandse markten (bijv. Van de VS tot China) of het wordt nogal oppervlakkig omschreven als een probleem dat kan belemmeren met UX-onderzoek; ze leggen niet echt uit wat de diepere wortels zijn en hoe de status quo in de beroepspraktijk blijvend kan worden veranderd. Alles bij elkaar is data bias hier vooral een uitdaging voor UX research design in het professionele discours.
“Data bias brengt onder meer discriminatie met zich mee door een zeer complex samenspel tussen culturele vooroordelen, een gebrek aan diversiteit in ontwerpteams, praktische beperkingen en economische druk”
Vragen over racisme, seksisme, kundigheid en andere uitsluitingen op basis van demografische factoren zijn iets ingewikkelder om aan te pakken. Ze sluiten vaak aan op de bovengenoemde uitdagingen, maar vragen UX-ontwerpers ook om kritisch te kijken naar hun eigen aannames over de samenleving en hoe ze cultuur uitoefenen in hun bedrijven, dat wil zeggen, waarden definiëren, diversiteit definiëren en kritisch nadenken over bredere kwesties dan ‘alleen’ bemonstering. Om deze bredere problemen aan te pakken, moeten ontwerpers ook hun verantwoordelijkheden voor de samenleving erkennen, waar Monteiro op wees zonder enige woorden te slikken.
De onderliggende problemen
In de afgelopen jaren hebben veel UX-professionals inderdaad een meer kritische kijk op de stand van hun beroep en hoe ze de grotere uitdagingen met betrekking tot uitsluiting en discriminatie kunnen aanpakken. Op plaatsen zoals Medium delen thought-leaders hun opvattingen, analyses en bieden ze uitgangspunten voor het vinden van manieren om te corrigeren wat er mis gaat, hoewel het ontwikkelen van oplossingen erg moeilijk lijkt vanwege de complexiteit van de onderliggende problemen. Kijkend naar wat naar voren is gebracht als de belangrijkste oorzaken van data bias buiten de individuele keuzes van UX-onderzoekers, vallen hier verschillende kwesties op. Ten eerste kan er een mix zijn van naïviteit, misverstanden en onwetendheid onder tech-makers en ontwerpers die voorkomen hen door te voorzien hoe een digitale oplossing schade kan toebrengen aan specifieke groepen mensen. Racistische of seksistische algoritmen zijn gedeeltelijk het resultaat van een gebrek aan empathie (als je nog nooit racisme hebt meegemaakt, is het moeilijk om een racistisch gebruik van een technologie voor te stellen zonder dat iemand je erover vertelt). Vervolgens is een tekortkoming in kritisch denken even impactvol en houdt hier direct verband mee. Ontwerper Amrutha Palaniyappan wijst er bijvoorbeeld terecht op dat de makers van de TAY-chatbot van Microsoft schromelijk hebben onderschat hoe giftig debatten op sociale media zijn.
“Er is een breder publiek debat nodig over de rol van technologie in ons dagelijks leven”
Maar ook andere actuele voorbeelden kunnen worden genoemd, zoals de zogenaamde buurtapps als Nextdoor, Amazon’s Neighbours of Citizens. Deze lokaal georiënteerde sociale mediaplatforms stellen gemeenschappen in staat om elkaar op de hoogte te houden, lokaal nieuws te delen, middelen te delen, reclame te maken voor lokale bedrijven maar ook om verdacht gedrag te melden bij de politie. In verschillende gevallen in de VS hadden deze apps een gemengde impact: hoewel ze voor sommige gemeenschappen erg nuttig zijn om de algehele kwaliteit van leven te verbeteren, zijn ze onder meer instrumenten geworden voor raciale profilering en uitsluiting. In sommige wijken gebruiken bewoners de app om te bepalen wie er welkom is om naast hen te wonen en wie niet, vaak in duidelijk racistische taal. Als reactie hierop heeft Nextdoor bepaalde functies geannuleerd en een herinnering toegevoegd om beleefd te zijn voordat een gebruiker een bericht naar zijn lokale gemeenschap plaatst. Het is onwaarschijnlijk dat deze laatste interventie veel zal helpen.
Hoewel UX-ontwerpers niet kunnen worden uitgekozen en verantwoordelijk kunnen worden gehouden voor heersende vormen van racisme in de samenleving met diepe historische wortels, moeten ze kritischer kijken naar hoe de mogelijkheden van hun ontwerpen kunnen worden misbruikt en moeten ze effectieve tegenmaatregelen bedenken. Het gebrek aan begrip, empathie en een “visie op wat er mis kan gaan” wordt vaak verklaard door een gebrek aan demografische diversiteit bij technologiebedrijven en in het ontwerpvak. Dit kan aanleiding geven tot dergelijke onbewuste vooroordelen. Met meer diverse achtergronden in een team, hoe groter de kans om vooroordelen te ontdekken en potentieel zeer consequente eenzijdige aannames te markeren.
“Met meer diverse achtergronden in een team, hoe groter de kans om vooroordelen te ontdekken en potentieel zeer consequente eenzijdige aannames te markeren”
Een vrij pragmatische aanbeveling voor kleinere organisaties is om te netwerken en samen te werken met anderen van binnen en buiten het veld. Dit kan de blindheid voor schade verminderen, dat ook het gevolg kan zijn van een gebrek aan (interdisciplinaire) samenwerking met experts en mensen die te maken hebben met data biases. Hoewel diversiteit in het personeelsbestand inderdaad een belangrijk onderwerp is om te bespreken (in de hele samenleving), zal het op zichzelf geen effectief tegengif zijn. Een kritische factor die aanleiding geeft tot data-bias en de negatieve effecten ervan, is nogal pragmatisch van aard; ze komen voort uit een prioritering van zakelijke overwegingen: strakke leveringstermijnen, hoge werkdruk, voortbouwen op legacy-codes en een heersende “profit first”-filosofie in de technische sector. Dit zijn oorzaken die net zo fundamenteel zijn als bestaande culturele vooroordelen in de samenleving en die niet volledig kunnen worden aangepakt door ontwerpprofessionals alleen, maar er is ook een breder publiek debat nodig over de rol van technologie in ons dagelijks leven. Ook hier moeten consumenten en (democratisch gekozen) toezichthouders een standpunt innemen. Bijvoorbeeld door bedrijven te straffen die blijkbaar gebrekkige digitale oplossingen haasten die zijn gebouwd met inherente gegevensvooroordelen.
De weg vooruit
Samenvattend kunnen we twee bredere categorieën van gegevensvooroordelen identificeren in de professionele discoursen: 1) vooroordelen in praktisch, dagelijks UX-onderzoek en 2) diepere vooroordelen in UX en technisch ontwerp als professionele culturen, die rechtstreeks van maatschappelijke vooroordelen en hun diepe geschiedenis. Beide zijn nauw met elkaar verbonden, omdat vooral de laatste aanleiding kunnen geven tot de eerste. Kijkend naar de discussie tussen UX-professionals, zie je dat er bewustzijn en bereidheid is om het probleem op te lossen. Het veld reageert op de uitdagingen van Monteiro en reflecteert kritisch over zijn verantwoordelijkheden.
Echter, het is belangrijk om te erkennen dat niet elk probleem dat met technologie en design gepaard gaat, efficiënt kan worden aangepakt met een tech-design-mentaliteit. Vooral als het gaat om de grotere onderliggende problemen: er is geen snelle en elegante oplossing. Data bias is een complexe en moeilijke kwestie die niet permanent kan worden opgelost. In plaats daarvan vereist het constante waakzaamheid en dialoog met diverse belanghebbenden uit verschillende domeinen in de samenleving, bijvoorbeeld bestuur, onderzoek en burgers/gebruikers. Als zelfs de woorden die we in de technologie gebruiken, vooroordelen kunnen weerspiegelen die in de samenleving zijn geïnternaliseerd, dan zou het oneerlijk zijn om UX-ontwerpers zelf te laten nadenken over hoe ze technologie op zichzelf inclusiever kunnen maken. Tegelijkertijd moeten UX-professionals hun begrip vergroten van hoe technologie verschillende mensen en hun relaties beïnvloedt, en bondgenootschappen zoeken met andere experts om schade te minimaliseren en de voordelen voor hun doelgroepen te maximaliseren. Onderzoek op het gebied van Human-Computer-Interaction (HCI) en aanverwante disciplines die zich richten op UX biedt hier bruikbare inzichten en richtlijnen voor ethische beroepspraktijken.
De producties voor deze missie worden ondersteund door redacteur Aaron Golub
Bekijk hier andere items van deze missie:
Waarom data bias een lastig fenomeen is
