Voordat Lanzing zich in september 2020 bij de UvA op haar huidige onderzoek richtte, hield ze zich bij de Radboud Universiteit bezig met de Googlization of health. Centraal stond hoe grote techbedrijven zich bemoeien met de zorgomgeving en steeds meer data verzamelen binnen het zorgdomein. De zogenaamde Big Five (Apple, Amazon, Google, Meta/Facebook en Microsoft) investeerden de afgelopen jaren massaal in hun bedrijfstakken die zich bezighouden met gezondheid. ‘Ik ben nog steeds betrokken bij het Digital Good-project, waarin onderzocht wordt hoe de big tech-bedrijven verschillende sociale domeinen infiltreren en wat dat betekent voor de manier waarop deze worden vormgegeven,’ vertelt Lanzing. ‘Je ziet dat de normen, waarden en belangen. Voorheen werden beslissingen door experts en professionals genomen, tegenwoordig hebben de tech-bedrijven veel invloed op de besluitvorming.’ 

Tijdens de coronacrisis zag je hoe ook een crisissituatie gegoogliseerd wordt, vertelt ze. ‘Er diende zich een noodsituatie aan die we zelf niet goed konden oplossen. De ontwikkeling van contact tracing-apps liet zien hoe afhankelijk we zijn van big tech-bedrijven. Apple en Google waren bereid hun technologische infrastructuur te delen, maar konden vanwege hun machtspositie wel voorwaarden stellen: zo mocht elk land maar één app ontwikkelen. De vraag is of we wel moeten willen dat we in zulke mate afhankelijk worden van de technologische infrastructuren van deze bedrijven voor bijvoorbeeld zorg, onderwijs en smart cities.’ 

Privacy 

‘Een van de kernbegrippen waar we tijdens de coronapandemie mee werkten was solidariteit. Hoe denken mensen over het inzetten van surveillancetechnologie ten bate van de publieke gezondheid? We hebben ernaar gekeken met verschillende solidariteitsexperts die zich in centra in Wenen, Leuven en in een vertakking in Nederland bevinden; ik in Amsterdam en mijn oude groep in Nijmegen. Het betreft interdisciplinaire groepen waar filosofen, sociologen, politicologen en beleidswetenschappers deel van uitmaken. We onderzochten welke argumenten burgers aanhaalden ten opzichte van contact-tracing apps. Veel mensen maakten zich zorgen over privacy; niet alleen die van henzelf, maar ook die van anderen. Dit sloot goed aan bij een van de interesses die ik tijdens mijn promotieonderzoek ontwikkelde: hoe data je kwetsbaar kunnen maken voor discriminatie en manipulatie, en hoe we solidair kunnen zijn met groepen die vaker kwetsbaar zijn dan de doorsnee witte Nederlander. Privacy speelt daarin een belangrijke rol, want privacy kan je beschermen.’ 

Lanzing heeft ook lang onderzoek gedaan naar self tracking-technologieën, zoals menstruatie-trackers of gezondheidsapps die je levensstijl bijhouden. ‘Aan de ene kant verzamelen en delen we data om onszelf beter en gezonder te maken, aan de andere kant weten we dat het delen van data je enorm kwetsbaar maakt, vooral als je tot een gemarginaliseerde, onderdrukte groep in de samenleving behoort’, zegt ze hierover. ‘Digitale-burgerrechtenactivisten waarschuwen vrouwen in de VS er nu voor om hun menstruatie-apps te deleten in verband met de strengere abortuswetgeving. Je data kan tegen je worden gebruikt. We gaan er te vaak van uit dat data en technologie neutraal zijn, maar dat is niet zo. Deze technologieën zijn veel politieker dan we denken, en dat moeten we veel beter gaan begrijpen. Tijdens de ontwikkeling worden technologieën al gevoed met informatie die biased is.’ 

Bevooroordeelde dataverzameling 

Een voorbeeld van bevooroordeelde dataverzameling is gezichtsherkenningssoftware, legt de filosoof uit. ‘De data die hiervoor verzameld wordt, is vaak al bevooroordeeld. Die wordt bijvoorbeeld uit politierapporten gehaald, terwijl er in dergelijke instituties vaak structureel racisme heerst. Zo’n systeem wordt dan getraind met historische data die biased is. Dit wringt met het feit dat de techniek vaak slecht is in het detecteren van zwarte gezichten. In Londen werd een 14-jarig jongetje staande gehouden omdat hij werd herkend door dit soort gebrekkige software; het jongetje was onschuldig en liep gewoon op straat met zijn klasgenoten.’ 

‘Het gevaar bestaat dat als software op deze manier getraind wordt, er een zogenaamde feedback-loop ontstaat, die we ook kennen uit predictive policing: je stuurt agenten naar een bepaalde wijk, daar verzamelen ze data en verrichten arrestaties, die gegevens worden ingevoerd in het systeem en drie keer raden: het superintelligente systeem stuurt je de volgende dag terug naar dezelfde wijk. Het is een vicieuze cirkel.’ 

Algoritmische rechtvaardigheid 

‘Het is mij te doen om (algoritmische) rechtvaardigheid’, zegt Lanzing. ‘Hoe zorgen we ervoor dat we eerlijke systemen krijgen, waarbij we kritisch zijn op de data, op hoe het systeem ontworpen is, en op de omgeving waarin het wordt gebruikt? We kunnen ons niet uitsluitend op de data richten en dan zeggen dat als we die aanpakken, het probleem opgelost is. Als we rechtvaardige technologie willen, moeten we ook de sociale omgeving meenemen. Die twee co-construeren elkaar: technologie en maatschappij.’ 

‘Er wordt over het algemeen aangenomen dat het verzamelen van zo veel mogelijk data binnen de zorg een goede zaak is. Dat hééft natuurlijk ook voordelen, maar in de praktijk heeft slechts de groep die overwegend in de data vertegenwoordigd is daar profijt van. Groepen die om uiteenlopende redenen ondervertegenwoordigd zijn, omdat ze bijvoorbeeld minder snel een arts raadplegen, kunnen de dupe zijn. Nu is het alom bekend dat data die verzameld wordt voor de zorg, vaak gebaseerd is op onderzoek over witte mannen. Maar wat goed is voor een mannenlichaam, kan heel schadelijk zijn voor een vrouw. Hartinfarcten worden minder snel aangetoond en minder goed behandeld bij vrouwen dan bij mannen, omdat beschikbare medische kennis gebaseerd is op onderzoek naar hartproblematiek bij mannen. Nog een pijnlijk voorbeeld is dat bij onderzoek naar borstkanker, radiologen minder snel kwaadaardige tumoren vinden bij vrouwen met een lage sociaaleconomische status; nog minder snel als het vrouwen van kleur betreft. Daar zit een cognitieve bias: de vooroordelen van de behandelaar beïnvloeden de diagnose, al is dat niet met kwade opzet.’ 

Onzichtbaar systeem 

‘Inmiddels wordt diagnostiek steeds vaker gedelegeerd naar AI-systemen, die foto’s beoordelen en uitslagen interpreteren. Die systemen worden getraind door dezelfde datasets die gebaseerd zijn op de oordelen uit het verleden. Daardoor zullen die cognitieve biases deel uitmaken van de systemen, maar veel onzichtbaarder zijn. Het gevaar schuilt erin dat men ervan uitgaat dat systemen neutraal en objectief zijn, geen fouten maken en dus altijd gelijk hebben: de zogenaamde automation bias - waardoor het heel moeilijk wordt om je tegen het anonieme systeem te verzetten.’  

Lanzing neemt de kindertoeslagenaffaire als voorbeeld. ‘Het is verschrikkelijk om te ontdekken dat je door een systeem geclassificeerd bent, en dat je op basis daarvan een oneerlijke behandeling hebt gekregen. De onzichtbaarheid van het systeem is enorm griezelig. Onze gegevens  kunnen nu met de beste bedoelingen worden opgeslagen, maar over een aantal jaren kan dat heel anders zijn, en we weten nu niet tot welke groep we dan worden gerekend.’ 

Filosofische taak 

‘Dit alles vraagt erom bepaalde normatieve standpunten in te nemen en paal en perk te stellen aan bepaalde data en hoe die verzameld wordt; al betekent het dat ontwikkelingen erdoor kunnen worden afgeremd. We moeten onderzoeken wat er met onze biases gebeurt wanneer nieuwe systemen geïmplementeerd worden, en hoe we ervoor kunnen zorgen dat we solidair zijn met gemarginaliseerde kwetsbare groepen. Dataverzameling hoeft hiervoor niet altijd beperkt te worden, maar het simpelweg verleggen van de aandacht naar ondervertegenwoordigden is ook niet altijd de beste oplossing. Het verzamelen van data maakt deze groepen juist kwetsbaar voor andere vormen van discriminatie. Zo kun je je afvragen of het wenselijk is om systemen beter te trainen in het herkennen van zwarte gezichten bij misdaadbestrijding.’ 

‘Er is een rijke taak weggelegd voor filosofen om zeer kritisch naar het systeem te kijken, maar ook voor anderen. Het is bij uitstek een interdisciplinair project, omdat het erom vraagt dat we ook onder de motorkap van de technologie kijken. Dat doen we met ontwerpers, ingenieurs en andere wetenschappers, maar ook door empirisch onderzoek: mensen moeten erbij betrokken worden om te vertellen wat er speelt en waardoor zij geraakt worden. Het zijn enorme projecten waar veel tijd in gaat zitten, maar het is wel heel belangrijk dat het gebeurt, want je ziet voortdurend voorbeelden om je heen waar het niet goed gaat. Het doel is dat het onderzoek bruikbaar is, dat je er iets mee kunt, dat mensen ermee aan de slag kunnen om technologie op een andere en solidaire manier te ontwerpen.’  

Lanzing gaat samen met logicus Katrin Schulz verdere onderzoeksstappen zetten via een seed funding van het UvA-onderzoekszwaartepunt Humane AI. Het project, The Politics of Bias in AI, begint in 2023.