Om de verstrekkende gevolgen van nieuwe media voor de democratie beter te begrijpen, is vorige week een team van internationale social media-, desinformatie- en propaganda-experts samengebracht door Stichting Post-X Society, met subsidie van het Ministerie van Binnenlandse Zaken.

Tijdens de Digital Methods Summer School van de UvA ontwikkelden deze onderzoekers samen met studenten visuele tools en onderzoeksmethoden om sociale media, en de maatschappelijke gevolgen daarvan, te analyseren. Daar is behoefte aan, want grote socialmediaplatforms en hun uitwerking analyseren is erg lastig. Grote tech-bedrijven zijn namelijk niet transparant over de werking en onderliggende algoritmes, terwijl de maatschappelijke gevolgen waarschijnlijk aanzienlijk zijn. En zonder inzicht is het lastig om effectieve regelgeving te bedenken of te handhaven.

Emoji en donaties in beeld

Het onderzoeksteam heeft zich gericht op live streaming, na een quick scan van media-onderzoeker Esther Hammelburg. Want daar is nog weinig zicht op, terwijl de schaal van live streaming enorm is: elke dag gaan er 130 miljoen mensen live via TikTok (1 op 10 gebruikers).

Vervolgens heeft het team zelf tools geprogrammeerd om – in dit geval extreemrechtse– live streams systematisch te kunnen analyseren. Zo konden zij veelgebruikte emoji in beeld brengen, de chats analyseren, ‘gifting’ (donaties) in beeld brengen, en in kaart brengen hoezeer gemeenschappen van extreemrechtse influencers overlappen.

Pieken in nieuwe volgers

Dat TikTok extreemrechtse content faciliteert, bleek toen de onderzoekers een avond de streams van 300 extreemrechtse TikTok-gebruikers observeerden. Tijdens de streams ontstonden een aantal keer pieken met nieuwe kijkers. Dit duidt op een verhoogde algoritmische zichtbaarheid. 'Het platform beveelt deze streams vermoedelijk ook actief aan via de For You page', zegt onderzoeker Pieter van Boheemen. Ook vermoeden de onderzoekers dat de extreemrechtse streams bevoordeeld worden doordat volgers via een autoclicker automatisch hartjes geven - wat telt als engagement en interactie. 

De onderzoekers zagen ook hoe continu allerlei donaties worden gedaan aan de extreemrechtse influencers- van een virtuele roos van 1 cent tot een ‘Future Journey’ van 250 euro (een denkbeeldige reis door de toekomst met behulp van filters en effecten) of duurdere ‘gifts’. TikTok strijkt hier de helft van op.

Extreemrechtse content glipt door filters heen

Het internationale onderzoeksteam voerde ook meerdere tests uit met een automatisch toxicity-filter. Daaruit blijkt dat extremistische content met zo’n filter onopgemerkt blijft, terwijl het wel expliciet seksueel of beledigend taalgebruik detecteert.

Automatische filters ontberen vermoedelijk de contextuele kennis om extremisme te herkennen. Expliciete extreemrechtse comments zoals 'Heil H…' of hakenkruizen worden nauwelijks aangepakt, zo blijkt uit de steekproef.

Impliciete verwijzingen, die veel worden gebruikt in extreemrechtse communities, glippen er helemaal doorheen. Zoals specifieke extreemrechtse emoji combi’s (⚡️⚡️), ‘algospeak’ (“4uslander rau3”) of cijferverwijzingen (88 staat voor HH). 'Wat er in de streams zelf wordt gezegd blijft ook ongemodereerd - tot mensen met bivakmutsen en doodsbedreigingen aan toe,' constateert onderzoeker Pieter van Boheemen.

Civic Social Media: noodzakelijk voor de samenleving

De casus van extreemrechtse content op TikTok is een illustratie van een groter, achterliggend probleem: het businessmodel achter de grote socialmedia-platforms. Onderzoeker Esther Hammelburg: 'Drijvers hierachter zijn de businessmodellen van de grote sociale media. Deze platforms zijn daardoor niet gericht op maatschappelijke waarde of mensen samenbrengen, maar op polarisatie en conflict creëren om gebruikers vast te houden of geld te verdienen.'

Dat is problematisch, aldus de mediawetenschapper. ‘Want digitale systemen als TikTok en X zijn ‘infrastructureel’ geworden – we hebben ze inmiddels nodig in de samenleving, om informatie uit te wisselen, om debat te voeren. Maar door die commerciële basis vormen deze platforms de samenleving op een manier die totaal niet ten dienste staat ervan.'

Een alternatief is nodig- platforms die wél bevorderlijk zijn voor de samenleving en democratie. In een groter onderzoeksproject onderzoekt Hammelburg daarom samen met lector Martijn de Waal hoe ‘Civic Social Media’ opgezet kunnen worden. Dit zijn verantwoorde en veilige digitale ruimtes voor gemeenschappen, zoals bijvoorbeeld PubHubs.

'De publieke, digitale ruimte wordt nu volledig commercieel uitgebuit', vat Hammelburg samen. 'In de VS zie je nu waar die sterke vervlechting tussen de grote socialmedia-platforms en de politiek toe leidt. Het maakt de democratie kwetsbaarder.'