Het anti-pestalgoritme van Google verwart correcte taal met fatsoen

Nu de politiek in Europa en Amerika steeds meer verdeeld is geworden, pleiten opinieschrijvers en politici allemaal om meer 'beleefdheid' in onze debatten, ook online. Temidden van deze oproep kwam Google met een nieuwe tool, Jigsaw. Met behulp van machine learning kijkt Jigsaw naar de "giftigheid" van een bepaalde zin of uitdrukking. Maar de tool wordt nu bekritiseerd door onderzoekers omdat het algoritme niet in staat blijkt haatdragende opmerkingen te identificeren, terwijl onschadelijke opmerkingen als kwetsend worden gecategoriseerd.

Het project, Perspective, is een API die getraind is door mensen die online opmerkingen moesten indelen op een schaal van "heel kwetsend" tot "heel aardig". Kwetsend stond daarbij voor een "onbeleefde, respectloze, of onredelijke opmerking die je ertoe aanzet om een discussie te verlaten." Het maakt onderdeel uit van een groeiende poging om de digitale bezem door online gesprekken te halen: een goede weerspiegeling van de beleefdheidscultuur, die in Silicon Valley, de Verenigde Staten en Europa steeds grotere vormen aan begint te nemen.

Als we in onze gesprekken nou gewoon eens aardig tegen elkaar doen, luidt het argument, zouden we minder verdeeld zijn. Maar uit dit argument blijkt niet hoezeer beleefdheid altijd al is gebruikt om haatdragende opmerkingen te verhullen, ook online.

Perspective mocht oefenen met tekst uit online reacties. Daarom is z'n interpretatie van bepaalde uitdrukkingen beperkt. Omdat "fuck you" bijvoorbeeld vaker in reacties voorkomt dan "fuck yeah," ziet de tool het woord "fuck" als inherent kwetsend. Nog een voorbeeld: als je "vrouwen zijn niet zo slim als mannen" invoert in de tool, krijg je te horen dat "de kans 4 procent is dat de opmerking 'kwetsend' is." Een aantal erg problematische zinnen – uiteenlopend van "mannen zijn biologisch superieur aan vrouwen" tot "genocide is goed" – scoren laag op kwetsendheid. Ondertussen komt "fuck off" binnen op 100 procent.

Dit is een algoritmisch probleem. Algoritmes leren van de data die ze gevoerd krijgen, op basis waarvan ze een model van de wereld bouwen. Kunstmatige intelligentie is een afspiegeling van de waarden van zijn makers en kan daarom net zoals zijn makers discrimineren en bevooroordeeld zijn.

Dus wat zegt het datamodel van Perspective over zijn makers? Op basis van de voorbeelden die ik testte, lijkt de tool scheldwoorden als erg kwetsend aan te merken, terwijl daadwerkelijk kwetsende opmerkingen – indien beleefd verwoord – vaak als veilig worden aangemerkt. De zin "dit is fantastisch" krijgt een score van 3 procent kwetsend, maar als je "fucking" toevoegt, schiet de score ineens omhoog naar 98 procent kwetsend.
In een e-mail zei een woordvoerder van Jigsaw dat Perspective "doorlopend in ontwikkeling" is, en merkte de woordvoerder op dat valse positieve uitkomsten te verwachten zijn naarmate de machine zichzelf nieuwe dingen aanleert.

Google is niet de enige met dit probleem. Nu bedrijven in Silicon Valley steeds meer proberen om gesprekken op hun online platformen te modereren, is hun definitie van "kwetsend" erg belangrijk.

Het argument voor beleefdheid luidt ongeveer zo: als we maar beleefd zijn tegen elkaar, zou de wereld een betere plek zijn. Als we elkaar maar netjes aanspraken, zouden we in staat zijn om onze meningsverschillen op te lossen. Dit heeft tot de verwachting geleid dat elke uiting, zolang die maar op 'beleefde' wijze wordt geformuleerd, moet worden geaccepteerd en bediscussieerd, ongeacht hoe kwetsend of bekrompen de ideeën achter de woorden zijn.

In de praktijk ziet het er zo uit: een werknemer van Google publiceert een memo vol met seksistische ideeën, maar omdat hij beleefde taal gebruikt, worden vrouwen verwacht om inhoudelijk op de ideeën in te gaan. Op Twitter worden joodse activisten geschorst als ze met "fuck off" reageren op gigantische ladingen antisemitische berichten. Een facebookaccount van een zwarte moeder wordt geblokkeerd als ze kopieën van racistische dreigementen die ze zelf ontving doorplaatst, vanwege het taalgebruik in de doorgeplaatste dreigementen.

Op deze manier wordt het weerwoord – een belangrijke reactiemogelijkheid op haat zonder censuur – afgestraft, alleen omdat het scheldwoorden bevat.

Het is de cultuur onder moderators van gecentraliseerde communityplatforms, van het machtige Facebook tot het veel kleinere Hacker News, waar "wees alsjeblieft beschaafd" een veelvoorkomend dogma is. Vikas Gorur, een programmeur en gebruiker van Hacker News, vertelde me dat op het platform "de kleinste persoonlijke aanval ('je bent stom') een doodzonde is, terwijl subthreads met meer dan 100 reacties over 'was slavernij echt zo erg?' of 'bestaat seksuele intimidatie wel?' helemaal prima zijn."

Vrijheid van meningsuiting, zei Gorur, "is de belangrijkste waarde, ongeacht hoe kwetsend die mening is."

Deze houding is niet alleen een fenomeen in Silicon Valley, maar bijvoorbeeld ook in de Amerikaanse samenleving in z'n algemeenheid. In de acht maanden sinds Donald Trump werd ingezworen als president, werden zijn tegenstanders regelmatig terechtgewezen vanwege hun onbeleefdheid. Terwijl ondertussen steeds meer van hun rechten werden afgenomen.

Veel van de pro-beleefdheidsretoriek in de Amerikaanse politiek lijkt tegen vrouwen gericht te zijn. De mate waarin de Amerikaanse senator Elizabeth Warren het zwijgen werd opgelegd tijdens de hoorzittingen van Jeff Sessions is daar een goed voorbeeld van.

Deze oproepen tot beleefdheid tegen slachtoffers van discriminatie of haatdragende opmerkingen kun je beschouwen als 'tone policing,' een manier om de aandacht af te leiden van onrechtvaardigheid door die aandacht te verleggen van de inhoud van een klacht naar de manier waarop die is verwoord. Door beleefdheid als belangrijkste waarde te zien, kunnen goed gemaskeerde, maar eigenlijk diep kwetsende ideeën zich steeds verder verspreiden.

Dat wil niet zeggen dat beleefdheid geen enkele waarde heeft. Beleefdheid in onze alledaagse interacties is een deugd die we allemaal na zouden moeten streven. En we weten dat bepaald online taalgebruik verbonden is met echte schade. Een onderzoek uit 2015 ontdekte een directe geografische correlatie tussen islamofobe zoekopdrachten in Google (zoals "vermoord moslims") en islamofobe haatmisdrijven. Psychologische onderzoeken die in dat artikel werden geciteerd suggereerden ook dat emoties, niet overtuigingen, de beste voorspeller van discriminatie zijn.

Dus, kan de API Perspective gesprekken helpen verbeteren? Niet in zijn huidige staat, hoewel Jigsaw bezig is met het verbeteren ervan. "We gaven Perspective uit omdat we ons werk wilden delen met de onderzoeksgemeenschap die bezig is met vergelijkbare problemen, en omdat we met uitgevers en ontwikkelaars wilden samenwerken om gesprekken online te verbeteren," zei de woordvoerder.

En wat zou Googles Jigsaw moeten doen? Gezien de huidige controverse rondom de waarde van vrouwen en niet-witte mensen binnen het bedrijf, zou het een goed idee zijn voor de denktank om de huidige versie van de tool offline te halen. De tool ziet, net als James Damore, de schrijver van de beruchte memo, niet de kwetsendheid in van op beleefde wijze vraagtekens stellen bij de waarde van vrouwen.